Technische Samenvatting: GROW – GRPO Afstemmen op State-Action Modeling voor Open-World VLM Agenten

1. Probleemstelling

Vision-Language Model (VLM) agenten hebben potentieel getoond in open-world taken (bijv. Minecraft), die multi-turn visuele perceptie en actie-uitvoering vereisen. Hoewel Supervised Fine-Tuning (SFT) op expertdemonstraties het dominante trainingsparadigma is, kampt het met hoge kosten voor datacollectie en beperkte schaalbaarheid. Bovendien blijft SFT vaak achter bij Reinforcement Learning (RL) methoden qua prestaties.

Hoewel Group Relative Policy Optimization (GRPO) is opgekomen als een effectief RL-algoritme voor foundation modellen – waarbij de noodzaak voor een apart waardenmodel wordt weggenomen door voordelen te berekenen over groepen van bemonsterde outputs – vormt het rechtstreeks toepassen van standaard GRPO op open-world taken aanzienlijke uitdagingen:

• Contextlengte: Standaard GRPO behandelt een volledige interactietraject als één trainingsvoorbeeld. In open-world omgevingen accumuleren deze trajecten overmatige contextlengtes, die vaak de tokenlimieten overschrijden.
• Ruis: Volledige trajecten bevatten aanzienlijke irrelevante informatie en ruis, wat de kwaliteit van de policy gradient-schatting verslechtert.
• Theoretisch Mismatch: Standaard GRPO gaat ervan uit dat gegroepeerde samples verschillende antwoorden zijn op dezelfde prompt. Bij open-world taken betekent het decomponeren van trajecten dat gegroepeerde samples worden geconditioneerd op verschillende lokale staten, wat deze aanname schendt.

2. Methodologie: Het GROW Framework

De auteurs stellen GROW (GRPO voor Open-World VLM agenten) voor, een framework dat GRPO aanpast aan open-world settings door trajecten te decomponeren in fijnkorrelige state-action samples.

2.1 Traject Decompositie

In plaats van volledige trajecten te optimaliseren, decomponeert GROW verzamelde rollout-trajecten $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ in individuele state-action paren.

• Beloning Propagatie: Omdat beloningen in deze omgevingen schaars zijn en alleen bij taakvoltooiing verifieerbaar zijn ($R(\tau)=1$ voor succes, anders $0$), wordt de beloning achterwaarts gepropageerd langs het traject met behulp van een disconteringsfactor $\gamma$:
  $$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$$
  Dit zorgt ervoor dat state-action samples dichter bij het succesvolle resultaat sterkere leersignalen ontvangen.

2.2 State-Action Voordelenberekening

Binnen een rollout-groep van $G$ parallelle omgevingen berekent GROW relatieve voordelen over de gedecomponeerde state-action samples in plaats van volledige trajecten.

• Het voordeel $A_{i,t}$ wordt berekend door de gedisconteerde beloningen $r_{i,t}$ te normaliseren over de groep:
  $$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$$
  waarbij $\mu$ en $\sigma$ het gemiddelde en de standaardafwijking zijn van de beloningsset binnen de groep.
• De trainingsdoelstelling volgt de standaard PPO-achtige afgeknipte doelstelling, maar werkt op deze state-action eenheden:
  $$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$$

2.3 Surrogaatanalyse

De auteurs adresseren de theoretische zorg dat gegroepeerde samples in GROW worden geconditioneerd op verschillende lokale staten ($s_{i,t}$) in plaats van een identieke prompt. Onder vereenvoudigende aannames (uniforme trajectlengte $H$ en consistente interactiestappen) leiden ze een surrogaatanalyse af die aantoont dat de doelstelling decomponeert in twee termen:

1. $J_{traj}$: Behoudt de relatieve voorkeur op trajectniveau door trajectbeloningen $R(\tau_i)$ te vergelijken met het groepsgemiddelde $S$.
2. $J_{step}$: Vangt tijdsdisconteringseffecten op, en verfijnt credit toewijzing binnen succesvolle trajecten om beslissingen die direct gerelateerd zijn aan het uiteindelijke succes te benadrukken.
   De analyse concludeert dat, ondanks de afwijking van de identieke-prompt-aanname, de doelstelling een geldig en effectief relatief policy-optimalisatiesignaal behoudt.

3. Belangrijkste Bijdragen

1. Framework Voorstel: Introductie van GROW, een RL-framework dat cold-start training op state-action samples combineert met GRPO-gebaseerde policy verfijning via trajectdecompositie.
2. Theoretische Rechtvaardiging: Levering van een surrogaatanalyse die aantoont dat relatieve policy-optimalisatie effectief blijft, zelfs wanneer gegroepeerde samples worden geconditioneerd op verschillende lokale staten, mits redelijke benaderingen voor hanteerbaarheid gelden.
3. Empirische Validatie: Uitgebreide tests op meer dan 800 Minecraft-taken, waaruit blijkt dat het framework State-of-the-Art (SOTA) prestaties bereikt in zowel successpercentage als uitvoeringsefficiëntie.

4. Experimentele Resultaten

Experimenten werden uitgevoerd in Minecraft (Java Edition) met behulp van de MCU-benchmark, die drie categorieën bestrijkt: Embodied taken (navigatie/mijnbouw), GUI-taken (smeden/smelten) en Gevechtstaken. Het basismodel was Qwen2-VL-7B-Instruct.

• Prestatiewinst: GROW behaalde SOTA-resultaten in alle categorieën:
  • Embodied: ASR verbeterde van 50,4% (vorige beste) naar 59,6%.
  • GUI: ASR verbeterde van 39,1% naar 68,4%.
  • Gevecht: ASR verbeterde van 39,2% naar 49,0%.
• Efficiëntie: Het gemiddelde aantal stappen vereist om taken te voltooien, werd aanzienlijk gereduceerd (bijv. van 263 naar 128 stappen in embodied taken).
• Generalisatie: GROW toonde sterke generalisatie naar ongezette taken (RL-unseen), waarbij successpercentages significant verbeterden ten opzichte van de geïnitieerde policy zonder over te fiten op de trainingsset.
• Ablatiestudies:
  • vs. PPO: GROW presteerde beter dan PPO in zowel successpercentages als convergentiesnelheid.
  • Disconteringsfactor ($\gamma$): Een waarde van $\gamma=0,995$ leverde de beste balans op tussen credit toewijzing op lange horizon en lokale efficiëntie.
• Gedragsanalyse: Diagnostische taken onthulden dat GROW specifieke vaardigheden verbeterde, zoals stabiele targetfixatie, actieve targetherverwerving (zoeken naar verloren targets) en distractor-robuste GUI-bediening.

5. Betekenis en Claims

Het artikel claimt dat GROW een nieuwe SOTA vestigt voor open-world VLM agenten door effectief de kloof te overbruggen tussen geavanceerde RL-algoritmen (GRPO) en de specifieke beperkingen van open-world omgevingen (lange, ruizige trajecten).

• Kernprestatie: Het framework slaagt erin de problemen van overmatige contextaccumulatie en ruis inherent aan full-traject RL te mitigeren, terwijl het de kern van het relatieve optimalisatiesignaal van GRPO behoudt.
• Vaardigheidsverwerving: De resultaten suggereren dat GROW herbruikbare interactiestrategieën (bijv. actief zoeken, robuuste GUI-handling) bevordert in plaats van louter trajectmemorisatie.
• Schaalbaarheid: Door trajecten te decomponeren, biedt de methode een schaalbaar pad voor het trainen van VLM agenten in complexe, multi-turn omgevingen waar waarden-schatting kostbaar en instabiel is.

De auteurs merken beperkingen op, waaronder het huidige gebrek aan een geheugenmodule voor zeer lange-horizont taken en de afhankelijkheid van specifieke simulatoren (Minecraft), wat suggereert dat toekomstig werk zou kunnen onderzoeken het samenvatten van geschiedenis en uitbreiden naar diverse open-world omgevingen.