Riepilogo Tecnico: GROW – Allineamento di GRPO con Modellazione Stato-Azione per Agenti VLM in Ambienti Open-World

1. Enunciato del Problema

Gli agenti Vision-Language Model (VLM) hanno dimostrato potenziale in compiti open-world (ad esempio, Minecraft), che richiedono percezione visiva multi-turno ed esecuzione di azioni. Sebbene il Fine-Tuning Supervisionato (SFT) su dimostrazioni esperte sia il paradigma di addestramento dominante, soffre di elevati costi di raccolta dati e di una scalabilità limitata. Inoltre, l'SFT spesso rimane indietro rispetto ai metodi di Apprendimento per Rinforzo (RL) in termini di prestazioni.

Sebbene l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) sia emersa come un algoritmo RL efficace per i modelli fondazione, eliminando la necessità di un modello di valore separato calcolando i vantaggi su gruppi di output campionati, l'applicazione diretta della GRPO standard ai compiti open-world presenta sfide significative:

• Lunghezza del Contesto: La GRPO standard tratta un'intera traiettoria di interazione come un singolo campione di addestramento. Negli ambienti open-world, queste traiettorie accumulano lunghezze di contesto eccessive, superando spesso i limiti dei token.
• Rumore: Le traiettorie complete contengono informazioni e rumore sostanzialmente irrilevanti, degradando la qualità della stima del gradiente della politica.
• Disallineamento Teorico: La GRPO standard assume che i campioni raggruppati siano risposte diverse allo stesso prompt. Nei compiti open-world, la decomposizione delle traiettorie significa che i campioni raggruppati sono condizionati su stati locali diversi, violando questa assunzione.

2. Metodologia: Il Framework GROW

Gli autori propongono GROW (GRPO per Agenti VLM Open-World), un framework che adatta la GRPO agli ambienti open-world decomponendo le traiettorie in campioni stato-azione granulari.

2.1 Decomposizione della Traiettoria

Invece di ottimizzare le traiettorie complete, GROW scompone le traiettorie di rollout raccolte $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ in coppie stato-azione individuali.

• Propagazione della Ricompensa: Poiché le ricompense in questi ambienti sono sparse e verificabili solo al completamento del compito ($R(\tau)=1$ per successo, $0$ altrimenti), la ricompensa viene propagata all'indietro lungo la traiettoria utilizzando un fattore di sconto $\gamma$:
  $$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$$
  Ciò garantisce che i campioni stato-azione più vicini all'esito positivo ricevano segnali di apprendimento più forti.

2.2 Calcolo del Vantaggio Stato-Azione

All'interno di un gruppo di rollout di $G$ ambienti paralleli, GROW calcola i vantaggi relativi sui campioni stato-azione decomposti piuttosto che sulle traiettorie complete.

• Il vantaggio $A_{i,t}$ è calcolato normalizzando le ricompense scontate $r_{i,t}$ attraverso il gruppo:
  $$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$$
  dove $\mu$ e $\sigma$ sono rispettivamente la media e la deviazione standard dell'insieme di ricompense all'interno del gruppo.
• L'obiettivo di addestramento segue l'obiettivo troncato standard in stile PPO ma opera su queste unità stato-azione:
  $$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$$

2.3 Analisi Surrogata

Gli autori affrontano la preoccupazione teorica secondo cui i campioni raggruppati in GROW sono condizionati su stati locali diversi ($s_{i,t}$) piuttosto che su un prompt identico. Sotto ipotesi semplificative (lunghezza della traiettoria uniforme $H$ e passi di interazione coerenti), derivano un'analisi surrogata che mostra come l'obiettivo si decomponga in due termini:

1. $J_{traj}$: Preserva la preferenza relativa a livello di traiettoria confrontando le ricompense della traiettoria $R(\tau_i)$ con la media del gruppo $S$.
2. $J_{step}$: Cattura gli effetti dello sconto temporale, affinando l'assegnazione del credito all'interno delle traiettorie di successo per enfatizzare le decisioni direttamente correlate al successo finale.
   L'analisi conclude che, nonostante la deviazione dall'assunzione di prompt identico, l'obiettivo mantiene un segnale valido ed efficace di ottimizzazione della politica relativa.

3. Contributi Chiave

1. Proposta del Framework: Introduzione di GROW, un framework RL che combina l'addestramento a freddo su campioni stato-azione con il raffinamento della politica basato su GRPO tramite decomposizione delle traiettorie.
2. Giustificazione Teorica: Fornitura di un'analisi surrogata che dimostra come l'ottimizzazione della politica relativa rimanga efficace anche quando i campioni raggruppati sono condizionati su stati locali diversi, purché valgano approssimazioni di trattabilità ragionevoli.
3. Validazione Empirica: Test estesi su oltre 800 compiti Minecraft, dimostrando che il framework raggiunge prestazioni all'avanguardia (SOTA) sia nel tasso di successo che nell'efficienza di esecuzione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti in Minecraft (Java Edition) utilizzando il benchmark MCU, coprendo tre categorie: compiti incarnati (navigazione/mineraria), compiti GUI (creazione/fusione) e compiti di Combattimento. Il modello di base è stato Qwen2-VL-7B-Instruct.

• Miglioramenti delle Prestazioni: GROW ha ottenuto risultati SOTA in tutte le categorie:
  • Incorporati: L'ASR è migliorato dal 50,4% (migliore precedente) al 59,6%.
  • GUI: L'ASR è migliorato dal 39,1% al 68,4%.
  • Combattimento: L'ASR è migliorato dal 39,2% al 49,0%.
• Efficienza: Il numero medio di passi necessari per completare i compiti è stato ridotto significativamente (ad esempio, da 263 a 128 passi nei compiti incarnati).
• Generalizzazione: GROW ha mostrato una forte generalizzazione a compiti non visti (RL-unseen), migliorando significativamente i tassi di successo rispetto alla politica inizializzata senza overfittare sul set di addestramento.
• Studi di Ablazione:
  • vs. PPO: GROW ha superato il PPO sia nei tassi di successo che nella velocità di convergenza.
  • Fattore di Sconto ($\gamma$): Un valore di $\gamma=0,995$ ha prodotto il miglior equilibrio tra assegnazione del credito a lungo raggio ed efficienza locale.
• Analisi Comportamentale: Compiti diagnostici hanno rivelato che GROW ha migliorato abilità specifiche come il fissaggio stabile del bersaglio, il riaggancio attivo del bersaglio (ricerca di bersagli persi) e l'operazione GUI robusta ai distrattori.

5. Significato e Affermazioni

Il documento afferma che GROW stabilisce un nuovo SOTA per gli agenti VLM open-world colmando efficacemente il divario tra algoritmi RL avanzati (GRPO) e i vincoli specifici degli ambienti open-world (traiettorie lunghe e rumorose).

• Realizzazione Principale: Il framework mitiga con successo le problematiche di accumulo eccessivo di contesto e rumore intrinseche nel RL su traiettorie complete, preservando al contempo il segnale di ottimizzazione relativa fondamentale della GRPO.
• Acquisizione di Abilità: I risultati suggeriscono che GROW favorisce strategie di interazione riutilizzabili (ad esempio, ricerca attiva, gestione robusta delle GUI) piuttosto che la mera memorizzazione di traiettorie.
• Scalabilità: Decomponendo le traiettorie, il metodo offre una via scalabile per l'addestramento di agenti VLM in ambienti complessi e multi-turno dove la stima del valore è costosa e instabile.

Gli autori notano limitazioni, inclusa l'attuale mancanza di un modulo di memoria per compiti a orizzonte molto lungo e la dipendenza da simulatori specifici (Minecraft), suggerendo che lavori futuri potrebbero esplorare la sintesi della storia e l'espansione verso ambienti open-world diversificati.