Sintesi Tecnica: Imparare di più da meno: Reinforcement Learning da Hindsight

Definizione del Problema

Il Reinforcement Learning (RL) è sempre più utilizzato per il post-training di modelli Vision-Language-Action (VLA) per migliorare il controllo robotico. Tuttavia, esiste un collo di bottiglia critico: gli aggiornamenti RL dipendono da rollout fisici del robot, che sono lenti, costosi e difficili da scalare. Ciò rende l'efficienza campionaria (sample efficiency) una preoccupazione primaria.

La sfida è esacerbata nei compiti di manipolazione in cui le ricompense sono tipicamente sparse. Un rollout riceve una ricompensa (successo) solo se il robot completa esattamente l'istruzione comandata; tutti gli altri comportamenti ricevono una ricompensa pari a zero. Nelle prime fasi dell'addestramento, quando la policy è debole, quasi tutti i rollout falliscono rispetto al comando specifico. L'RL standard tratta queste intere traiettorie come fallimenti, scartandole come dati "inutili". Ciò ignora il fatto che un rollout fallito spesso esegue un comportamento coerente e significativo rilevante per un altro compito (ad esempio, un robot istruito a "chiudere il microonde" potrebbe riuscire a "prendere una tazza"). L'RL standard non riesce a estrarre segnali di apprendimento da questi "fallimenti", portando a una convergenza lenta o alla stagnazione in contesti out-of-distribution (OOD).

Metodologia: Learning from Hindsight (LfH)

Gli autori propongono il Learning from Hindsight (LfH), un metodo che adatta il concetto di Hindsight Experience Replay (HER) al post-training RL dei VLA. Invece di scartare i rollout falliti, LfH utilizza un modello Vision-Language (VLM) per ricollegarli (relabel) in base a ciò che il robot ha effettivamente realizzato.

Meccanismo Core

LfH opera all'interno di un framework di Group Relative Policy Optimization (GRPO). Il processo prevede due fasi principali per gruppi di traiettorie che falliscono l'istruzione originale:

1. Relabeling dell'Istruzione:

   • Per un gruppo di traiettorie che falliscono l'istruzione comandata $g$, il sistema seleziona una traiettoria "ancora" (un rollout fallito).
   • Un VLM ($M_\psi$) analizza le osservazioni visive e le azioni dell'ancora per generare un'istruzione hindsight ($g'$) che descriva il comportamento effettivamente eseguito (ad esempio, cambiando "chiudi il microonde" in "prendi la tazza").
   • Il VLM filtra prima le traiettorie "non interessanti" (ad esempio, quelle prive di contatto fisico con oggetti) per evitare prompt rumorosi.

2. Relabeling della Ricompensa:

   • Lo stesso VLM valuta tutte le traiettorie del gruppo rispetto alla nuova istruzione hindsight $g'$.
   • Assegna una ricompensa $\tilde{R}_i \in \{0, 0.5, 1\}$, dove 1 indica il successo nel raggiungere $g'$, 0 indica il fallimento, e 0.5 rappresenta un esito ambiguo.
   • Fondamentalmente, viene utilizzata un'unica istruzione hindsight condivisa per l'intero gruppo per garantire che le ricompense siano confrontabili per il calcolo dell'advantage.

Obiettivo di Ottimizzazione

La policy è addestrata congiuntamente sui rollout originali e su quelli ricollegati tramite l'hindsight. La funzione di perdita combina l'obiettivo standard di GRPO ($L_{GRPO}$) con un obiettivo di hindsight ($L_{H-GRPO}$):
$$L_{LfH}(\theta) = L_{GRPO}(\theta) + \lambda L_{H-GRPO}(\theta)$$

Per gestire lo shift della distribuzione (traiettorie eseguite sotto $g$ ma ottimizzate per $g'$), LfH applica un rapporto di correzione dell'importanza:
$$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} | o_{i,t}, g')}{\pi_{\theta_{old}}(a_{i,t} | o_{i,t}, g)}$$
Ciò consente alla policy di apprendere dai comportamenti "non intenzionali ma significativi" mantenendo l'allineamento con la distribuzione del compito originale.

Contributi Chiave

1. Hindsight Relabeling per i VLA: Il paper introduce un algoritmo unico che sfrutta le capacità di generalizzazione del linguaggio dei VLA per ricollegare i rollout falliti nello spazio del linguaggio, convertendo i fallimenti a ricompensa zero in dimostrazioni di successo di compiti alternativi.
2. Relabeling Congiunto di Istruzione e Ricompensa: A differenza del lavoro precedente che potrebbe solo riformulare le istruzioni o modellare le ricompense, LfH accoppia entrambi. Gli autori dimostrano che né l'aumento delle istruzioni né il relabeling della ricompensa da soli sono sufficienti; la sinergia di entrambi è necessaria per guadagni significativi.
3. Efficienza Campionaria in Regimi di Ricompensa Sparsa: Il metodo mira specificamente al problema del "cold start" in cui le policy iniziali hanno tassi di successo prossimi allo zero, recuperando segnali di apprendimento da dati che l'RL standard scarterebbe.

Risultati Sperimentali

Gli autori hanno valutato LfH su compiti out-of-distribution (OOD) del dataset LIBERO-PRO e su un robot fisico Franka FR3.

• Efficienza Campionaria: Sui compiti LIBERO-PRO, LfH ha ottenuto un miglioramento di 5 volte nell'efficienza campionaria rispetto al GRPO standard. Ha raggiunto il tasso di successo finale del GRPO standard in circa un quinto dei passi di addestramento.
• Confronto con Ricompense Dense: LfH ha superato un baseline che utilizza ricompense di progresso dense (RoboMETER). Ciò suggerisce che, nei regimi a basso successo, cambiare a quale compito un rollout viene accreditato è più prezioso del semplice densificare il feedback per il comando originale.
• Utilizzo dei Dati: Mentre il GRPO standard scarta circa il 60-80% dei gruppi di traiettorie a causa della varianza della ricompensa zero, Lfola mantiene il 70–80% dei gruppi ricollegando i fallimenti, utilizzando efficacemente i dati raccolti.
• Generalizzazione: I miglioramenti si sono mantenuti attraverso diversi backbone VLA (inclusi GR00T e OpenVLA-OFT) e si sono trasferiti con successo in esperimenti robotici fisici reali, dove LfH ha raddoppiato il tasso di successo del GRPO standard a 128 rollout.
• Studi di Ablazione: Gli esperimenti hanno confermato che i guadagni non sono dovuti all'iniezione casuale di ricompense o alla semplice riformulazione delle istruzioni. Il metodo ha anche dimostrato che LfH beneficia di e aiuta a mantenere distribuzioni comportamentali diverse durante l'addestramento, evitando che la policy collassi in modalità di fallimento ripetitive.

Significato e Rivendicazioni

Il paper sostiene che LfH cambi fondamentalmente l'utilità dei dati robotici nel post-training RL. Trattando una traiettoria come evidenza per tutti i obiettivi linguistici coerenti con il comportamento osservato, LfH estrae "più bit per ogni campione robotico".

Gli autori sottolineano che questo approccio è particolarmente naturale per i VLA pre-addestrati, che possiedono già la capacità di generalizzare attraverso le istruzioni linguistiche. LfH permette a questi modelli di apprendere da ciò che hanno effettivamente fatto, piuttosto che solo da ciò che gli è stato chiesto di fare. Ciò offre una via pratica per il post-training dei VLA: invece di limitarsi a raccogliere più rollout o ottimizzare più a lungo sugli stessi label, i ricercatori possono reinterpretare ogni rollout attraverso il linguaggio per trasferire l'apprendimento tra i compiti supportati.

Il paper riconosce i limiti, notando che LfH dipende dalla diversità e dall'interpretabilità dei fallimenti nei dati raccolti. Se la policy produce traiettorie ripetitive o non informative, ci sono pochi obiettivi di hindsight significativi da recuperare. Inoltre, il metodo dipende dalla qualità del relabeler VLM, dove prompt errati o eccessivamente generici potrebbero introdurre supervisione rumorosa.