Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

Sintesi Tecnica: Object-Centric Residual RL per il potenziamento Zero-Shot Sim-to-Real di VLA

Problematica

I modelli Vision-Language-Action (VLA) hanno dimostrato una vasta capacità di generalizzazione in compiti di manipolazione attraverso il pre-training su larga scala e l'imitation learning. Tuttavia, le policy derivate dall'imitation learning sono intrinsecamente fragili nelle interazioni fisiche precise; piccoli errori di esecuzione si accumulano nel tempo, portando al fallimento in stati non visti. Sebbene il Reinforcement Learning (RL) offra un meccanismo di recupero attraverso l'interazione online, l'applicazione diretta dell'RL ai moderni VLA è complessa a causa delle architetture che si basano su diffusione o flow matching, le quali non sono facilmente differenziabili attraverso i classici gradienti di policy.

Il Residual RL, che addestra una policy correttiva leggera sopra un VLA base congelato, presenta una soluzione naturale. Eppure, gli approcci esistenti affrontano un dilemma fondamentale "sim-to-real":

1. I metodi basati su stati privilegiati richiedono la distillazione di un insegnante basato su stato in uno studente basato su immagini per il deployment, comportando una perdita di prestazioni.
2. I metodi basati su immagini soffrono di ampi gap di dominio visivo, impedendo il trasferimento zero-shot di residui addestrati in simulazione.
3. L'RL nel mondo reale elimina il gap di trasferimento, ma è costoso, insicuro e richiede infrastrutture complesse.

La sfida centrale affrontata è: È possibile che una policy di reinforcement learning addestrata puramente in simulazione migliori la robustezza dei VLA nel mondo reale in modalità zero-shot, senza ricorrere alla distillazione o all'RL nel mondo reale?

Metodologia

Gli autori propongono un framework di Object-Centric Residual RL che affina le azioni dei VLA utilizzando le pose degli oggetti, consentendo uno spazio di osservazione compatto che si trasferisce coerentemente tra simulazione e realtà. Il framework opera in tre fasi:

1. VLA accoppiato Sim/Real tramite Teleoperation Replay
Per allineare le distribuzioni delle azioni tra i domini, gli autori riproducono le stesse dimostrazioni di teleoperazione utilizzate per addestrare il VLA nel mondo reale ($\pi^{real}_{VLA}$) all'interno di un ambiente di simulazione. Questo addestra una controparte di simulazione ($\pi^{sim}_{VLA}$) insieme a quella reale. Poiché entrambi sono supervisionati da identiche traiettorie di azione, apprendono distribuzioni di azione allineate nonostante i differenti input visivi. Ciò consente di addestrare il residuo insieme a $\pi^{sim}_{VLA}$ in simulazione e di trasferirlo a $\pi^{real}_{VLA}$ in modalità zero-shot al momento del deployment. Fondamentalmente, poiché il residuo non osserva immagini, l'ambiente di simulazione non deve essere visivamente realistico, riducendo l'overhead ingegneristico.

2. Addestramento Object-Centric Residual RL
La policy residua ($\pi^{sim}_{res}$) è addestrata interamente in simulazione utilizzando TD3. L'innovazione chiave risiede nello spazio di osservazione $s_t$, che evita sia gli stati privilegiati che le immagini grezze:
$$s_t = [s^{obj}_t, s^{prop}_t, a^{base}_t]$$

• $s^{obj}_t$: Pose a 6-DoF (posizione e orientamento) degli oggetti rilevanti per il compito, stimate tramite stimatori off-the-shelf (FoundationPose + SAM2).
• $s^{prop}_t$: Stato propriocettivo (pose dell'end-effector, stato della pinza).
• $a^{base}_t$: L'attuale chunk di azione del VLA base.

Per garantire la robustezza contro il rumore della stima della pose e i fallimenti nel mondo reale, l'addestramento impiega due strategie di aumento:

• Iniezione di Rumore della Pose: Perturbazioni casuali vengono aggiunte alla posizione e all'orientamento (moltiplicazione di quaternioni) per simulare le imprecisioni dello stimatore.
• Pose Dropout: Con una certa probabilità, il vettore della pose dell'oggetto viene azzerato, costringendo la policy a imparare una strategia di fallback basata esclusivamente sulla proprioccezione e sull'azione base.

3. Deployment Zero-Shot
Al deployment, sia il VLA reale che il residuo addestrato in simulazione sono congelati. Il sistema interroga il VLA reale per l'azione base e il residuo per una correzione basata sulle pose degli oggetti osservate. Se la confidenza dello stimatore della pose scende sotto una soglia, il sistema attiva il fallback "dropout" appreso durante l'addestramento. L'azione combinata è calcolata come $a_t = a^{base}_t \oplus \pi^{sim}_{res}(s_t)$, dove $\oplus$ denota la composizione per componente (addizione per posizione/pinza, moltiplicazione di quaternioni per rotazione).

4. Auto-miglioramento del VLA
Le esecuzioni (rollout) di successo generate dalla policy corretta dal residuo sul robot reale possono essere aggregate tra i vari compiti per riaddestrare il VLA base tramite supervised fine-tuning (SFT). Questo crea un ciclo di auto-miglioramento che genera dati di addestramento di qualità superiore senza richiedere ulteriore teleoperazione.

Contributi Chiave

• Framework Zero-Shot Sim-to-Real: Un nuovo framework di residual RL che raggiunge il trasferimento zero-shot senza distillazione o RL nel mondo reale, utilizzando uno spazio di osservazione invariante dal dominio (pose degli oggetti + proprioccezione).
• Auto-miglioramento Automatico: Un meccanismo per aggregare le esecuzioni di successo del robot reale dalla policy corretta dal residuo per riaddestrare un singolo VLA multi-task, migliorando la policy base senza nuove dimostrazioni umane.
• Validazione Empirica: Dimostrazione di un miglioramento costante in cinque compiti di manipolazione su un vero robot Franka Research 3 (FR3), elevando il tasso medio di successo dal 42% al 76%.

Risultati Sperimentali

Il metodo è stato valutato su cinque compiti di manipolazione su tavolo (Sollevamento Cubo, Pick-and-Place, Impilamento Cubo, Chiusura Cassetto, Posizionamento Tazza in Piedi) utilizzando un vero robot FR3 e una simulazione MuJoCo.

• Guadagni di Prestazione: Il residuo addestrato in simulazione ha migliorato il tasso medio di successo sul robot reale dal 42% (Base VLA) al 76% (Base + Residuo). In simulazione, il tasso medio di successo è migliorato dal 38% all'86%.
• Studi di Ablazione:
  • Robustezza: Sia l'iniezione di rumore della pose che il pose dropout erano essenziali; rimuoverne uno degradava le prestazioni, con il pose dropout che risultava critico per la resilienza contro i fallimenti di rilevamento.
  • Spazio di Osservazione: Le osservazioni centriche sull'oggetto hanno superato significativamente le baseline basate su immagini (che fallivano a causa dei gap visivi di dominio) e gli approcci basati sulla distillazione (che soffrivano di perdita di prestazioni durante la distillazione).
• Analisi dell'Intervento: Il residuo interviene costantemente quando il VLA base è disallineato con l'obiettivo, guidando le azioni verso il target. Questa correzione selettiva ha portato a un completamento dei compiti dal 9% al 22% più veloce.
• Generalizzazione: Il framework si è dimostrato compatibile con diversi backbone VLA (testato su $\pi_{0.5}$), confermando che l'interfaccia di osservazione non è specifica per una singola architettura.
• Auto-miglioramento: Il riaddestramento del VLA base sulle esecuzioni corrette dal residuo ha prodotto tassi di successo più elevati e durate degli episodi più brevi rispetto al riaddestramento sulle esecuzioni base originali.

Significato e Rivendicazioni

Il documento sostiene che spostando lo spazio di osservazione della policy residua dalle immagini o dagli stati privilegiati alle pose degli oggetti, sia possibile colmare il gap sim-to-real senza complessa adattabilità di dominio o distillazione. Questo approccio sfrutta la generalizzazione dei VLA aggiungendo la precisione del RL attraverso un modulo leggero e trasferibile zero-shot.

Gli autori posizionano questo lavoro come una via pratica verso il miglioramento scalabile e autonomo dei robot. Decoupling (disaccoppiando) il meccanismo di correzione dall'addestramento della policy base e utilizzando una rappresentazione dello stato recuperabile, il metodo consente il deployment nel mondo reale di policy RL addestrate in simulazione. Inoltre, la capacità di utilizzare queste esecioni corrette per riaddestrare il VLA base suggerisce un percorso per il raffinamento continuo e automatizzato del sistema senza il costo proibitivo della continua teleoperazione umana.

Limitazioni note dagli autori:

• Dipendenza dal tracciamento della pose 6-DoF in tempo reale, che può fallire in caso di occlusione totale o ingombro eccessivo.
• Necessità di specificare manualmente gli oggetti rilevanti per il compito.
• La osservazione basata sulla pose colma il gap visivo ma non quello dinamico (es. attrito, compliance), il che può influenzare i compiti ricchi di contatto.
• Come architettura residua, non può recuperare da stati molto distanti dalla distribuzione di addestramento del Vola base.
• Compiti con precisione sub-millimetrica potrebbero eccedere l'accuratezza attuale della stima della pose.