Riepilogo Tecnico: EXPO-FT

Enunciato del Problema

La capacità di apprendere in modo efficiente e affidabile nuove attività rimane una sfida fondamentale nella robotica. Sebbene i modelli Vision-Language-Action (VLA) abbiano dimostrato una forte generalizzazione attraverso diverse attività di manipolazione grazie all'apprendimento per imitazione su larga scala, le politiche preaddestrate risultano costantemente inadeguate rispetto all'affidabilità necessaria per il dispiegamento nel mondo reale. I fallimenti negli ambienti fisici comportano costi elevati, rendendo necessario un percorso per colmare il divario tra il preaddestramento generalista e le prestazioni affidabili specifiche per l'attività.

Gli approcci esistenti per l'addestramento di politiche robotiche nel mondo reale tramite Reinforcement Learning (RL) si trovano di fronte a una dicotomia:

1. Addestramento da zero: I metodi che addestrano politiche RL senza un fine-tuning di un VLA (o che addestrano modelli leggeri sopra di esso) spesso raggiungono prestazioni asintotiche elevate, ma non riescono a sfruttare le ricche priorità semantiche e comportamentali incorporate nei grandi VLA preaddestrati.
2. Fine-tuning dei VLA: I metodi che eseguono il fine-tuning di VLA preaddestrati ereditano rappresentazioni generalizzabili, ma spesso non raggiungono tassi di successo affidabili, richiedono un numero proibitivo di interazioni con l'ambiente, o entrambe le cose.

Esiste un divario critico per framework che sfruttino simultaneamente la priorità di un VLA preaddestrato e raggiungano l'efficienza nel campionamento e l'affidabilità necessarie per un dispiegamento pratico.

Metodologia: EXPO-FT

Gli autori presentano EXPO-FT, un sistema progettato per un fine-tuning RL stabile ed efficiente nel campionamento di politiche VLA preaddestrate. Il sistema si basa sull'algoritmo EXPO, un metodo recentemente proposto per un RL stabile con politiche di flusso o diffusione espressive, e lo estende per affrontare sfide specifiche nella robotica.

Architettura Principale e Scelte Progettuali

EXPO-FT integra tre componenti principali per raggiungere un'alta efficienza nel campionamento e affidabilità:

1. Politica Base e Meccanismo di Modifica (EXPO Esteso):

   • Il sistema utilizza un VLA preaddestrato (nello specifico $\pi_{0.5}$) come politica di flusso base ($\pi_{VLA}$).
   • Invece di retropropagare i gradienti attraverso il grande modello VLA durante gli aggiornamenti RL, EXPO-FT impiega una politica di modifica ($\pi_{edit}$) leggera.
   • La politica di modifica prevede una correzione $\hat{a}$ vincolata a un intervallo ridotto $[-\beta, \beta]$, che viene aggiunta all'azione base $a$ per produrre l'azione modificata $\tilde{a} = a + \hat{a}$.
   • Una funzione Q viene addestrata tramite apprendimento a Differenza Temporale (TD) per selezionare il candidato che massimizza il valore tra l'azione base e l'azione modificata. Ciò permette al sistema di ancorare gli aggiornamenti TD ad azioni quasi ottimali senza destabilizzare il VLA preaddestrato.

2. Azioni Temporalmente Estese (Blocchi di Azioni):

   • A differenza degli algoritmi RL classici progettati per azioni Gaussiane a singolo passo, i moderni VLA operano su blocchi di azioni (sequenze di $H$ azioni future).
   • EXPO-FT adatta la politica di modifica e la funzione Q per operare nativamente su questi blocchi ($a_{t:t+C}$). La politica di modifica prevede modifiche per l'intero blocco, preservando l'astrazione temporale centrale alla progettazione dei VLA.

3. Interventi con Umano nel Ciclo (HIL):

   • Per accelerare ulteriormente l'apprendimento e fornire correzioni mirate dove l'esplorazione autonoma è insufficiente, il sistema incorpora feedback con umano nel ciclo.
   • Durante l'addestramento online, un operatore umano può intervenire tramite teleoperazione (utilizzando un SpaceMouse) per fornire correzioni di azione per specifici istanti temporali all'interno di un blocco di azioni.
   • Queste azioni correttive sovrascrivono le azioni della politica per gli istanti temporali intervenuti, e le traiettorie risultanti vengono aggiunte al buffer di replay. Questo meccanismo fornisce segnali di alta qualità per ridurre il carico di esplorazione.

Procedura di Addestramento

Il sistema impiega un'architettura Learner-Actor disaccoppiata per gestire la latenza dell'inferenza e dell'addestramento di grandi VLA:

• Actor: Esegue le simulazioni (rollout) nell'ambiente del mondo reale, raccoglie le interruzioni umane e invia le tuple stato-azione-ricompensa $(s, a, r, s')$ al learner.
• Learner: Gestisce l'addestramento e l'inferenza del VLA e mantiene il buffer di replay. Aggiorna l'agente (rete Q e politica di modifica) per passo, per episodio o per grandi batch.
• Inizializzazione: Prima del RL online, il VLA viene spesso avviato con un piccolo dataset offline di dimostrazioni umane tramite fine-tuning supervisionato (Apprendimento per Imitazione) per raggiungere un tasso di successo di base (ad esempio, ~40%).
• Ricompensa: Il sistema utilizza un segnale di ricompensa binario sparso che indica il completamento dell'attività, evitando l'overhead ingegneristico della modellazione densa delle ricompense.

Contributi Chiave

1. Sistema per Fine-tuning RL Efficiente nel Campionamento: Un framework completo (EXPO-FT) che abilita il fine-tuning affidabile di modelli VLA preaddestrati utilizzando RL, raggiungendo alti tassi di successo con dati online minimi.
2. Estensioni Architetturali: L'estensione dell'algoritmo EXPO per supportare blocchi di azioni temporalmente estesi e l'integrazione di interventi con umano nel ciclo specificamente per il fine-tuning dei VLA.
3. Rilascio Open-Source: Il rilascio di un codice sorgente open per facilitare una più ampia adozione del fine-tuning RL per modelli VLA nella comunità robotica.

Risultati Sperimentali

Gli autori hanno valutato EXPO-FT su otto complesse attività di manipolazione nel mondo reale che richiedono combinazioni di alta precisione, azioni dinamiche e robustezza rispetto a stati iniziali variabili. Le attività includevano:

• Dinamiche/Ricche di Contatto: Egg Flip (rovesciare un uovo fritto con una spatola), Pool Shot (colpire una palla da biliardo).
• Precisione/Allineamento: Flower Insert (inserire uno stelo in una bottiglia), Cube Pick (afferrare sotto randomizzazione), String Light Routing (appendere lampadine e collegare l'alimentazione).
• Deformabili/Rumorose: Candy Scoop (trasferire caramelle con un cucchiaio).

Metriche di Prestazione:

• Tasso di Successo: EXPO-FT ha raggiunto un tasso di successo perfetto (30/30) su tutte le attività valutate.
• Efficienza nel Campionamento: Il sistema ha raggiunto questa prestazione affidabile entro una media di 19,1 minuti di dati robotici online.
• Confronto: EXPO-FT ha superato:
  • HIL-SERL (RL da zero con HIL): Ha raggiunto solo un successo medio di 5,5/30, faticando con grandi distribuzioni di stati iniziali.
  • DSRL (RL nello spazio latente su VLA): Ha raggiunto 19/30 in media, limitato dai vincoli di ottimizzazione all'interno della distribuzione a priori.
  • HG-DAgger (Apprendimento per imitazione con correzioni): Ha raggiunto 22,1/30 in media, faticando a riprendersi dagli errori cumulativi nelle attività dinamiche.
  • Fine-tuning Supervisionato (SFT): Ha raggiunto 20,5/30 in media.

In modo notevole, nelle attività che richiedono azioni dinamiche (Egg Flip, Pool Shot) o alta precisione, il divario di prestazioni tra EXPO-FT e i metodi precedenti è stato più marcato.

Significato e Affermazioni

Il paper afferma che EXPO-FT dimostra che il fine-tuning RL dei VLA può essere sia efficiente nel campionamento che affidabile quando progettato con le scelte architetturali corrette. Combinando le priorità semantiche di un VLA preaddestrato con un algoritmo RL off-policy efficiente (EXPO) e correzioni con umano nel ciclo, il sistema colma il divario tra il preaddestramento generalista e l'affidabilità necessaria per il dispiegamento nel mondo reale.

Gli autori posizionano questo lavoro come un passo intermedio verso una più ampia adozione del fine-tuning di modelli VLA generalisti con reinforcement learning. Riconoscono le limitazioni, come la necessità attuale di reset manuali dell'ambiente e le sfide computazionali nell'esecuzione di addestramenti ad alta frequenza su modelli con miliardi di parametri, identificandole come direzioni per lavori futuri. Tuttavia, il contributo centrale è la validazione che una pipeline unificata ed efficiente nel campionamento può trasformare un VLA generalista in uno specialista altamente affidabile per complesse attività di manipolazione.