Sintesi Tecnica: Residual Flow Steering (RFS) per la Manipolazione Destra

Problematica

L'apprendimento per imitazione, in particolare utilizzando modelli generativi espressivi come la diffusione e il flow matching, si è dimostrato efficace per avviare policy in compiti di manipolazione destra ad alta dimensionalità. Tuttavia, le policy pre-addestrate esclusivamente su dimostrazioni umane mostrano spesso una capacità di generalizzazione limitata verso scenari inediti e richiedono un fine-tuning per raggiungere prestazioni robuste e di livello produttivo.

I metodi di adattamento esistenti affrontano un compromesso:

• Fine-Tuning Supervisionato: Richiede dati esperti di alta qualità e curati, che sono costosi da raccogliere.
• Reinforcement Learning (RL) con Modelli Generativi: Sebbene l'RL offra un framework principato per il miglioramento del comportamento tramite l'ottimizzazione della ricompensa, i metodi standard di fine-tuning RL si affidano spesso a verosimiglianze in forma chiusa o trucchi di riparametrizzazione. Questi sono incompatibili con architetture generative complesse (modelli di diffusione/flow). Inoltre, le tecniche esistenti di modulazione della policy faticano a bilanciare l'esplorazione globale con la precisione locale:
  • Il Residual RL consente correzioni locali dell'azione, ma non riesce a indurre i necessari cambiamenti comportamentali globali.
  • Il Diffusion Steering (modulazione dell'input) permette la modulazione globale, ma offre un controllo fine limitato in stati fuori distribuzione.

La sfida centrale consiste nell'adattare le policy generative pre-addestate a nuovi compiti e dinamiche del mondo reale, preservando al contempo i benefici dell'esplorazione globale derivanti dal pre-addestramento e consentendo la rapida correzione degli errori di esecuzione locali.

Metodologia: Residual Flow Steering (RFS)

Gli autori propongono Residual Flow Steering (RFS), un framework di apprendimento per rinforzo efficiente nei dati che unifica la modulazione dell'input e dell'output per adattare le policy di flow-matching pre-addestrate.

Modulazione Unificata della Policy

RFS considera l'adattamento della policy come la modulazione di una policy base $\pi_{base}$ pre-addestrata (rappresentata da un campo di velocità di flow-matching $v_\theta$) senza aggiornare i suoi parametri sottostanti. Ottimizza congiuntamente due componenti:

1. Latent Noise Steering (Modulazione dell'Input): Una policy $\pi_H$ impara a produrre un vettore di rumore latente iniziale $a_0$ condizionato dallo stato $s$. Questo guida il comportamento globale del modello generativo, permettendo alla policy di spostare i modi ed esplorare oltre il manifold delle dimostrazioni.
2. Residual Action Correction (Modulazione dell'Output): Una policy $\pi_r$ impara un'azione residua $a_r$ che viene aggiunta all'output della policy base. Ciò consente raffinamenti locali precisi per correggere gli errori di esecuzione o gestire requisiti fuori dal manifold.

L'azione finale è calcolata come:
$$a = a_{base} + a_r$$
dove $a_{base}$ è generata integrando la dinamica del flow a partire dal rumore latente guidato $a_0$.

Pipeline di Implementazione

Il framework viene istanziato attraverso una pipeline sim-to-real:

1. Pre-addestramento in Simulazione: Una policy di flow-matching base viene addestrata su un piccolo set di dimostrazioni tramite teleoperazione VR.
2. RL Online in Simulazione: La policy RFS ($\pi_{RFS}$) viene sottoposta a fine-tuning tramite PPO online per ottimizzare il successo della presa e la stabilità. Informazioni sullo stato privilegiato (es. pose degli oggetti) vengono utilizzate qui per generare dimostrazioni di alta qualità.
3. Distillazione: La policy potenziata da RFS viene distillata in una policy visuomotoria condizionata da nuvole di punti (point clouds), eliminando la necessità di informazioni sullo stato privilegiato per il deployment.
4. Fine-Tuning Offline nel Mondo Reale: Per colmare il divario sim-to-real, la policy distillata viene adattata utilizzando un piccolo dataset di transizioni corrette da esseri umani.
   • Raccolta Dati: La policy base esegue dei rollout; gli umani intervengono con azioni correttive ($a_{human}$).
   • Definizione del Residuo: Il residuo è definito come $a_r = a_{human} - a_{base}$.
   • Addestramento: La policy RFS viene addestrata utilizzando l'Offline RL (specificamente TD3+BC). Il critico è condizionato sull'azione finale eseguita ($a = a_{base} + a_r$) piuttosto che sulle componenti decomposte, cosa che gli autori hanno trovato critica per la stabilità. L'attore massimizza il valore del critico applicando un regolarizzatore di behavior cloning sulle azioni residue.

Contributi Chiave

1. Framework RFS: Introduzione di Residual Flow Steering, un framework unificato che ottimizza congiuntamente il rumore latente (per l'adattamento globale) e le azioni residue (per il raffinamento locale) per adattare le policy di flow-matching pre-addestrate.
2. Efficace Pre-addestramento in Simulazione: Dimostrazione che RFS consente un robusto pre-addestramento in simulazione da dimostrazioni umane, catturando con successo complessi comportamenti di coordinazione multi-dito.
3. Adattamento nel Mondo Reale Efficiente nei Dati: Validazione del fatto che RFS supporta il fine-tuning nel mondo reale tramite offline RL, superando le basi di apprendimento per imitazione (imitation learning) e i metodi standard di solo residuo o solo steering.
4. Ablazioni Complete: Esperimenti estesi che identificano la necessità di entrambi i componenti di modulazione (input e output) per ottenere alte prestazioni sia in simulazione che nel mondo reale.

Risultati Sperimentali

Prestazioni in Simulazione

RFS è stato valutato su sei compiti di manipolazione destra: Grasping (presa), Pick & Place, Packing (imballaggio), Push-to-Grasp, Stacking (impilamento) e Pouring (versamento).

• Baseline: RFS è stato confrontato con il fine-tuning di Diffusion/Flow RL (DPPO, ReinFlow), Offline-to-Online RL (IQL, AWAC, Flow Q-Learning) e RL con Dimostrazioni (RLPD, IBRL).
• Ablazioni: Confrontato contro il solo Residual RL (Policy Decorator, ResiP) e il solo Diffusion Steering (DSRL).
• Risultato: RFS ha ottenuto i tassi di successo più elevati in tutti i compiti, con un tasso di successo medio di 0.87.
  • In particolare, RFS ha superato significativamente la policy base e tutte le baseline nei compiti a lungo orizzonte (Packing) e ad alta precisione (Stacking, Pouring), dove altri metodi fallivano o faticavano.
  • Ad esempio, su Stacking, RFS ha raggiunto uno 0.95 di successo, rispetto allo 0.15 della policy base e allo 0.135 di DSRL.

Prestazioni nel Mondo Reale

Gli esperimenti sono stati condotti su un braccio Franka con una mano LEAP, trasferendo le policy addestrate in simulazione a compiti di grasping e pick-and-place nel mondo reale con oggetti visti e non visti.

• Setup: Il fine-tuning è stato eseguito utilizzando solo 50 dimostrazioni corrette da esseri umani (offline RL).
• Baseline: Zero-shot transfer, fine-tuning di Behavior Cloning (BC) e Co-training.
• Risultato:
  • Oggetti Visti: RFS ha ottenuto il 90.0% di successo in Pick-and-Place e l'80.0% in Grasping, superando il Co-training (60.0% / 83.3%) e il BC (40.0% / 73.3%).
  • Oggetti Non Visti: RFS ha dimostrato una generalizzazione superiore, ottenendo il 74.0% di successo in Grasping e il 48.0% in Pick-and-Place, significativamente più alto della baseline zero-shot (43.3% / 30.0%) e delle altre varianti di offline RL.
• Design del Critico: Gli autori hanno scoperto che condizionare il critico sull'azione finale eseguita ($a_{base} + a_r$) era essenziale; condizionare sulle componenti decomposte non produceva risultati coerenti.

Significato e Rivendicazioni

Il paper sostiene che RFS fornisca una soluzione principata al "collo di bottiglia dell'adattamento" nell'apprendimento per imitazione generativo. Decoupling (disaccoppiando) l'esplorazione globale (tramite il rumore latente) dal raffinamento locale (tramite i residui), RFS permette alle policy di:

1. Preservare il Pre-addestramento: Mantenere la struttura espressiva e le capacità multimodali della policy di flow-matching pre-addestrata.
2. Adattarsi Efficientemente: Raggiungere prestazioni robuste con un minimo di interazione nel mondo reale (fine-tuning offline).
3. Generalizzare: Trasferire con successo dalla simulazione al mondo reale, gestendo oggetti nuovi e condizioni dinamiche che causano il fallimento delle policy zero-shot.

Gli autori concludono che, sebbene RFS sia altamente efficace, le attuali limitazioni includono la dipendenza da osservazioni di nuvole di punti (mancanza di ragionamento semantico di alto livello) e una restrizione al fine-tuning offline, che limita la reattività alle condizioni che cambiano dinamicamente durante il deployment.