Human Preference Modeling Using Visual Motion Prediction Improves Robot Skill Learning from Egocentric Human Video

1. Il Problema

L'obiettivo principale della ricerca è ridurre drasticamente il numero di dimostrazioni fisiche necessarie su un robot per apprendere abilità di base, sfruttando invece la vasta quantità di video di dimostrazioni umane (in particolare video in prima persona o egocentrici).

Le sfide principali identificate sono:

• Divario di Incarnazione (Embodiment Gap): I robot e gli umani hanno morfologie e spazi di azione diversi. Trasferire direttamente le traiettorie umane è difficile.
• Divario Ambientale: I video umani provengono da ambienti non strutturati, mentre i robot operano in contesti specifici.
• Limitazioni dei Metodi Esistenti: Le approcci precedenti per l'apprendimento della funzione di ricompensa dai video si basano spesso sulla distanza temporale tra uno stato visivo e lo stato finale (obiettivo). Questo metodo presenta diversi difetti:
  • È sensibile al rumore e alle esitazioni umane (una pausa nel video penalizza ingiustamente tutti gli stati precedenti).
  • Fatica a generalizzare dal dominio umano a quello robotico a causa dello spostamento di distribuzione (distribution shift).
  • Non distingue bene tra tentativi falliti che sembrano simili a quelli riusciti (es. il robot esegue i movimenti ma non raggiunge l'obiettivo).

2. Metodologia

Gli autori propongono un nuovo approccio chiamato Motion Prediction Reward (MPR). Invece di stimare il valore a lungo termine di uno stato basandosi sul tempo rimanente, il metodo modella le preferenze a breve termine degli umani prevedendo il movimento dei punti su oggetti rilevanti.

Il processo si articola in tre fasi principali:

A. Apprendimento del Modello di Previsione del Movimento

• Input: Un grande dataset di video umani egocentrici (es. Ego4D, Epic Kitchens) per un compito specifico.
• Elaborazione: Vengono estratte le maschere degli oggetti rilevanti e tracciata una griglia di punti su di essi.
• Modello: Viene addestrato un Motion Prediction Transformer ($F_\theta$) basato sull'architettura DiT (Diffusion Transformer). Il modello prende in input l'osservazione visiva al tempo $t$, la posizione dei punti $P_t$ e un indicatore di progresso normalizzato, per prevedere la posizione dei punti al tempo $t+1$ ($P_{t+1}$).
• Obiettivo: Il modello impara a prevedere come gli oggetti dovrebbero muoversi in un passaggio di successo, catturando le preferenze umane immediate.

B. Definizione della Funzione di Ricompensa

Per ogni episodio di comportamento del robot:

1. Si tracciano i punti sugli oggetti rilevanti nel video del robot.
2. Si confronta il movimento osservato dei punti con il movimento previsto dal modello $F_\theta$.
3. La ricompensa $r_t$ è calcolata come la somma delle similarità del coseno tra i vettori di spostamento previsti e quelli osservati.
   • Se il movimento del robot allinea gli oggetti come previsto dall'umano, la ricompensa è alta.
   • Se il movimento è disallineato o l'oggetto non si muove (fallimento), la ricompensa è bassa o nulla.

• Vantaggio: Questo premia il risultato (il movimento dell'oggetto) piuttosto che l'azione specifica, rendendo il metodo robusto alle differenze di incarnazione e capace di ignorare le esitazioni umane.

C. Apprendimento della Politica (Residual RL)

Per ottimizzare la politica del robot:

• Si parte da una politica di base ($\pi_{base}$) addestrata tramite Behavior Cloning su un piccolo set di dimostrazioni sul robot (10 demo).
• Si utilizza un framework Residual Reinforcement Learning basato su una variante modificata di Soft Actor Critic (SAC).
• La politica appresa è $\pi(s) = \pi_{base}(s) + \alpha \pi_{RL}(s)$, dove $\pi_{RL}$ impara le correzioni residue.
• L'algoritmo utilizza sia i dati offline (dimostrazioni) che i dati online (interazione con l'ambiente) per addestrare la funzione valore e la politica, garantendo stabilità ed efficienza nel campionamento.

3. Contributi Chiave

1. Nuova Metrica di Ricompensa: Spostamento dal concetto di "distanza temporale all'obiettivo" alla "previsione del movimento degli oggetti". Questo riduce i bias causati da esitazioni umane e migliora la generalizzazione tra umano e robot.
2. Robustezza al Fallimento: Il metodo riesce a distinguere chiaramente tra tentativi che sembrano simili ma falliscono (es. il robot muove la mano ma non apre il forno) e tentativi riusciti, premiando solo il movimento effettivo dell'oggetto target.
3. Efficienza dei Dati: Dimostrazione che è possibile migliorare significativamente le prestazioni di un robot su hardware reale con solo 10 dimostrazioni iniziali e circa un'ora di interazione reale.
4. Integrazione Architetturale: Combinazione efficace di modelli di visione avanzati (DinoV2, CoTracker, DiT) con tecniche di RL off-policy stabili (SAC modificato con regolarizzazione).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sia in simulazione (Franka Kitchen) che su hardware reale (Franka Research 3).

• Confronto con Baseline: Il metodo MPR è stato confrontato con:
  • Ricompensa sparsa (1 per successo, 0 altrimenti).
  • Ricompensa densa manuale (basata su stato privilegiato).
  • VIP (Value Implicit Pretraining): Un metodo stato-arte basato sulla distanza temporale.
• Performance in Simulazione: MPR ha eguagliato o superato le ricompense manuali e ha superato nettamente VIP, specialmente in compiti complessi come "Aprire il Microonde", dove VIP mostrava bias che portavano a minimi locali.
• Performance su Hardware Reale:
  • Task: Aprire il microonde, piegare un panno, pulire un bancone.
  • Risultati: MPR ha migliorato il tasso di successo rispetto alla politica di base di oltre il 30% (es. da 45% a 76.7% nell'apertura del microonde).
  • Confronto con VIP: Le politiche addestrate con VIP hanno spesso fallito o mostrato comportamenti di "dimenticanza" (unlearning), con tassi di successo finali inferiori alla politica di base (es. 23.3% vs 45% di base). Questo è dovuto al fatto che VIP assegnava ricompense positive a episodi falliti che sembravano simili a quelli riusciti.
  • Efficienza: Con un budget di solo 100 episodi (circa 15.000 step), MPR ha raggiunto prestazioni superiori a quelle ottenute da VIP con 300.000 step in simulazione.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo nell'apprendimento robotico dai dati umani.

• Superamento del Divario di Incarnazione: Dimostrando che modellare le preferenze attraverso il movimento degli oggetti è più efficace che tentare di imitare le traiettorie umane o stimare la distanza temporale.
• Scalabilità: Il metodo è scalabile a grandi dataset di video non strutturati senza richiedere un'etichettatura fine o un adattamento specifico dell'ambiente.
• Apprendimento Autonomo: Abilita i robot a migliorare autonomamente le proprie prestazioni in tempi brevi (un'ora) partendo da pochissimi dati, rendendo l'addestramento su hardware reale più pratico ed economico.
• Fondamento per Modelli Futuri: Suggerisce la possibilità di sviluppare "foundation models" per la ricompensa robotica basati su video, aprendo la strada a robot più capaci di apprendere compiti complessi in ambienti domestici.

In sintesi, gli autori dimostrano che prevedere come gli oggetti dovrebbero muoversi è una strategia superiore per derivare segnali di ricompensa dai video umani, permettendo ai robot di imparare più velocemente, in modo più stabile e con meno dati rispetto alle tecniche precedenti.