Sintesi Tecnica: Trasporto Ottimale Basato su Video per l'Apprendimento del Rinforzo Offline Basato su Preferenze Efficiente nel Feedback

Definizione del Problema

Gli agenti di Apprendimento per Rinforzo (RL) richiedono funzioni di ricompensa adeguate per risolvere compiti decisionali. Negli scenari del mondo reale, progettare manualmente ricompense dense e informative è complesso, richiedendo spesso una strumentazione estesa (ad esempio, motion capture, sensori tattili) e comportando il rischio di una specificazione errata della ricompensa, dove gli agenti possono sfruttare scorciatoie non intenzionali. L'RL basato su preferenze (PbRL) offre un'alternativa, apprendendo funzioni di ricompensa dalla valutazione umana di coppie di traiettorie di comportamento. Tuttavia, la scalabilità del PbRL è ostacolata dall'alto costo dell'etichettatura umana, che richiede spesso migliaia di query per apprendere funzioni di ricompensa efficaci. Sebbene lavori precedenti abbiano esplorato l'apprendimento semi-supervisionato e il meta-apprendimento per mitigare questo problema, il potenziale nell'utilizzare la percezione visiva umana — specificamente lo spazio di rappresentazione strutturato dei Modelli Fondativi Video (ViFM) — per inferire le preferenze su dati non etichettati rimane poco esplorato.

Metodologia: Trasporto Ottimale delle Preferenze Basato su Video (VOTP)

Gli autori propongono VOTP, un framework semi-supervisionato progettato per apprendere funzioni di ricompensa efficaci da un numero minimo di etichette di preferenza umane (ad esempio, 10 query), sfruttando dati non etichettati da dataset offline. Il metodo opera in due fasi principali:

1. Rappresentazione della Traiettoria tramite ViFM

Invece di fare affidamento su coppie stato-azione grezze, VOTP modella i segmenti di traiettoria come brevi clip video. Queste clip vengono incorporate in uno spazio latente utilizzando un Modello Fondativo Video (ViFM) pre-addestrato, specificamente S3D pre-addestrato su HowTo100M. Questa scelta è motivata dalla capacità dei ViFM di catturare sia i dettagli spaziali che la dinamica temporale, fornendo embedding semanticamente ricchi e indipendenti dall'attore, robusti alle variazioni di disturbo (illuminazione, punto di vista) e capaci di generalizzare a ambienti robotici non visti.

2. Generazione di Etichette di Pseudo-Preferenza tramite Trasporto Ottimale

L'innovazione principale di VOTP è l'uso del Trasporto Ottimale (OT) per allineare coppie di segmenti etichettati e non etichettati all'interno dello spazio latente del ViFM per generare pseudo-etichette.

• Configurazione: Sia $L$ l'insieme dei segmenti etichettati con relazioni di preferenza note codificate in una matrice antisimmetrica $R$, sia $U$ l'insieme dei segmenti non etichettati.
• Piano di Trasporto Ottimale: VOTP calcola un piano OT $\mu^*$ che minimizza il costo di trasporto (distanza euclidea o coseno nello spazio latente) tra le misure empiriche di $L$ e $U$. Questo piano $\mu_{ii'}$ rappresenta la probabilità che un segmento non etichettato $\bar{\sigma}_{i'}$ corrisponda a un segmento etichettato $\sigma_i$.
• Inferenza: Il punteggio di preferenza per una coppia non etichettata $(\bar{\sigma}_{i'}, \bar{\sigma}_{j'})$ viene inferito aggregando le preferenze da tutte le coppie etichettate, pesate in base alla loro forza di allineamento relativa derivata dal piano OT:
  $$S(\bar{\sigma}_{i'}, \bar{\sigma}_{j'}) = \sum_{i,j} R_{ij}(\mu_{ii'}\mu_{jj'} - \mu_{ij'}\mu_{ji'})$$
  Questo punteggio viene normalizzato e sogliato per assegnare una pseudo-etichetta ($\tilde{y} \in \{0, 1, 0.5\}$).
• Apprendimento della Ricompensa: La funzione di ricompensa viene addestrata utilizzando sia i dati etichettati originali che i nuovi dati con pseudo-etichette. Durante la fase di RL offline, la funzione di ricompensa appresa sostituisce le ricompense originali nel dataset per ottimizzare la policy.

Contributi Chiave

1. Framework VOTP: Introduzione di un framework semi-supervisionato che utilizza il Trasporto Ottimale sullo spazio latente dei Modelli Fondativi Video per assegnare automaticamente etichette di preferenza alle coppie di traiettorie non etichettate.
2. Efficienza del Feedback: Dimostrazione che VOTP può apprendere funzioni di ricompensa ed efficaci policy da un numero esiguo di query di preferenza umana (ad esempio, 10), riducendo significativamente il carico di annotazione rispetto ai metodi di offline PbRL allo stato dell'arte.
3. Robustezza alla Variazione Visiva: Validazione del fatto che l'utilizzo dei ViFM consente al metodo di mantenere le prestazioni in presenza di distrattori visivi (cambiamenti di illuminazione, variazioni di texture, sfondi dinamici) dove altri metodi potrebbero avere difficoltà.
4. Applicabilità nel Mondo Reale: Applicazione riuscita del framework a compiti di manipolazione robotica nel mondo reale (Lift Banana, Drawer Open) utilizzando un braccio Sawyer a 7 DoF, raggiungendo tassi di successo superiori rispetto ai baseline.

Risultati Sperimentali

Gli autori hanno valutato VOTP attraverso locomozione (D4RL), manipolazione (MetaWorld) e compiti robotici reali.

• Performance nei Benchmark: In D4RL e MetaWorld, VOTP ha superato costantemente i baseline di offline PbRL allo stato dell'arte (inclusi P-IQL, SURF, LiRE e FTB) sotto budget limitati di feedback. Notevolmente, VOTP ha raggiunto prestazioni comparabili a un baseline "Oracle" (che ha accesso alle ricompense ground-truth per i dati non etichettati) nei compiti D4RL.
• Regime a Bassi Dati: Negli esperimenti variando il numero di etichette, VOTP ha richiesto significativamente meno etichette per raggiungere la performance della ricompensa del compito rispetto ai baseline. Nel compito door-open, VOTP con soli 10 label ha superato le policy addestrate con ricompense ground-truth.
• Studi di Ablazione:
  • ViFMs vs. IFMs: I Modelli Fondativi Video (S3D, VideoCLIP, InternVideo) hanno superato i Modelli Fondativi di Immagini (R3M, CLIP), evidenziando l'importanza di catturare la dinamica temporale per l'apprendimento delle preferenze.
  • OT vs. Similarità: La strategia di pseudo-etichettatura basata su OT ha superato significativamente i baseline che si affidavano a semplici metriche di similarità (SIM-individual, SIM-mean, SIM-weighted), dimostrando l'efficacia del piano di trasporto nell'aggregare l'informazione di preferenza.
  • Correlazione della Ricompensa: La funzione di ricompensa appresa da VOTP ha mostrato una correlazione di Pearson significativamente più alta con le ricompense ground-truth rispetto a P-IQL, indicando una migliore copertura degli spazi di stato e azione.
• Valutazione su Robot Reale: Su un robot Sawyer fisico, VOTP ha raggiunto l'80% di successo su "Lift Banana" e il 70% su "Drawer Open", superando il Behavior Cloning (20-40%) e P-IQL (50%). Fondamentalmente, VOTP ha distinto correttamente tra traiettorie di successo e di fallimento negli output della ricompensa, mentre P-IQL assegnava ricompense elevate ai comportamenti fallimentari.

Significato e Assertioni

Il paper afferma che VOTP rappresenta una soluzione scalabile e pratica per l'RL basato su preferenze offline. Sfruttando lo spazio di rappresentazione espressivo dei Modelli Fondativi Video pre-addestrati e il rigore matematico del Trasporto Ottimale, il metodo colma efficacemente il divario tra la limitata supervisione umana e la necessità di un'ampia copertura delle ricompense. Gli autori sostengono che questo approccio riduce sostanzialmente la necessità di supervisione umana mantenendo al contempo la robustezza contro i distrattori visivi, rendendolo una via percorribile per il dispiegamento di agenti RL in ambienti complessi del mondo reale dove l'ingegneria delle ricompense è impraticabile.

Gli autori riconoscono i limiti riguardanti i potenziali bias ereditati dai ViFM pre-addestrati e il costo computazionale della risoluzione del piano OT per dataset molto grandi, suggerendo come lavoro futuro metodi di trasporto approssimati. Tuttavia, nell'ambito dei loro esperimenti, il metodo si dimostra altamente efficace per l'apprendimento efficiente del feedback.