Reinforcement Learning from Cross-domain Videos with Video Prediction Model

Sintesi Tecnica: XIPER – Reinforcement Learning da Video Cross-domain con Modello di Predizione Video

1. Definizione del Problema

Il paper affronta la sfida di addestrare agenti di Reinforcement Learning (RL) per apprendere da dimostrazioni visive esperte quando l'agente e il dimostratore esistono in domini visivamente distinti. Questa configurazione "cross-domain" è caratterizzata da significativi gap di dominio, come differenze nel colore dell'agente, nella morfologia (ad esempio, la forma del corpo) o nel gap sim-to-real, dove l'aspetto dell'agente differisce fondamentalmente da quello dell'esperto.

Fondamentalmente, l'agente non ha accesso a:

• Segnali di ricompensa (reward) della verità fondamentale (ground-truth).
• Informazioni sullo stato a bassa dimensionalità.
• Etichette di azione dell'esperto.
• Dati accoppiati tra il dominio dell'agente e quello dell'esperto.

L'agente riceve solo osservazioni visive grezze dal proprio dominio e un set di video non etichettati dell'esperto appartenenti a un dominio diverso. La difficoltà principale risiede nel derivare un segnale di ricompensa significativo che guidi l'agente a riprodurre comportamenti simili a quelli dell'esperto nonostante queste discrepanze visive e dinamiche, senza fare affidamento sull'instabile addestramento avversariale o su rappresentazioni invarianti di dominio che spesso non scalano.

2. Metodologia: XIPER

Gli autori propongono XIPER (Cross-domain Video Prediction Reward), un framework che evita l'addestramento avversariale utilizzando la verosimiglianza di predizione video cross-domain come segnale di ricompensa. Il sistema opera sul presupposto che se il comportamento di un agente è coerente con le dimostrazioni dell'esperto, le osservazioni dell'agente (una volta tradotte nello stile visivo dell'esperto) dovrebbero essere altamente prevedibili da un modello addestrato sui video dell'esperto.

La metodologia consiste in due componenti principali, entrambe pre-addestrate offline e congelate durante la fase di RL:

1. Modello di Traduzione del Dominio ($T_\phi$):

   • Questa componente mappa le osservazioni dell'agente dal dominio dell'agente ($A$) al dominio dell'esperto ($E$).
   • Poiché i dati accoppiati non sono disponibili, viene addestrato come un problema di traduzione immagine-immagine non accoppiata utilizzando l'obiettivo di Neural Optimal Transport (NOT). Questo minimizza la distanza tra la distribuzione delle immagini tradotte dell'agente e la distribuzione delle immagini dell'esperto, preservandone il contenuto.
   • Viene addestrato su osservazioni casuali pre-raccolte da entrambi i domini.

2. Modello di Predizione Video del Dominio dell'Esperto ($p_\theta$):

   • Basato su VideoGPT, questo modello generativo apprende la distribuzione dei comportamenti dell'esperto predicendo il frame successivo dell'esperto data una sequenza di frame precedenti dell'esperto.
   • Viene addestrato sulle traiettorie dell'esperto utilizzando un obiettivo di massima verosimiglianza su una finestra di contesto di $k=16$ frame.

Il Segnale di Ricompensa:
Durante l'addestramento RL, la recente sequenza di osservazioni dell'agente viene prima tradotta nel dominio dell'esperto tramite $T_\phi$. Il modello di predizione video calcola quindi la log-verosimiglianza dell'osservazione tradotta corrente dato il contesto tradotto. Questa verosimiglianza funge da ricompensa ($r_t^{xiper}$):
$$r_t^{xiper} = \ln p_\theta(T_\phi(o_t) | T_\phi(o_{t-k:t-1}))$$
Verosimiglianze più elevate indicano che il comportamento dell'agente si allinea con la distribuzione dell'esperto. Per incoraggiare l'esplorazione, viene aggiunto un bonus di esplorazione basato sull'incertezza.

L'agente RL (utilizzando DreamerV3 come backbone) ottimizza questo segnale di ricompensa per massimizzare il ritorno cumulativo, imparando efficacemente ad agire in modo tale che le sue osservazioni tradotte siano prevedibili dal modello video dell'esperto.

3. Contributi Chiave

• Nuova Formulazione della Ricompensa: Introduzione di XIPER, un modello di ricompensa cross-domain che consente agli agenti RL di apprendere da video non etichettati di esperti attraverso diversi domini visivi usando solo osservazioni a livello di pixel, eliminando la necessità di ricompense ground-truth, informazioni di stato o addestramento avversariale.
• Superiorità Empirica: Dimostrazione che XIPER supera costantemente i baseline competitivi (inclusi la predizione video dello stesso dominio, l'imitazione avversariale e i metodi di confusione di dominio) attraverso il DMC Color Suite (8 task con gap di colore) e il DMC Body Suite (3 task con gap morfologici).
• Applicabilità Sim-to-Real: Analisi che mostra come XIPER possa generare segnali di ricompensa significativi per osservazioni di robot reali utilizzando solo video di simulazione dell'esperto, colmando con successo il gap sim-to-real nella generazione di ricompense senza annotazioni manuali.
• Studi di Ablazione: Analisi sistematica delle scelte di design, confermando che una traduzione di alta qualità (basso FID) è critica per i task di precisione e che un coefficiente di esplorazione specifico ($\beta=1$) produce le prestazioni più robuste.

4. Risultati Sperimentali

Gli autori hanno valutato XIPER su 11 task della suite DeepMind Control (DMC) e su un dataset Sim-to-Real (Lynx Robot).

• Prestazioni: XIPER ha ottenuto ritorni più elevati rispetto a tutti i baseline in 9 task su 12 del DMC.
  • Nel Color Suite, XIPER ha superato i baseline, mentre il baseline dello stesso dominio (VIPER) ha mostrato una certa generalizzazione ma è stato meno robusto.
  • Nel Body Suite (cambiamenti morfologici), XIPtor ha superato significativamente tutti i baseline. In particolare, i baseline avversariali (XAIL, TPIL-Dv3) hanno sofferto di curve di apprendimento instabili e prestazioni scarse, evidenziando l'instabilità dei metodi avversariali anche con forti backbone di RL.
• Qualità della Ricompensa: Le ricompense basate sulla verosimiglianza correlavano fortemente con le ricompense task ground-truth sia su traiettorie casuali che dell'esperto.
• Generalizzazione della Traduzione: Il modello di traduzione del dominio, addestrato esclusivamente su dati casuali, si è generalizzato con successo alle traiettorie dell'esperto fuori distribuzione, traducendo accuratamente i colori e le morfologie dell'agente per corrispondere al dominio dell'esperto.
• Sim-to-Real: Nell'esperimento Lynx Robot, il modello di traduzione ha filtrato con successo il rumore visivo del mondo reale (cavi, hardware) per produrre immagini in stile simulazione. I relativi reward XIPER sulle epizodi del robot reale correlavano bene con le ricompense task ground-truth, validando il potenziale per il trasferimento sim-to-real.

5. Significato e Rivendicazioni

Il paper sostiene che XIPER offra un'alternativa scalabile e stabile all'imitation learning avversariale per il RL visivo cross-domain. Sfruttando la predizione video generativa e la traduzione non accoppiata, esso elimina la necessità di rappresentazioni invarianti di dominio e l'instabilità associata all'addestramento basato su GAN.

Gli autori sottolineano che il loro approccio sblocca l'enorme pool di video online come fonte di dimostrazioni esperte, rimuovendo la necessità di laboriosa ingegneria delle ricompense e costosa raccolta di dati specifici del dominio. Mentre il lavoro attuale valida la qualità del segnale di ricompensa e la capacità dell'agente di apprendere in simulazione, gli autori notano con modestia che chiudere il loop con l'addestramento RL online su robot fisici rimane un passo futuro necessario. Riconoscono inoltre che l'addestramento del modello di traduzione esclusivamente su dati casuali può rappresentare un collo di bottiglia per i task che richiedono comportamenti precisi a lungo termine, suggerendo che il lavoro futuro potrebbe esplorare strategie di esplorazione avanzate o l'ottimizzazione congiunta.