WOMBET: World Model-based Experience Transfer for Robust and Sample-efficient Reinforcement Learning

1. Il Problema

L'apprendimento per rinforzo (RL) nella robotica reale è spesso limitato dall'alto costo e dal rischio associati alla raccolta dei dati. Le condizioni ideali per il RL (interazioni abbondanti e reset frequenti) sono raramente soddisfatte.

• Limiti degli approcci esistenti:
  • Il RL Online richiede troppe interazioni e soffre di spostamenti distribuzionali (distributional shift) tra task sorgente e target.
  • Il RL Offline evita l'esplorazione rischiosa ma degrada se i dati sono limitati o non corrispondono al task target.
  • Il RL Offline-to-Online combina i due approcci (pre-addestramento offline e affinamento online), ma assume solitamente l'esistenza di un dataset offline di alta qualità, senza spiegare come generarne uno affidabile o come riutilizzarlo in sicurezza.
  • Il RL basato su Modelli (MBRL) può generare dati sintetici, ma spesso introduce bias dovuti agli errori di predizione del modello, portando a politiche insicure o poco diversificate.

L'obiettivo è sviluppare un framework che generi attivamente dati di esperienza affidabili da un task sorgente e li trasferisca efficientemente a un task target, migliorando l'efficienza del campione e la robustezza.

2. Metodologia: WOMBET

WOMBET (World Model-based Experience Transfer) è un framework unificato che accoppia la generazione di dati offline basata su modelli con incertezza e l'affinamento online adattivo. Il processo è iterativo e si articola in quattro fasi principali:

A. Generazione di Dati Basata su World Model

Invece di assumere un dataset fisso, WOMBET genera un dataset offline ($D_S$) partendo da un task sorgente.

• Viene appreso un modello del mondo probabilistico (ensemble di modelli) che approssima le dinamiche del sistema.
• Viene utilizzato un MPC (Model Predictive Control) per generare traiettorie.

B. Pianificazione Robusta con Limite Inferiore di Prestazione

Per garantire l'affidabilità dei dati sintetici e mitigare il bias del modello, WOMBET introduce una penalità basata sull'incertezza durante la pianificazione MPC.

• Viene definita una ricompensa penalizzata: $\tilde{r}(s, a) = r(s, a) - \lambda u(s, a)$, dove $u(s, a)$ è l'incertezza epistemica (stimata dalla varianza dell'ensemble).
• Teoricamente, massimizzare il ritorno con questa ricompensa penalizzata garantisce un limite inferiore provabile sul vero ritorno sotto le dinamiche reali, bilanciando lo sfruttamento della ricompensa con l'evitamento di regioni ad alta incertezza.

C. Filtraggio a Doppio Criterio

Non tutte le traiettorie generate dal modello sono utili. WOMBET applica un filtro rigoroso per costruire il dataset offline $D_S$:

1. Alto Ritorno: La traiettoria deve avere un ritorno cumulativo superiore a una soglia ($J_{th}$).
2. Bassa Incertezza: L'incertezza media lungo la traiettoria deve essere inferiore a una soglia ($u_{th}$).
   Le traiettorie accettate vengono poi "rilette" (re-labeled) con la funzione di ricompensa del task target ($r_T$) per preparare il trasferimento.

D. Addestramento Adattivo Offline-to-Online

Nel task target, WOMBET esegue l'ottimizzazione della politica utilizzando un mix di dati offline ($D_S$) e dati online ($D_T$) raccolti durante l'interazione reale.

• Campionamento Adattivo: Il rapporto di miscelazione $\alpha$ tra dati offline e online non è fisso, ma viene adattato dinamicamente in base all'errore TD (Temporal Difference) del critico. Se l'errore è alto (sotto-adattamento), si usano più dati offline per stabilizzare; man mano che l'apprendimento procede, si sposta verso i dati online per l'adattamento specifico.
• Regolarizzazione Implicita: Per evitare l'esplosione dei valori (value explosion) su stati fuori distribuzione (OOD), WOMBET utilizza:
  • LayerNorm negli strati nascosti dei critici per vincolare l'ampiezza delle attivazioni.
  • Minimo dell'Ensemble per i target di Bellman, introducendo un pessimismo implicito che riduce la sovrastima dei valori.

3. Contributi Chiave

1. Generazione e Trasferimento Accoppiati: Un framework che non assume un dataset offline preesistente, ma lo genera attivamente tramite pianificazione basata su modelli, ottimizzando congiuntamente la generazione dei dati e il trasferimento.
2. Cura dei Dati Affidabile e Trasferimento Adattivo:
   • Introduzione di un filtro a doppio criterio (alto ritorno + bassa incertezza) per selezionare solo le traiettorie affidabili.
   • Una strategia di campionamento adattivo che bilancia bias e varianza basandosi sull'errore del critico.
3. Validazione Teorica ed Empirica:
   • Dimostrazione che la pianificazione penalizzata dall'incertezza massimizza un limite inferiore del vero ritorno.
   • Derivazione di una decomposizione dell'errore a campione finito che cattura lo spostamento distribuzionale e l'errore di approssimazione.
   • Risultati empirici che mostrano una maggiore efficienza del campione e prestazioni finali superiori rispetto a baseline solide.

4. Risultati Sperimentali

Il framework è stato valutato su diversi benchmark di controllo continuo (MuJoCo):

• Efficienza del Campione: WOMBET impara più velocemente e raggiunge ritorni asintotici più alti rispetto al RL online puro (SAC, PPO, TD3) addestrato da zero, utilizzando meno della metà del budget di interazione.
• Necessità dell'Affinamento Online: I metodi puramente offline (BC, IQL, CQL, MOPO) performano bene solo se i task sorgente e target sono molto simili, ma degradano con spostamenti moderati. WOMBET, grazie all'affinamento online, supera questi limiti adattandosi alle nuove ricompense e regioni dello stato.
• Confronto con Baseline Offline-to-Online: Rispetto ad altri metodi che pre-addestrano offline e affinano online, WOMBET mostra una maggiore efficienza e stabilità. La differenza chiave risiede nella generazione controllata dei dati e nel meccanismo di trasferimento adattivo, che evita i bruschi spostamenti distribuzionali tipici dei pipeline standard.
• Ablazione: Gli esperimenti confermano che sia il filtraggio a doppio criterio che il campionamento adattivo sono componenti essenziali; la rimozione di uno di questi porta a prestazioni inferiori o instabilità.

5. Significato e Conclusione

WOMBET rappresenta un avanzamento significativo nel campo del RL robotico, colmando il divario tra l'efficienza dei dati del RL basato su modelli e l'adattabilità del RL senza modelli.

• Sicurezza e Affidabilità: Risolve il problema del "bias del modello" filtrando attivamente i dati sintetici e utilizzando penalità di incertezza, rendendo il trasferimento sicuro anche in scenari reali.
• Efficienza: Permette di trasferire esperienza da un task sorgente (dove i dati possono essere generati o raccolti in sicurezza) a un task target complesso, riducendo drasticamente il tempo e il rischio di esplorazione nel mondo reale.
• Generalità: Il framework unifica la generazione di dati conservativa con l'apprendimento adattivo, offrendo una soluzione robusta per il controllo continuo in ambienti dinamici.

In sintesi, WOMBET dimostra che ottimizzare congiuntamente la generazione dei dati e il trasferimento dell'esperienza porta a politiche più robuste, efficienti e pronte per l'implementazione nella robotica reale.