MOBODY: Model Based Off-Dynamics Offline Reinforcement Learning

1. Il Problema: Off-Dynamics Offline Reinforcement Learning

Il paper affronta il problema dell'Off-Dynamics Offline Reinforcement Learning (RL). In questo scenario, l'obiettivo è apprendere una politica ottimale per un ambiente target (reale o di deployment) utilizzando:

1. Un dataset offline di grandi dimensioni proveniente da un ambiente sorgente (es. un simulatore).
2. Un dataset offline limitato proveniente dall'ambiente target.

La sfida principale risiede nel fatto che le dinamiche di transizione ($p(s'|s, a)$) tra i due domini sono disallineate (mismatched). Le azioni che funzionano bene nel simulatore potrebbero non produrre gli stessi stati successivi nel mondo reale a causa di differenze fisiche (es. attrito, gravità, morfologia del robot).

Limitazioni degli approcci esistenti:
I metodi attuali (come DARA, BOSA, SRPO) tendono a penalizzare i reward o a filtrare i dati sorgente che mostrano un alto "shift" dinamico. Di conseguenza, ottimizzano la politica solo nelle regioni a basso shift, ignorando stati ad alto reward nel dominio target che si trovano al di fuori di queste regioni. Questo porta a un fallimento quando lo shift dinamico è significativo o quando le traiettorie ottimali si trovano in aree con grandi differenze dinamiche.

2. Metodologia: MOBODY

MOBODY propone un approccio Model-Based che supera i limiti dei metodi precedenti esplorando attivamente il dominio target attraverso un modello dinamico appreso, invece di limitarsi ai dati a basso shift.

A. Apprendimento delle Dinamiche Target (Dynamics Learning)

L'idea centrale è che, per raggiungere lo stesso stato successivo partendo dallo stesso stato, sono necessarie azioni diverse nei due domini a causa delle differenze dinamiche. MOBODY sfrutta questa osservazione attraverso un'architettura di rappresentazione condivisa:

1. Encoder delle Azioni Separati: Vengono utilizzati due encoder distinti per le azioni ($\psi_{src}$ e $\psi_{trg}$) per codificare le azioni dei domini sorgente e target in uno spazio latente condiviso. Questo permette di catturare le differenze specifiche di ogni dominio.
2. Rappresentazione degli Stati Condivisa: Un unico encoder di stato ($\phi_E$) mappa gli stati in una rappresentazione latente comune.
3. Funzione di Transizione Unificata: Una singola funzione di transizione ($\phi_T$) mappa la rappresentazione latente dello stato e dell'azione codificata al prossimo stato.
4. Funzioni di Loss:
   • Transition Loss: Minimizza l'errore quadratico medio tra lo stato previsto e quello reale per entrambi i domini.
   • Encoder Loss: Assicura che la rappresentazione latente dell'azione (insieme allo stato) sia coerente con la rappresentazione del prossimo stato, forzando gli encoder a catturare le differenze dinamiche.
   • Cycle Transition Loss (VAE-style): Utilizza un approccio tipo Variational Autoencoder per imparare una rappresentazione dello stato robusta e prevenire il collasso delle modalità (mode collapse), trattando la transizione come un processo di decodifica.

Questo permette di apprendere le dinamiche target utilizzando sia i dati target (limitati) che i dati sorgenti (abbondanti), sfruttando la conoscenza strutturale condivisa.

B. Apprendimento della Politica (Policy Learning)

Una volta appreso il modello dinamico target, MOBODY esegue un'ottimizzazione della politica basata su modelli:

1. Rollout Model-Based: Genera nuovi dati di transizione (rollout) simulando l'ambiente target utilizzando il modello appreso, partendo dagli stati presenti nei dataset offline.
2. Target Q-Weighted Behavior Cloning (BC): Per evitare azioni fuori distribuzione (OOD) e guidare la politica verso azioni con alto valore nel dominio target, viene introdotta una regolarizzazione innovativa.
   • Invece di imitare uniformemente le azioni del dataset o usare pesi basati sull'advantage (come in IQL), la loss di Behavior Cloning viene pesata dal valore Q del dominio target.
   • Questo spinge la politica a favorire le azioni che hanno un alto valore Q stimato nel dominio target, mitigando il rischio di imitare azioni sorgenti che potrebbero essere subottimali nel target.

3. Contributi Chiave

1. Nuovo Paradigma: Introduzione del "Model-Based Off-Dynamics Offline RL", che permette l'esplorazione del dominio target tramite dinamiche apprese, superando la limitazione dei metodi basati su filtraggio/penalizzazione.
2. Architettura di Apprendimento Ibrida: Un framework che apprende dinamiche target combinando dati sorgente e target tramite encoder di azioni separati e rappresentazioni latenti condivise.
3. Regolarizzazione Q-Pesata: Un metodo semplice ed efficiente per la regolarizzazione della politica che utilizza i valori Q del dominio target per guidare il comportamento, migliorando la robustezza rispetto ai metodi standard.
4. Validazione Empirica: Dimostrazione che l'approccio supera gli stati dell'arte (SOTA) in scenari complessi.

4. Risultati Sperimentali

Il metodo è stato valutato su una vasta gamma di benchmark MuJoCo (HalfCheetah, Ant, Walker2d, Hopper) e Adroit (Pen, Door) con diversi tipi e livelli di shift dinamico (gravità, attrito, cinematica, morfologia).

• Prestazioni Generali: MOBODY ha mostrato un miglioramento medio del 44% rispetto ai migliori baseline (come REAG) nelle impostazioni di gravità e attrito, e del 25% nelle impostazioni di shift cinematico e morfologico.
• Scalabilità con lo Shift: Le prestazioni di MOBODY migliorano significativamente man mano che lo shift dinamico aumenta. Mentre metodi come DARA e BOSA falliscono in scenari con grandi shift (es. gravità x0.1 o x5.0), MOBODY riesce a esplorare e trovare politiche ottimali grazie al modello dinamico appreso.
• Ablation Study: Gli esperimenti hanno confermato che:
  • L'apprendimento delle dinamiche con encoder separati è cruciale (sostituendolo con modelli esistenti le prestazioni crollano).
  • Il rollout basato sul modello è il principale motore dei miglioramenti.
  • La loss di Behavior Cloning pesata con Q-target è essenziale per la regolarizzazione efficace.

5. Significato e Impatto

MOBODY rappresenta un passo avanti significativo nel campo del RL offline cross-dominio. Dimostra che è possibile sfruttare grandi quantità di dati simulati per addestrare agenti su compiti reali, anche quando le dinamiche fisiche sono molto diverse, senza richiedere interazione online costosa o pericolosa.

La capacità di esplorare attivamente il dominio target attraverso un modello appreso, invece di limitarsi a filtrare i dati, risolve il problema fondamentale della "conservatività eccessiva" dei metodi attuali. Questo approccio apre la strada a soluzioni più robuste per applicazioni reali come la robotica, la guida autonoma e la sanità, dove la simulazione è l'unica fonte di dati abbondante ma le dinamiche reali sono incerte.