Riepilogo Tecnico: Colmare i Divari di Dominio con la Generazione Allineata al Target per l'Apprendimento per Rinforzo Offline

Enunciato del Problema

L'apprendimento per rinforzo (RL) offline cross-domain mira a trasferire una politica da un dominio sorgente a un dominio target utilizzando esclusivamente dataset pre-raccolti, senza alcuna interazione online. Questa impostazione è critica per applicazioni come il controllo eterogeneo dei robot e il trasferimento da simulazione a realtà, dove la raccolta di dati online è proibitiva in termini di costi o pericolosa.

Una sfida primaria in questo regime è la mismatch distribuzionale tra dominio sorgente e dominio target, in particolare quando il dataset target è estremamente limitato ($|D_{tar}| \ll |D_{src}|$). I metodi esistenti spesso tentano di colmare questo divario filtrando i dati sorgente per trovare transizioni "vicine" alla distribuzione target. Tuttavia, gli autori dimostrano che, quando il divario dinamico è ampio, incorporare direttamente anche le transizioni sorgente "più vicine" può indurre un significativo mismatch distribuzionale, degradando le prestazioni rispetto all'addestramento sui soli dati target. Al contrario, affidarsi esclusivamente ai dati target limitati spesso non fornisce una copertura degli stati sufficiente per un apprendimento efficace della politica.

Metodologia: Espansione della Copertura Allineata al Target (TCE)

Per affrontare il compromesso tra lo sfruttamento dei dati sorgente e l'evitare il mismatch distribuzionale, gli autori propongono l'Espansione della Copertura Allineata al Target (TCE). TCE è un framework che guida teoricamente come i dati sorgente debbano essere utilizzati: o mediante l'incorporazione diretta di transizioni vicine al target, o utilizzando i dati sorgente per espandere la copertura degli stati tramite generazione allineata al target.

Fondamenta Teoriche

Il metodo si basa su un'analisi teorica del divario di prestazioni tra un Processo Decisionale di Markov (MDP) target e un MDP misto (che combina le dinamiche sorgente e target). Gli autori derivano un limite (Teorema 4.1) che mostra come il divario di prestazioni sia governato da due componenti:

1. Divario Dinamico: La distanza di variazione totale tra le dinamiche di transizione sorgente ($P_{src}$) e le dinamiche target ($P_{tar}$).
2. Errore di Generazione: La distanza tra una transizione target approssimata generata ($\hat{P}_{tar}$) e le vere dinamiche target.

TCE controlla queste due fonti di errore regolando due coefficienti:

• $\lambda_{mix}$: Controlla la frazione di dati sorgente incorporati direttamente (minimizzando l'errore di generazione ma potenzialmente aumentando il divario dinamico).
• $\lambda_{cov}$: Controlla l'estensione dell'espansione della copertura degli stati tramite generazione (minimizzando il divario dinamico ma potenzialmente aumentando l'errore di generazione).

Framework Algoritmico

TCE impiega un modello generativo basato su score duale costruito su Equazioni Differenziali Stocastiche (SDE) per sintetizzare transizioni coerenti con le dinamiche target ma che coprono uno spazio degli stati espanso.

1. Reti di Score Duali:

   • Rete di Score per Stati Misto ($q^{mix}_\theta$): Addestrata su una miscela controllabile di stati target e stati sorgente che sono "vicini" al target (selezionati tramite un criterio dei vicini più prossimi). Questa rete modella la distribuzione degli stati espansa.
   • Rete di Score per Transizioni Target ($q^{tran}_\theta$): Addestrata esclusivamente sulle transizioni target. Genera lo stato successivo condizionato allo stato corrente, assicurando che le dinamiche di transizione siano allineate al dominio target.

2. Procedura di Campionamento in Due Fasi:

   • Fase 1 (Campionamento dello Stato): Campiona uno stato $\hat{s}_t$ dalla distribuzione degli stati misti utilizzando l'SDE inversa guidata da $q^{mix}_\theta$.
   • Fase 2 (Campionamento della Transizione): Genera lo stato successivo $\hat{s}_{t+1}$ condizionato a $\hat{s}_t$ utilizzando l'SDE inversa guidata da $q^{tran}_\theta$.
   • Modelli Ausiliari: Un modello di dinamica inversa (addestrato sui dati target) e un modello di ricompensa (addestrato su entrambi i domini) sono utilizzati per recuperare l'azione $\hat{a}_t$ e la ricompensa $\hat{r}_t$, completando la tupla di transizione.

3. Apprendimento della Politica:
   Il dataset finale di addestramento ($D_{train}$) è costruito combinando il dataset target ($D_{tar}$), le transizioni allineate al target generate ($D^{gen}_{\lambda_{cov}}$) e, opzionalmente, un sottoinsieme filtrato di transizioni sorgente ($D^{src}_{\lambda_{mix}}$). Un algoritmo di RL offline (Implicit Q-Learning, IQL) viene addestrato su questo dataset aumentato con un termine di regolarizzazione KL per penalizzare la deviazione dalla politica comportamentale target.

Contributi Chiave

• Espansione della Copertura Allineata al Target (TCE): Un framework innovativo che va oltre il semplice filtraggio dei dati sorgente. Decide esplicitamente se utilizzare i dati sorgente direttamente o sfruttarli per generare transizioni coerenti con il target, basandosi sulla grandezza del divario di dominio.
• Analisi Teorica: Una decomposizione formale del divario di prestazioni cross-domain in mismatch dinamico ed errore di generazione, fornendo una base teorica per bilanciare la miscelazione dei dati e la generazione.
• Architettura Basata su Score Duale: Un approccio generativo in due fasi che disaccoppia l'espansione della copertura degli stati dalla modellazione delle transizioni. Questa progettazione previene l'overfitting sui dati target limitati, che è una modalità di fallimento comune quando si apprendono direttamente mappature stato-azione-prossimo-stato in regimi a pochi dati.
• Validazione Empirica: Esperimenti estensivi che dimostrano come TCE superi costantemente i baseline all'avanguardia in diversi contesti cross-domain.

Risultati Sperimentali

Gli autori hanno valutato TCE su compiti di controllo continuo MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) e compiti di manipolazione destrezza Adroit, coprendo shift morfologici, cinematici e di gravità.

• Prestazioni: TCE ha raggiunto le prestazioni medie più alte in 33 su 36 compiti con shift morfologico in MuJoCo e ha superato tutti i baseline sui compiti Adroit.
• Robustezza a Grandi Divari: In scenari con ampi divari dinamici (ad esempio, cambiamenti morfologici significativi o shift di gravità estremi), la variante TCE(OG) (utilizzando solo transizioni generate, $\lambda_{mix}=0$) ha superato significativamente i metodi che mescolavano direttamente i dati sorgente. Ciò conferma che l'incorporazione ingenua della sorgente può essere dannosa sotto grandi divari.
• Piccoli Divari: In contesti più lievi (ad esempio, shift di gravità), la variante TCE(SM) (incorporando dati sorgente, $\lambda_{mix} > 0$) ha mostrato prestazioni superiori, validando l'adattabilità del framework.
• Studi di Ablazione:
  • Coefficiente di Copertura ($\lambda_{cov}$): Le prestazioni seguono una curva di compromesso; espandere la copertura troppo aggressivamente aumenta l'errore di generazione e degrada le prestazioni. È stato trovato un valore moderato (ad esempio, 0,2) ottimale.
  • Progettazione in Due Fasi: La progettazione disaccoppiata in due fasi è risultata critica. Un baseline "in una fase" che stimava direttamente gli stati successivi dalle coppie stato-azione ha sofferto di errori significativamente più alti e prestazioni inferiori a causa dell'overfitting sui dati target limitati.

Significato e Affermazioni

Il paper afferma che TCE fornisce una soluzione semplice e pratica per l'RL offline cross-domain, in particolare in domini critici per la sicurezza o sensibili ai costi dove l'interazione online è impossibile. Fondando teoricamente la decisione di mescolare o generare dati, TCE mitiga il mismatch distribuzionale che affligge i metodi esistenti.

Gli autori sottolineano che il loro approccio non è una panacea universale; assume spazi di stati e azioni condivisi e si affida al dataset target, per quanto piccolo, per guidare la generazione. Riconoscono le limitazioni in scenari con mismatch estremo dove sorgente e target condividono poco supporto. Tuttavia, i risultati suggeriscono che la generazione allineata al target è una strategia più robusta rispetto alla miscelazione diretta dei dati quando il divario di dominio è sostanziale, consentendo un apprendimento efficace della politica con dati target limitati.