Riepilogo Tecnico: BiTrajDiff

Enunciato del Problema

L'Apprendimento per Rinforzo (RL) Offline mira a imparare politiche efficaci da dataset statici e pre-raccolti, senza ulteriore interazione con l'ambiente. Una sfida primaria in questo dominio è il problema Fuori Distribuzione (OOD), in cui la politica appresa incontra coppie stato-azione non presenti nei dati registrati, portando a errori di estrapolazione e sovrastima del valore. Per mitigare ciò, i metodi esistenti spesso impongono vincoli conservativi, che inavvertitamente limitano l'apprendimento ai bias strutturali del dataset, restringendo la diversità comportamentale e la generalizzazione.

I recenti approcci di Data Augmentation (DA) tentano di affrontare questo problema utilizzando modelli generativi (in particolare modelli di diffusione) per sintetizzare nuove transizioni. Tuttavia, i metodi DA attuali operano prevalentemente all'interno di un paradigma di rollout singolo (o futuro-avanti o passato-indietro) condizionato su stati presenti nel dataset. Di conseguenza, questi metodi tendono a preservare la connettività originale a livello di traiettoria del dataset. Generano variazioni locali all'interno di pattern comportamentali esistenti, ma non riescono a recuperare le connessioni tra pattern comportamentali distinti e disconnessi (ad esempio, collegare due stanze separate in un compito di navigazione dove non esistono traiettorie attraverso la porta nei dati originali).

Metodologia

Gli autori propongono BiTrajDiff (Diffusione Bidirezionale di Traiettorie), un nuovo framework DA progettato per recuperare esplicitamente la connettività globale a livello di traiettoria sintetizzando traiettorie che collegano pattern comportamentali precedentemente disconnessi.

Framework Principale

BiTrajDiff scompone la sintesi di traiettorie in due processi di diffusione indipendenti ma complementari:

1. Diffusione Futuro-Avanti: Modella la generazione di sequenze di stati futuri partendo da uno stato intermedio.
2. Diffusione Passato-Indietro: Modella la ricostruzione di sequenze di stati passati che terminano nello stesso stato intermedio.

Entrambi i processi sono condizionati sugli stessi stati ancora intermedi ($s_t$) campionati dal dataset offline, insieme a un segnale di ritorno cumulativo target.

Componenti Chiave

1. Addestramento di Diffusione Bidirezionale:

   • Due modelli di diffusione separati ($\epsilon_{\theta_f}$ per l'avanti, $\epsilon_{\theta_b}$ per l'indietro) vengono addestrati sul dataset offline.
   • Il modello forward genera traiettorie $\{s_t, \dots, s_{t+H-1}\}$ condizionato allo stato iniziale $s_t$ e al ritorno target $R_f$.
   • Il modello backward genera traiettorie $\{s_{t-H+1}, \dots, s_t\}$ condizionato allo stato terminale $s_t$ e al ritorno target $R_b$.
   • L'addestramento utilizza la Classifier-Free Guidance (CFG) per gestire la generazione condizionata e incondizionata, con il ritorno cumulativo che funge da condizione primaria.

2. Generazione e Assemblaggio di Traiettorie Bidirezionali:

   • Durante l'inferenza, uno stato ancora $s_t$ viene campionato dal dataset.
   • Il modello forward genera un segmento futuro, e il modello backward genera un segmento storico.
   • Questi segmenti vengono assemblati (stitched) allo stato ancora condiviso $s_t$ per formare una traiettoria bidirezionale completa: $\hat{\tau}_s(s_t) = \{ \hat{s}_{t-H+1}, \dots, \hat{s}_{t-1}, s_t, \hat{s}_{t+1}, \dots, \hat{s}_{t+H-1} \}$.
   • Questo meccanismo di assemblaggio permette la sintesi di traiettorie che collegano stati che erano precedentemente irraggiungibili o disconnessi nel dataset originale.

3. Completamento della Traiettoria:

   • Poiché i modelli di diffusione generano sequenze di stati, viene utilizzato un Modello di Dinamica Inversa (IDM) per prevedere le azioni ($a_t$) date le transizioni di stato ($s_t, s_{t+1}$).
   • Un Modello di Ricompensa (RM) prevede le ricompense ($r_t$) per le coppie stato-azione.
   • Questo completa la traiettoria con segnali di azione e ricompensa, formando una tupla di transizione completa.

4. Filtraggio Bidirezionale delle Traiettorie:
   Per garantire la qualità dei dati aumentati, viene applicato un meccanismo di filtraggio a due stadi:

   • Filtro OOD: Utilizza una Foresta di Isolamento per rilevare e rimuovere traiettorie che si discostano significativamente dalla distribuzione dei dati originali (rilevamento della novità).
   • Filtro Greedy: Seleziona le migliori traiettorie in base alla ricompensa cumulativa più alta, assicurando che i dati aumentati guidino la politica verso comportamenti ad alte prestazioni.

Contributi Chiave

1. Identificazione delle Limitazioni: Gli autori identificano che i metodi DA a rollout singolo preservano la connettività originale a livello di traiettoria, fallendo nell'esplorare le connessioni tra pattern comportamentali distinti.
2. Sintesi Bidirezionale: La proposta di BiTrajDiff, che scompone esplicitamente la generazione in processi forward e backward condizionati su ancoraggi condivisi, consentendo la sintesi di traiettorie che collegano modalità comportamentali disconnesse.
3. Validazione Empirica: Esperimenti estensivi sul benchmark D4RL dimostrano che BiTrajDiff supera costantemente i baselines avanzati di DA (inclusi Synther, DiffStitch e RTDiff) su varie backbones di RL offline (IQL, TD3BC, CQL, DT).

Risultati Sperimentali

Il documento valuta BiTrajDiff sul benchmark D4RL, coprendo compiti di locomozione, navigazione (Maze2D, AntMaze) e manipolazione (Kitchen).

• Miglioramenti delle Prestazioni: BiTrajDiff ottiene i ritorni medi più alti nella maggior parte dei compiti e algoritmi. Ad esempio, nei compiti di locomozione, supera costantemente i baselines a direzione singola. In ambienti a ricompensa sparsa come Maze e Kitchen, dove la qualità dei dati è critica, BiTrajDiff mostra miglioramenti significativi in stabilità e prestazioni.
• Studi di Ablazione:
  • Direzionalità: BiTrajDiff (bidirezionale) supera costantemente sia le varianti solo-forward che solo-backward, validando la necessità di assemblare sia segmenti passati che futuri per recuperare la connettività globale.
  • Filtraggio: La combinazione di filtri OOD e Greedy si dimostra superiore all'uso di uno solo o all'assenza di filtri, bilanciando diversità e affidabilità.
  • Rapporto di Aumento: Un rapporto del 30% di dati aumentati rispetto ai dati originali ($\sigma=30\%$) produce stabilità e prestazioni ottimali; un aumento eccessivo (100%) introduce rumore che degrada le prestazioni.
• Stimatore n-step TD: BiTrajDiff mantiene il suo vantaggio prestazionale sui baselines anche all'aumentare dell'orizzonte n-step, suggerendo che le traiettorie generate sono di qualità superiore e più coerenti con le dinamiche sottostanti rispetto a quelle di altri metodi DA.
• Diversità vs. Accuratezza: Le metriche di visualizzazione (Errore Dinamico e Distanza L2) mostrano che BiTrajDiff genera traiettorie con diversità significativamente più alta (maggiore distanza L2 dai dati originali) mantenendo un'accuratezza dinamica competitiva, a differenza dei metodi a direzione singola che tendono a sovradattare la distribuzione originale.

Significato e Affermazioni

Il documento afferma che BiTrajDiff affronta una limitazione fondamentale nell'aumento dei dati per RL offline: l'incapacità dei rollout a processo singolo di collegare pattern comportamentali disconnessi. Modellando esplicitamente e assemblando traiettorie futuro-avanti e passato-indietro attorno a stati ancora condivisi, BiTrajDiff recupera la connettività globale a livello di traiettoria assente dal dataset originale.

Gli autori affermano che questo approccio permette agli algoritmi di RL offline di imparare da un insieme più diversificato di pattern comportamentali senza sacrificare la coerenza fisica, portando a miglioramenti sostanziali delle prestazioni su un'ampia gamma di compiti e algoritmi. Il lavoro è presentato come un passo avanti nel superare i bias strutturali dell'apprendimento offline conservativo attraverso l'aumento dei dati generativo. Si nota che il lavoro futuro esplorerà la generazione bidirezionale in contesti multi-task con pattern comportamentali più ampi.