Riepilogo Tecnico: Unificazione dell'Allineamento dei Valori e dell'Assegnazione nell'Apprendimento per Rinforzo Offline Cross-Dominio con Dataset Eterogenei

1. Enunciato del Problema

L'Apprendimento per Rinforzo (RL) offline cross-dominio mira a imparare una politica in un dominio target utilizzando un dataset target limitato e un dataset sorgente abbondante che presenta uno spostamento dinamico (cioè dinamiche di transizione diverse $P_{src}$ vs $P_{tar}$). Sebbene i metodi recenti abbiano tentato di affrontare il problema delle dinamiche Fuori Distribuzione (OOD) attraverso il filtraggio dei dati basato sull'allineamento delle dinamiche (ad es. IGDF, OTDF) o sull'allineamento dei valori (ad es. DVDF), questi approcci assumono tipicamente che il dataset sorgente sia raccolto da un singolo ambiente con una singola politica comportamentale.

Questo articolo affronta un contesto più generale e realistico: RL Offline Cross-Dominio Eterogeneo. In questo contesto, il dataset sorgente è aggregato da molteplici domini sorgente con dinamiche di transizione distinte e raccolto da diverse politiche comportamentali. Gli autori identificano un problema critico, precedentemente trascurato in questo contesto, chiamato Assegnazione Errata dei Valori.

L'Assegnazione Errata dei Valori si verifica quando una singola funzione valore (o funzione vantaggio) viene addestrata sull'intero dataset sorgente eterogeneo senza distinguere tra le diverse modalità dinamiche sottostanti. Ciò porta a:

1. Stima Errata del Vantaggio: I valori di vantaggio assegnati ai campioni non riflettono la loro vera ottimalità rispetto al loro specifico sottodominio dinamico.
2. Filtraggio Subottimale dei Dati: I meccanismi di filtraggio dei dati che si basano su questi valori assegnati erroneamente vengono fuorviati, selezionando campioni subottimali (ad es. dati di qualità media da una dinamica specifica) mentre scartano quelli ottimali.
3. Larghezza del Gap di Subottimalità: L'analisi teorica mostra che l'assegnazione errata dei valori impedisce il vincolo stretto del gap di subottimalità nel dominio target, degradando le prestazioni dell'agente.

2. Metodologia: V2A

Per risolvere l'assegnazione errata dei valori, gli autori propongono V2A (Allineamento e Assegnazione dei Valori), un framework che unifica l'allineamento delle dinamiche, l'allineamento dei valori e l'assegnazione dei valori. Il metodo procede in tre fasi principali:

2.1. Apprendimento di Rappresentazioni di Modalità Temporalmente Coerenti

Il primo passo è disaccoppiare le diverse modalità dinamiche all'interno del dataset sorgente.

• Approccio: Gli autori impiegano un framework di Aspettativa-Massimizzazione (EM) per imparare una rappresentazione latente $z$ per ogni traiettoria.
• Innovazione: A differenza dei variational autoencoder standard che codificano le transizioni individualmente (portando a incoerenza temporale), V2A utilizza un ELBO Temporalmente Coerente. Codifica l'intera traiettoria $\tau$ in una singola variabile latente $z$ utilizzando una Rete Neurale Ricorrente (RNN/LSTM), mentre decodifica le transizioni a livello di passo.
• Obiettivo: Ciò garantisce che tutte le transizioni all'interno di una traiettoria condividano la stessa rappresentazione dinamica $z$, raggruppando efficacemente le traiettorie in base alle loro dinamiche sottostanti.

2.2. Apprendimento del Vantaggio Consapevole della Modalità

Una volta inferite le modalità dinamiche ($z$), il dataset sorgente viene rinominato come $D'_{src} = \{(s, a, r, s', z)\}$.

• Approccio: Gli autori propongono l'Apprendimento del Vantaggio Consapevole della Modalità. Invece di addestrare una funzione vantaggio standard $A(s, a)$, addestrano una funzione vantaggio condizionata alla modalità $A(s, a, z)$.
• Meccanismo: La rappresentazione latente $z$ viene inserita come input alla funzione $Q$ e alla funzione $V$ durante il pre-addestramento (utilizzando uno schema Sparse-QL).
• Risultato: Ciò permette alla funzione vantaggio di distinguere tra diverse modalità dinamiche, assegnando valori di vantaggio corretti alle coppie stato-azione in base al loro specifico contesto dinamico, correggendo così l'assegnazione errata dei valori.

2.3. Filtraggio Unificato dei Dati e Apprendimento della Politica

La fase finale integra questi componenti in un paradigma di filtraggio dei dati per l'apprendimento della politica target.

• Funzione di Punteggio: Viene definita una nuova funzione di punteggio $f(s, a, s', z)$ per filtrare i dati sorgente:
  $$f(s, a, s', z) = \lambda \cdot h(s, a, s') + (1 - \lambda) \cdot \text{Norm}(A(s, a, z))$$
  dove $h(\cdot)$ misura l'allineamento delle dinamiche (tramite apprendimento contrastivo o trasporto ottimale) e $A(s, a, z)$ misura l'allineamento dei valori consapevole della modalità.
• Filtraggio: I campioni sorgente vengono selezionati in base al quantile superiore-$\xi$ di questo punteggio.
• Ottimizzazione della Politica: La politica target viene addestrata sui dati sorgente filtrati combinati con i dati target limitati utilizzando Implicit Q-Learning (IQL).

3. Contributi Chiave

1. Formulazione del Problema: Il articolo formalizza il contesto del RL Offline Cross-Dominio Eterogeneo, dove i dati sorgente provengono da molteplici domini e politiche comportamentali, e identifica l'Assegnazione Errata dei Valori come una limitazione fondamentale nei metodi esistenti.
2. Insight Teorico: Gli autori forniscono un limite teorico sul gap di subottimalità, dimostrando che l'assegnazione errata dei valori allenta questo limite. Dimostrano che disaccoppiare le modalità dinamiche è necessario per ottenere un limite più stretto.
3. Algoritmo (V2A): Propongono V2A, che integra:
   • Apprendimento di rappresentazioni di modalità temporalmente coerenti (tramite EM).
   • Apprendimento del vantaggio consapevole della modalità.
   • Un paradigma unificato di filtraggio dei dati.
4. Validazione Empirica: Esperimenti estesi su compiti MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) con dataset sorgente eterogenei mostrano che V2A supera significativamente basi solide (IGDF, OTDF, DVDF, BOSA, DARA).

4. Risultati Sperimentali

• Prestazioni: V2A ottiene miglioramenti significativi delle prestazioni rispetto alle basi. Ad esempio, quando basato su IGDF, V2A ha migliorato il punteggio normalizzato totale del 21,4% rispetto alla base IGDF, e del 21,4% rispetto a DVDF (che ha migliorato solo del 6,8% su IGDF). Guadagni simili sono stati osservati con OTDF.
• Studi di Ablazione:
  • ELBO Temporalmente Coerente: Rimuovere la coerenza a livello di traiettoria (utilizzando invece un ELBO a livello di campione) ha portato a prestazioni inferiori, confermando la necessità della coerenza temporale per un'estrazione accurata della modalità.
  • Consapevolezza della Modalità: Le visualizzazioni delle distribuzioni di vantaggio apprese mostrano che V2A produce distribuzioni di vantaggio più nitide e distinte rispetto alle distribuzioni più piatte e meno discriminative di DVDF, indicando una migliore stima dell'ottimalità dei campioni.
  • Sensibilità ai Parametri: Il metodo è robusto al coefficiente di compromesso $\lambda$ (ottimale intorno a 0,6) e al rapporto di selezione dei dati $\xi$ (ottimale intorno a 0,5).

5. Significato e Affermazioni

L'articolo afferma che V2A è il primo framework ad affrontare efficacemente il problema dell'assegnazione errata dei valori intrinseco nel RL offline cross-dominio eterogeneo. Unificando l'allineamento delle dinamiche, l'allineamento dei valori e l'assegnazione dei valori, V2A abilita un trasferimento efficiente della politica anche quando i dati sorgente sono una complessa miscela di dinamiche e comportamenti diversi.

Gli autori sottolineano che, mentre i lavori precedenti si sono concentrati sull'allineamento delle dinamiche o dei valori in isolamento (o hanno assunto dati sorgente omogenei), il loro lavoro evidenzia che ignorare la natura multi-modale delle dinamiche sorgente porta a una stima errata dei valori, che a sua volta mina il filtraggio dei dati. Il metodo proposto offre una soluzione semplice ma efficace che colma significativamente il divario tra contesti teorici e scenari di dati reali ed eterogenei nella robotica e nell'IA incarnata.

Limitazioni Riconosciute:

• L'apprendimento di rappresentazioni di modalità temporalmente coerenti richiede tempo di addestramento aggiuntivo (sebbene questo possa essere precalcolato).
• L'analisi teorica si basa su ipotesi lievi (ad es. condizioni sufficienti del secondo ordine per la convessità nel vicinato della politica ottimale).