DADP: Domain Adaptive Diffusion Policy

1. Il Problema: Adattamento di Dominio e Rappresentazioni Entangled

L'apprendimento basato su modelli di controllo (RL) ha ottenuto risultati notevoli, ma la maggior parte delle strategie esistenti è strettamente legata a un ambiente specifico o a condizioni operative definite. Quando queste strategie vengono deployate in domini non visti (Out-of-Distribution - OOD), le prestazioni crollano a causa di una discrepanza nelle dinamiche di transizione (es. attrito, gravità, parametri morfologici del robot).

Il problema fondamentale risiede nella rappresentazione del dominio:

• Le approcci precedenti spesso apprendono rappresentazioni del dominio tramite predizione dinamica utilizzando contesti temporali immediati (stati recenti).
• L'analisi del paper rivela che questo approccio causa un entanglement (intreccio) tra informazioni statiche del dominio (es. gravità, massa) e proprietà dinamiche variabili nel tempo (es. velocità istantanea, derivate temporali).
• Questa miscela confonde la politica condizionata, limitando la capacità di adattamento "zero-shot" (adattamento senza dati aggiuntivi dal nuovo dominio).

2. Metodologia: DADP (Domain-Adaptive Diffusion Policy)

DADP risolve il problema attraverso due pilastri principali: lo svincolamento non supervisionato delle rappresentazioni e l'iniezione consapevole del dominio nel processo generativo di diffusione.

A. Predizione Dinamica con Contesto Ritardato (Lagged Context Dynamical Prediction)

Per separare le informazioni statiche del dominio da quelle variabili nel tempo, gli autori introducono una strategia innovativa:

• Idea: Invece di usare il contesto storico immediato (es. $t-1, t-2$) per prevedere lo stato futuro, si introduce un offset temporale ($\Delta t$) significativo.
• Meccanismo: Si prevede lo stato $s_{t+1}$ basandosi su un contesto $\tau_{t-\Delta t}$ che proviene da un punto molto distante nel tempo (o addirittura da un episodio diverso dello stesso dominio).
• Risultato Teorico: Man mano che $\Delta t \to \infty$, l'informazione sulle variazioni istantanee ($\omega_t$, come la velocità corrente) diventa irrilevante per la predizione dello stato futuro. Il modello è quindi costretto a estrarre solo le informazioni statiche e invarianti nel tempo ($\xi$, come la gravità o i parametri fisici) per minimizzare l'errore di predizione.
• Questo permette di apprendere rappresentazioni del dominio "pulite" e disaccoppiate dalle dinamiche transitorie, senza bisogno di etichette supervisionate.

B. Iniezione Consapevole del Dominio nella Diffusione

Una volta ottenute rappresentazioni di alta qualità ($z$), DADP le integra nel processo di generazione delle azioni tramite una politica di diffusione (Diffusion Policy):

• Bias della Distribuzione Prior: Invece di iniziare il processo di denoising da un rumore gaussiano puro, DADP inizializza il processo con una distribuzione gaussiana mista centrata sulla rappresentazione del dominio appresa ($z$). Questo sposta la distribuzione a priori verso le modalità d'azione specifiche del dominio.
• Riformulazione dell'Obiettivo di Diffusione: Il target di predizione non è solo il rumore aggiunto, ma un termine composito che include sia il rumore che lo spostamento causato dalla rappresentazione del dominio.
• Vantaggio: Questo approccio guida il processo di denoising verso la "manifold" (varietà) delle azioni corrette per quel specifico dominio fin dai primi passi, migliorando l'efficienza e la stabilità rispetto al semplice concatenamento della rappresentazione come input extra.

3. Contributi Chiave

1. Apprendimento Non Supervisionato di Rappresentazioni: Proposta della Lagged Context Dynamical Prediction, un metodo semplice ma efficace per disaccoppiare le informazioni statiche del dominio da quelle variabili, superando i limiti dei metodi basati su predizione dinamica tradizionale.
2. Utilizzo della Rappresentazione tramite Predizione di Denoising: Spostamento dal paradigma di "condizionamento" (input extra) a quello di "iniezione" nel processo generativo (bias del prior e riformulazione del target), massimizzando l'uso delle informazioni del dominio.
3. Prestazioni Superiori: Validazione su benchmark complessi di locomozione (MuJoCo) e manipolazione (Adroit), dimostrando superiorità rispetto agli stati dell'arte (SOTA) in scenari zero-shot.
4. Open Source: Rilascio completo di codice, dataset e pipeline di generazione dati per facilitare la ricerca futura.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ambienti di locomozione (HalfCheetah, Walker2d, Ant, Hopper) e manipolazione (Adroit), con variazioni sia nei parametri fisici che morfologici.

• Prestazioni Generali: DADP ha mostrato prestazioni superiori o competitive rispetto a metodi SOTA come CORRO, Prompt-DT e Meta-DT, sia in setting In-Distribution (IID) che Out-of-Distribution (OOD).
• Stabilità: Il metodo ha dimostrato una bassa varianza (deviazione standard) su diversi semi casuali, indicando alta robustezza.
• Ablation Study:
  • L'aumento di $\Delta t$ ha portato a un miglioramento costante nella qualità della rappresentazione (misurato tramite accuratezza del "linear probe" e perdita di ricostruzione), rendendola paragonabile a quella supervisionata.
  • L'uso della strategia di iniezione nella diffusione (w/ Predict) ha superato significativamente l'uso della rappresentazione come semplice condizione (Cond.) o l'assenza di essa (Null.).
• Metrica "Mastery": DADP ha ottenuto il più alto tasso di "mastery" (capacità di raggiungere il 60% della performance dell'expert su più domini), dimostrando la capacità di una singola politica di adattarsi a una vasta gamma di ambienti.

5. Significato e Impatto

Il lavoro DADP rappresenta un passo avanti significativo nel campo del Meta-RL offline e dell'adattamento di dominio.

• Superamento dei limiti attuali: Risolve il problema critico dell'entanglement tra dinamiche statiche e variabili, che ha finora limitato l'efficacia delle rappresentazioni apprese in modo non supervisionato.
• Integrazione con la Diffusione: Dimostra che le politiche basate su diffusione non sono solo potenti per la generazione di azioni, ma possono essere strutturalmente modificate per incorporare informazioni latenti in modo più profondo rispetto ai modelli sequenziali tradizionali (come i Transformer).
• Applicabilità Reale: La capacità di adattarsi a domini non visti senza dati aggiuntivi (zero-shot) è cruciale per il deployment di robot in ambienti reali, dove i parametri fisici possono variare in modo imprevedibile.

In sintesi, DADP offre un framework robusto per apprendere politiche adattive che generalizzano efficacemente, combinando una teoria solida sulla disentanglement delle rappresentazioni con tecniche avanzate di modellazione generativa.