CODA: Coordination via On-Policy Diffusion for Multi-Agent Offline Reinforcement Learning

Riassunto Tecnico: CODA

1. Il Problema: Il Fallimento della Coordinazione nell'Offline MARL

Il Machine Learning per agenti multipli (MARL) in modalità offline (apprendimento da dataset statici senza interazione con l'ambiente) presenta una sfida critica: il fallimento della coordinazione.

In un contesto online, gli agenti possono co-adattarsi: quando un agente aggiorna la sua politica, cambia l'ambiente percepito dai compagni, innescando un ciclo di feedback che permette la convergenza verso comportamenti congiunti ottimali. Nel contesto offline, invece, il dataset è statico. Gli algoritmi standard (come MADDPG o MASAC, definiti nel paper come paradigmi BRUD - Best Response Under Data) ottimizzano ogni agente come la migliore risposta alle azioni registrate nel dataset. Poiché queste azioni riflettono politiche passate e non le politiche attuali in evoluzione, gli agenti non "sentono" il cambiamento dei compagni, portando a comportamenti incompatibili o subottimali (es. convergenza verso l'origine in giochi con più ottimi).

2. Metodologia: CODA (Coordination via On-Policy Diffusion)

CODA introduce un modulo di data augmentation basato su modelli di diffusione per ripristinare il segnale di co-adattamento. L'idea centrale è generare traiettorie sintetiche che non siano solo campioni del dataset, ma che siano "inclinate" (tilted) verso la distribuzione prodotta dalla politica congiunta attuale degli agenti.

Componenti chiave della metodologia:

• Modellazione della Traiettoria (Trajectory-level Diffusion): Invece di modellare singole azioni, CODA utilizza un modello di diffusione che opera sull'intera traiettoria congiunta $\tau = (s_0, o_0, a_0, \dots, s_H)$. Questo permette di catturare le correlazioni temporali e le dipendenze inter-agente in modo globale.
• Condizionamento On-Policy (Policy-Guided Sampling): Per simulare l'evoluzione della politica, CODA utilizza due tecniche di condizionamento durante il campionamento della diffusione:
  1. Classifier Guidance (Implicit): Si utilizza il gradiente del log-likelihood della politica attuale $\nabla \log \pi_{curr}(a|o)$ per guidare il processo di denoising. Questo "spinge" le traiettorie generate verso regioni dello spazio delle azioni che la politica attuale preferirebbe.
  2. Classifier-Free Guidance (CFG - Explicit): Se la politica può essere rappresentata da un vettore compatto (embedding), il modello viene addestrato per condizionarsi direttamente su tale rappresentazione.
• Distribuzione Target: L'obiettivo è campionare da una distribuzione surrogata $\tilde{p}_{\pi_{curr}}(\tau) \propto p_{\pi_{off}}(\tau) \exp(\lambda \sum \log \pi_{curr}(a|o))$, che bilancia la fedeltà ai dati reali (supporto del dataset) con la coerenza rispetto alle politiche correnti (co-adattamento).

3. Contributi Principali

• Risoluzione del problema della co-adattazione: CODA è il primo metodo che utilizza la diffusione per creare un loop di feedback tra l'evoluzione delle politiche e la distribuzione dei dati di addestramento in ambito offline MARL.
• Algoritmo Agnostico: CODA non è un nuovo algoritmo di RL, ma un modulo di augmentation che può essere applicato a qualsiasi pipeline (model-free o model-based) esistente.
• Approccio a livello di traiettoria: Supera i limiti dei modelli che operano solo su singole azioni, catturando la struttura dinamica del coordinamento multi-agente.

4. Risultati Sperimentali

Il paper valuta CODA su due tipi di benchmark:

• Giochi Polinomiali (Continuous Polynomial Games): In ambienti come il Multiplication Game e il Twin Peaks Game, dove gli algoritmi BRUD falliscono miseramente convergendo a punti subottimali o all'origine, CODA riesce a guidare gli agenti verso l'ottimo globale. Dimostra che il problema non è la copertura del dataset, ma l'incapacità di seguire il gradiente congiunto corretto.
• MaMuJoCo (Continuous Control): In benchmark più complessi e ad alta dimensionalità, CODA migliora significativamente le prestazioni rispetto all'uso di dataset non aumentati o aumentati con diffusione non condizionata, specialmente quando il dataset contiene esempi di alta qualità (Replay e Good datasets).

5. Significanza e Conclusioni

CODA rappresenta un passo fondamentale verso l'apprendimento collaborativo offline. Dimostra che la chiave per risolvere la coordinazione non è semplicemente avere "più dati" (copertura del dataset), ma avere dati che evolvano insieme alle politiche. Fornendo un meccanismo per generare esperienza sintetica che riflette il comportamento attuale degli agenti, CODA colma il divario tra l'apprendimento offline (statico) e quello online (dinamico), rendendo possibile il coordinamento in scenari complessi e reali dove l'interazione diretta è impossibile.