Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition

Questo articolo propone un nuovo framework di apprendimento per rinforzo multi-agente offline che affronta gli spostamenti distribuzionali e le sfide di coordinamento multimodale in compiti cooperativi mediante l'impiego di un metodo di decomposizione sequenziale del punteggio combinato con modelli generativi basati sulla diffusione per guidare gli aggiornamenti delle politiche verso regioni ad alto premio e in-distribuzione, ottenendo prestazioni all'avanguardia su diversi benchmark.

L'essenziale

Immagina di dover insegnare a un gruppo di robot come lavorare insieme per raccogliere mele. Hai una vasta libreria video (un dataset) che mostra come diversi team di robot hanno svolto questo compito in passato. Alcuni team hanno raccolto insieme la mela rossa, altri la verde, e alcuni hanno semplicemente vagato senza meta.

La sfida è che non puoi più far esercitare i robot nel mondo reale; puoi insegnare loro solo guardando questi vecchi video. Questo si chiama Apprendimento per Rinforzo Multi-Agente Offline.

Il Problema: Il "Coro Confuso"

In passato, quando i ricercatori cercavano di insegnare ai robot partendo da questi video mescolati, commettevano un grosso errore. Trattavano ogni robot come se stesse imparando da solo, ignorando come si muovevano gli altri.

Immagina un coro in cui tutti cantano canzoni diverse dalla stessa partitura. Se dici al soprano di cantare "Canzone A" e al basso di cantare "Canzone B" basandoti sulle loro abitudini individuali, il risultato è un terribile caos rumoroso. Nel mondo dei robot, questo porta a una mancata coordinazione. I robot potrebbero provare a raccogliere due mele diverse contemporaneamente, o potrebbero provare ad afferrare una mela che nessuno nei video ha mai raccolto con successo. Finiscono per fare cose che sembrano "ok" per un singolo robot ma sono disastrose per il team.

Il documento definisce questo il "Cambiamento di Modo Combinatorio". È come cercare di costruire una casa mescolando progetti di un castello, di una tenda e di un grattacielo. Il risultato non è una casa; è un mucchio di mattoni incompatibili.

La Soluzione: OMSD (La "Bacchetta del Direttore d'Orchestra")

Gli autori propongono un nuovo metodo chiamato OMSD (Apprendimento per Rinforzo Multi-Agente Offline tramite Decomposizione Sequenziale del Punteggio).

Ecco come funziona, usando una semplice analogia:

1. La Strategia della "Fila" (Decomposizione Sequenziale)
Invece di chiedere a ogni robot cosa dovrebbe fare basandosi sulla sua memoria, OMSD li interroga in un ordine specifico, come una fila di persone in attesa di entrare in una stanza.

• Robot A va per primo e decide: "Vado alla mela rossa."
• Robot B vede la decisione di Robot A e pensa: "Ok, dato che Robot A va alla mela rossa, dovrei andare anch'io alla mela rossa per aiutare."
• Robot C vede entrambi e fa lo stesso.

Guardando cosa hanno deciso i robot precedenti, ogni robot impara il contesto del piano del team. Questo impedisce loro di scegliere accidentalmente una mela diversa o di vagare via.

2. La Magia della "Diffusione" (La Funzione di Punteggio)
Per far funzionare questo, i ricercatori usano un tipo speciale di intelligenza artificiale chiamato Modello di Diffusione. Pensa a questo come a un "rimuovi-rumore" o a un "sfochia-chiarisci".

• Immagina che i vecchi video siano un po' sfocati e pieni di disturbo.
• Il Modello di Diffusione agisce come un filtro intelligente che sa esattamente come "denoisare" i dati. Non indovina semplicemente un'azione casuale; calcola un "punteggio" o una "direzione" che punta verso le azioni che il team ha effettivamente intrapreso nei video di successo.
• Dice al robot: "Non andare in quella direzione (è un errore); vai in questa direzione (è dove il team ha avuto successo)."

3. Il "Allenatore Centrale" (Critic)
Mentre i robot imparano le loro mosse specifiche in fila, c'è un "Allenatore Centrale" (un critic centralizzato) che osserva l'intero team. Questo allenatore conosce il punteggio totale ottenuto dal team. Dice ai robot: "Ehi, quella strategia per la mela rossa ottiene un punteggio alto, continuate a farla!"

Perché è Meglio

I metodi precedenti cercavano di insegnare ai robot guardando le loro abitudini individuali in isolamento. Questo funzionava bene se tutti facevano la stessa cosa, ma falliva miserabilmente quando i video mostravano molte strategie di successo diverse (dati multimodali).

OMSD risolve questo:

• Rispettando la Catena: Capisce che la mossa del Robot B dipende dalla mossa del Robot A.
• Rimanendo nella Striscia: Mantiene i robot a fare cose che sono effettivamente accadute nei video, impedendo loro di provare mosse rischiose e inventate che non esistono nei dati.
• Trovando il Percorso Migliore: Aiuta il team a trovare il "modo" o la strategia specifica (come la mela rossa contro la mela verde) che produce la ricompensa più alta, senza confondersi con le altre strategie nella libreria video.

I Risultati

Gli autori hanno testato questo su vari compiti robotici, da giochi semplici a simulazioni fisiche complesse (come robot che corrono o catturano prede).

• Nei test semplici: OMSD ha imparato a coordinarsi perfettamente, mentre altri metodi non sono riusciti a concordare un piano.
• Nei test complessi: OMSD ha costantemente superato i migliori metodi esistenti, specialmente quando i dati di addestramento erano disordinati o mostravano molti modi diversi per avere successo.

In breve, OMSD è come un direttore d'orchestra intelligente che non si limita a dire a ogni musicista di suonare la sua parte, ma guida l'intera orchestra a suonare in armonia ascoltando la persona che li precede e seguendo la direzione del direttore, assicurando che la performance finale sia un successo invece che un disastro.

Sommario tecnico

Riepilogo Tecnico: Apprendimento per Rinforzo Multi-Agente Offline tramite Decomposizione Sequenziale del Punteggio

1. Enunciato del Problema

L'Apprendimento per Rinforzo Multi-Agente (MARL) Offline affronta una sfida critica distinta dal RL offline a singolo agente: lo spostamento della distribuzione causato dalla disparità tra la raccolta dei dati online e offline. Mentre il MARL online converge tipicamente a una singola politica congiunta coordinata attraverso l'adattamento interattivo, i dataset offline sono spesso miscele di comportamenti cooperativi diversificati raccolti da varie fonti. Ciò risulta in distribuzioni congiunte del comportamento altamente multimodali.

I metodi esistenti per il MARL offline rientrano generalmente in due categorie, entrambe alle prese con questa multimodalità:

1. Metodi basati sul valore: Si affidano alla Massimizzazione Individuale-Globale (IGM) e alla stima conservativa del valore. Tuttavia, quando gli agenti utilizzano politiche indipendenti $\epsilon$-greedy, possono selezionare azioni congiunte fuori distribuzione (OOD) di bassa qualità e non coperte dal dataset.
2. Metodi basati sulla politica: Spesso vincolano le politiche tramite regolarizzazione comportamentale o pianificatori centralizzati. Un errore comune è l'assunzione che la politica comportamentale congiunta possa essere fattorizzata in marginali indipendenti ($\mu(a|s) = \prod \mu_i(a_i|s)$). In contesti multimodali, questa fattorizzazione indipendente porta a uno "Spostamento Combinatorio delle Modalità" (CMS). Poiché gli agenti vengono regolarizzati verso le proprie distribuzioni marginali, perdono l'allineamento con le modalità congiunte, risultando in politiche congiunte che si trovano al di fuori delle regioni ad alta densità del dataset. Questo disallineamento causa gravi spostamenti della distribuzione e scarsa coordinazione.

2. Metodologia: OMSD

Gli autori propongono il MARL Offline con Decomposizione Sequenziale del Punteggio (OMSD) per affrontare il problema della coordinazione multimodale senza richiedere un modello completo della politica congiunta o un pianificatore centralizzato.

Concetto Chiave: Decomposizione Sequenziale

Invece di assumere l'indipendenza condizionale, OMSD fattorizza la politica comportamentale congiunta utilizzando la regola della catena, condizionando il comportamento di ciascun agente alle azioni degli agenti precedenti:
$$\mu(a|s) = \prod_{i=1}^n \mu_i(a_i | s, a_{<i})$$
dove $a_{<i}$ rappresenta le azioni congiunte di tutti gli agenti che precedono l'agente $i$. Questa modellazione sequenziale cattura le dipendenze inter-agenti e fornisce un riferimento condizionale esatto per i vincoli della politica di ciascun agente.

Flusso di Lavoro Algoritmico

OMSD opera nell'ambito del framework Centralized-Training-Decentralized-Execution (CTDE) e consta di tre fasi principali:

1. Pre-addestramento del Critic: Una funzione di valore congiunta centralizzata $Q_{tot}(s, a)$ viene appresa utilizzando l'Implicit Q-Learning (IQL) offline per fornire una guida basata sulla ricompensa.
2. Pre-addestramento del Punteggio: Per ciascun agente $i$, un modello di diffusione condizionale viene addestrato sul dataset offline per stimare la funzione di punteggio condizionale $\nabla_{a_i} \log \mu_i(a_i | s, a_{<i})$.
   • Crucialmente, questi modelli vengono addestrati in parallelo.
   • La funzione di punteggio approssima il gradiente del log-probabilità della politica comportamentale, fungendo da regolarizzatore comportamentale.
3. Ottimizzazione della Politica: Gli agenti aggiornano le proprie politiche utilizzando un gradiente che combina il segnale del critic centralizzato e la regolarizzazione sequenziale del punteggio:
   $$\nabla_{\theta_i} L_i = \mathbb{E} \left[ \nabla_{a_i} Q_{tot}(s, a) + \frac{1}{\beta} \nabla_{a_i} \log \mu_i(a_i | s, a_{<i}) \right] \nabla_{\theta_i} \pi_{\theta_i}$$
   • Condizionamento Sequenziale: Durante l'aggiornamento dell'agente $i$, le azioni prefisso $a_{<i}$ vengono campionate dalle politiche aggiornate più di recente degli agenti da 1 a $i-1$ all'interno della stessa iterazione.
   • Esecuzione: Nonostante l'aggiornamento sequenziale durante l'addestramento, l'esecuzione rimane completamente decentralizzata. Ogni agente agisce in base alla propria osservazione locale, poiché la dipendenza sequenziale viene utilizzata solo per guidare la direzione dell'apprendimento (regolarizzazione del punteggio) e non per generare azioni al momento dell'esecuzione.
   • Efficienza: Il metodo utilizza politiche deterministiche DiLac per le azioni prefisso per evitare l'amplificazione del rumore e non richiede campionamento iterativo di denoising durante l'esecuzione, evitando i costi di inferenza elevati tipici degli attori basati su diffusione.

3. Contributi Chiave

1. Identificazione della Causa Radice: Il documento identifica la natura multimodale delle distribuzioni del comportamento congiunto offline e il fallimento della fattorizzazione marginale indipendente (che porta allo Spostamento Combinatorio delle Modalità) come la causa primaria del fallimento della coordinazione nel MARL offline.
2. Algoritmo OMSD: Lo sviluppo di un nuovo framework che scompone sequenzialmente le politiche comportamentali e utilizza punteggi condizionali basati su diffusione come regolarizzatori comportamentali. Questo approccio promuove la selezione coordinata delle modalità senza modellare l'intera politica congiunta o affidarsi a un pianificatore centralizzato.
3. Prestazioni all'Avanguardia: Esperimenti estensivi dimostrano che OMSD supera costantemente i metodi esistenti, in particolare in scenari multimodali impegnativi (ad esempio, dataset di qualità media).

4. Risultati Sperimentali

Gli autori hanno valutato OMSD su:

• Esempio Toy Bandit: Un compito cooperativo a 2 agenti con due modalità ottimali. OMSD ha raggiunto prestazioni paragonabili all'apprendimento delle azioni congiunte (BRPO-JAL) e ha superato significativamente l'apprendimento indipendente (BRPO-IND) e i metodi CTDE ingenui, che non sono riusciti a evitare azioni congiunte OOD.
• Ambiente Multi-Agente Particle (MPE): Compiti inclusi Navigazione Cooperativa, Predatore-Preda e Mondo. OMSD ha ottenuto i punteggi migliori o secondi migliori su dataset Esperto, Medio e Casuale. In particolare, su dataset "Medio" e "Casuale" dove la multimodalità è marcata, OMSD ha mostrato guadagni significativi (ad esempio, +70,6% su Predatore-Preda Casuale).
• MaMuJoCo: Compiti di controllo continuo ad alta dimensionalità che coinvolgono parti di robot che agiscono come agenti (ad esempio, HalfCheetah, Ant). OMSD ha superato le linee di base come MA-CQL, CFCQL, MADiff e DoF, specialmente su dataset di qualità mista (ad esempio, +73,9% di miglioramento medio rispetto alla linea di base più forte sui dataset OMIGA).

Studi di Ablazione:

• Decomposizione del Punteggio: OMSD ha superato costantemente le varianti che utilizzano la fattorizzazione indipendente (BRPO-IND, BRPO-CTDE), confermando la necessità del condizionamento sequenziale.
• Sensibilità all'Ordine: Il metodo si è rivelato robusto rispetto all'ordine degli aggiornamenti degli agenti, suggerendo che la struttura sequenziale agisce come un meccanismo di coordinamento durante l'addestramento piuttosto che come un pregiudizio induttivo rigido.
• Stimatori di Densità: I modelli di diffusione hanno superato estimatori più semplici (GMM, Flussi Normalizzanti) nella cattura di strutture multimodali complesse, in particolare su dataset esperti e medi.

5. Significato e Affermazioni

Il documento afferma che la coordinazione consapevole della modalità è essenziale per un MARL offline robusto. Sfruttando la decomposizione sequenziale del punteggio, OMSD allinea con successo gli aggiornamenti delle politiche alla vera distribuzione del comportamento congiunto, evitando lo spostamento della distribuzione causato dalla regolarizzazione indipendente.

Gli autori sottolineano che il loro approccio:

• Evita Azioni Congiunte OOD: Condizionando sulle azioni prefisso, gli agenti sono guidati verso regioni ad alto valore e in distribuzione.
• Mantiene l'Esecuzione Decentralizzata: A differenza dei metodi che richiedono pianificazione centralizzata o esecuzione sequenziale al momento dell'esecuzione, gli agenti OMSD agiscono indipendentemente durante il dispiegamento.
• Scalabilità: Il pre-addestramento dei modelli di punteggio condizionale è completamente parallelizzabile tra gli agenti, rendendo il metodo adatto a squadre più grandi.

Il lavoro è presentato come un passo significativo in avanti nella gestione della complessità dei dati multi-agente offline, affrontando specificamente lo "Spostamento Combinatorio delle Modalità" che ha ostacolato i precedenti approcci basati sulla politica. Gli autori riconoscono le limitazioni, come l'attuale focus sugli spazi di azione continui e la dipendenza dalla qualità del critic centralizzato pre-addestrato.