Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning

Riassunto Tecnico: Apprendimento di Politiche di Diffusione Decentralizzate per un Esplorazione Potenziata nell'Apprendimento per Rinforzo Multi-Agente Cooperativo

Enunciato del Problema
L'Apprendimento per Rinforzo Multi-Agente Cooperativo (MARL) richiede che gli agenti esplorino spazi di azioni congiunte complessi per scoprire pattern di coordinamento ad alto premio. Una classe prominente di algoritmi per questo contesto, il Gradiente di Politica Softmax Decentralizzato (DecSPG), utilizza aggiornamenti di politica basati sull'energia che generano naturalmente distribuzioni di azioni multimodali, facilitando un'esplorazione diversificata. Tuttavia, nella pratica, le politiche esatte basate sull'energia sono intrattabili da mantenere, specialmente negli spazi di azioni continui. Di conseguenza, i metodi esistenti proiettano queste politiche sulla classe delle politiche Gaussiane per efficienza computazionale.

Gli autori identificano un limite critico in questo approccio: le politiche Gaussiane sono unimodali e mancano dell'espressività necessaria per catturare distribuzioni di azioni multimodali. Questa restrizione ostacola gravemente l'esplorazione, causando la convergenza prematura degli algoritmi verso equilibri subottimali. Il documento sostiene che questa modalità di fallimento è particolarmente grave nei contesti multi-agente, dove il numero di pattern di coordinamento vitali cresce con il numero di agenti e il costo di perdere questi pattern si compone esponenzialmente.

Metodologia
Per affrontare il collo di bottiglia dell'espressività, il documento propone l'Apprendimento di Politiche di Diffusione Decentralizzate (DDPL). Questo framework parametrizza la politica decentralizzata di ciascun agente utilizzando un Modello Probabilistico di Diffusione per la Rimozione del Rumore (DDPM). I DDPM fungono da modelli generativi espressivi capaci di rappresentare distribuzioni complesse e multimodali, rimanendo allo stesso tempo efficienti nell'addestramento e nel campionamento.

Una sfida centrale nel dispiegare politiche di diffusione nell'ambiente MARL online è la mancanza di algoritmi di addestramento efficienti. I metodi standard di score matching richiedono tipicamente campioni dalla distribuzione target, che non sono disponibili durante l'addestramento online prima dell'aggiornamento della politica. Per superare ciò, gli autori introducono lo Score Matching con Campionamento per Importanza (ISSM).

• Meccanismo ISSM: Invece di richiedere campioni dalla distribuzione basata sull'energia target $\pi^{\star,k}_i$, l'ISSM estrae campioni da una distribuzione facile da campionare (nello specifico, la politica precedente $\pi^{k-1}_i$). Successivamente, minimizza una funzione di perdita di score matching ripesata, dove i pesi sono determinati dal rapporto di campionamento per importanza tra le distribuzioni target e di campionamento.
• Garanzia Teorica: Il documento deriva una garanzia teorica per l'ISSM, dimostrando che la politica appresa converge alla distribuzione target con una complessità di campionamento che dipende dalla divergenza di Rényi del quarto ordine tra le distribuzioni target e di campionamento. Man mano che gli aggiornamenti della politica procedono e la politica corrente si avvicina al target, la dimensione del campione richiesta per aggiornamenti accurati diminuisce.
• Algoritmo: L'algoritmo DDPL completo (Algoritmo 2) integra questi componenti in un framework decentralizzato. Gli agenti mantengono reti Q locali e politiche di diffusione. In ogni epoca, gli agenti stimano la funzione Q media e aggiornano le loro politiche di diffusione tramite un singolo passo di gradiente sulla perdita ISSM, utilizzando la politica precedente come distribuzione di campionamento.

Contributi Chiave

1. Identificazione di una Modalità di Fallimento: Gli autori dimostrano formalmente che proiettare politiche basate sull'energia su classi Gaussiane crea una specifica modalità di fallimento nel MARL cooperativo. Attraverso un MDP a singolo agente costruito e un gioco a interessi identici multi-agente, dimostrano che le approssimazioni Gaussiane possono causare un decadimento esponenziale della probabilità di successo nel trovare equilibri ottimali al crescere del numero di agenti (specificamente limitato da $0.45^n$).
2. Framework DDPL: Propongono il DDPL, un algoritmo basato su DecSPG che utilizza DDPM per parametrizzare politiche decentralizzate, consentendo la rappresentazione di distribuzioni di azioni multimodali essenziali per un'esplorazione efficace.
3. Addestramento Online tramite ISSM: Il documento sviluppa un nuovo obiettivo di Score Matching con Campionamento per Importanza che consente l'addestramento online efficiente delle politiche di diffusione senza richiedere campioni dalla distribuzione target. Questo metodo è accompagnato da garanzie teoriche sulla complessità del campionamento e da limiti sul divario dell'Equilibrio di Nash (NE).
4. Validazione Empirica: Il metodo è valutato su benchmark rappresentativi di MARL ad azioni continue, tra cui Multi-Agent Particle Environment (MPE), Multi-Agent MuJoCo (MaMuJoCo), IsaacLab e una reimplementazione in JAX della Sfida Multi-Agente di StarCraft (SMAX).

Risultati
I risultati sperimentali indicano che il DDPL supera costantemente le linee di base dello stato dell'arte (HAPPO, MAPPO e HASAC) su 8 compiti ad azioni continue.

• Prestazioni: Il DDPL ha ottenuto il rendimento medio più alto in 7 compiti su 8. Miglioramenti notevoli includono un aumento del 25,78% sul compito ShadowHandOver di IsaacLab, un aumento del 132,56% sul compito StarCraft 3s_vs_5z e un aumento del 155,84% sul compito 6h_vs_8z rispetto alla migliore linea di base.
• Dinamiche di Esplorazione: L'analisi delle curve di apprendimento suggerisce che i guadagni del DDPL derivano da un'esplorazione sufficiente. In compiti come 3s_vs_5z, il DDPL inizialmente rimane indietro rispetto alle linee di base a causa di un'esplorazione più ampia, ma converge rapidamente a rendimenti quasi ottimali, mentre le linee di base basate su Gaussiane rimangono intrappolate in equilibri subottimali.
• Ablazione: I confronti tra il DDPL con politiche di diffusione e una variante che utilizza politiche Gaussiane confermano che la natura multimodale delle politiche di diffusione è critica. La variante Gaussiana converge precocemente a un equilibrio subottimale (rendimento $\approx 0.65$), mentre la variante di diffusione scopre modalità ad alto premio e converge a un equilibrio superiore (rendimento $\approx 2.0$).
• Efficienza: Il sovraccarico di addestramento del DDPL è riportato essere del 39% inferiore rispetto a DACER e l'81% più veloce rispetto a QVPO, attribuito all'efficienza del metodo di addestramento online ISSM. Il tempo di inferenza rimane moderato (sotto 1 ms).

Significato e Affermazioni
Il documento afferma che la limitata espressività delle parametrizzazioni di politica standard (in particolare Gaussiane) è un ostacolo primario all'esplorazione efficace nel MARL cooperativo. Sfruttando i modelli di diffusione, gli autori dimostrano che è possibile mantenere i benefici teorici degli aggiornamenti di politica basati sull'energia (multimodalità e convergenza agli equilibri di Nash) garantendo al contempo la trattabilità per l'addestramento online.

Il lavoro evidenzia che nei contesti multi-agente, il costo di un'esplorazione insufficiente si compone con il numero di agenti. Il DDPL offre una soluzione che scala meglio in termini di capacità di esplorazione, permettendo agli agenti di scoprire pattern di coordinamento che le politiche unimodali perdono. Gli autori posizionano il DDPL come un passo significativo verso l'abilitazione di un apprendimento cooperativo più robusto ed efficace in ambienti complessi ad azioni continue.

Limitazioni
Gli autori riconoscono che il DDPL parametrizza attualmente politiche completamente decentralizzate e non sfrutta i contesti di reti MARL in cui è incoraggiata una comunicazione a basso costo tra agenti vicini. Inoltre, il framework è attualmente focalizzato su contesti a interessi identici, lasciando i contesti a somma generale o competitivi per lavori futuri.