R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning

1. Enunciazione del Problema

L'Apprendimento per Rinforzo Multi-Agente (MARL) ha ottenuto successi in domini complessi come il controllo del traffico e la robotica, spesso utilizzando paradigmi di Addestramento Centralizzato ed Esecuzione Decentralizzata (CTDE) (ad esempio, QMIX, MAPPO). Tuttavia, i metodi CTDE standard si basano su parametri di politica condivisi, che spesso ostacolano l'apprendimento di comportamenti diversificati necessari per un coordinamento efficace.

Gli approcci esistenti di MARL basato sui ruoli tentano di risolvere questo problema apprendendo ruoli emergenti dalle osservazioni passate degli agenti per incoraggiare comportamenti complementari. Il paper identifica un difetto critico in questi metodi:

• Il Limite: Derivare i ruoli esclusivamente dall'esperienza passata non tiene conto di come un ruolo influenzi la traiettoria futura di un agente.
• La Conseguenza: Agenti con osservazioni iniziali simili possono adottare ruoli identici nelle fasi iniziali, portando a comportamenti ridondanti (ad esempio, due droni che volano entrambi verso lo stesso incendio) piuttosto che a una distribuzione e un coordinamento efficaci.
• L'Insight: Il ruolo di un agente dovrebbe modellare attivamente il suo comportamento futuro. Se un agente adotta un ruolo specifico, le sue future osservazioni e azioni dovrebbero divergere naturalmente da quelle degli agenti in altri ruoli per garantire un coordinamento efficace.

2. Metodologia: R3DM

Gli autori propongono Role Discovery and Diversity through Dynamics Models (R3DM), un framework che collega il ruolo corrente di un agente al suo comportamento futuro atteso utilizzando la teoria dell'informazione e i modelli del mondo.

Obiettivo Principale

R3DM massimizza l'Informazione Mutua (MI) tra tre variabili:

1. Il ruolo dell'agente al tempo $t$ ($m^t_i$).
2. La traiettoria osservata fino al tempo $t$ ($\tau^t_i$).
3. La traiettoria futura attesa ($\tau^{t+1:t+k}_i$).

La funzione obiettivo è formulata come:
$$I(\tau^{t+k}_i; m^t_i | \tau^t_i)$$
Poiché massimizzare direttamente questo termine è intrattabile, gli autori derivano un limite inferiore trattabile scomposto in due componenti:

1. Apprendimento dell'Embedding del Ruolo: Apprendimento di embedding intermedi del ruolo ($z^t_i$) dalla storia delle osservazioni-azioni.
2. Diversità del Comportamento Futuro: Massimizzazione della MI tra questi embedding del ruolo e la traiettoria futura.

Componenti Chiave

A. Apprendimento dell'Embedding Intermedio del Ruolo (Apprendimento Contrastivo)

• Utilizza un framework di apprendimento contrastivo (basato su ACORM) per raggruppare gli agenti in ruoli distinti in base alle loro storie passate di osservazioni-azioni.
• Utilizza un encoder di traiettoria ($\theta_e$) e un encoder di ruolo ($\theta_r$) per generare embedding.
• Ottimizza una perdita contrastiva per garantire che gli agenti con pattern comportamentali simili siano raggruppati, mentre i pattern distinti siano separati.

B. Ricompense Intrinseche tramite Modelli Dinamici
Per garantire che i ruoli modellino il comportamento futuro, R3DM introduce due ricompense intrinseche derivate dal limite inferiore della MI:

1. Ricompensa Intrinseca della Politica ($r_{pol}$):

   • Incoraggia la diversità nella selezione delle azioni basata sul ruolo.
   • Calcolata come la divergenza di Kullback-Leibler (KL) tra la politica condizionata al ruolo e la politica media (agnostica al ruolo).
   • Formula: $r_{i,pol} = \sum D_{KL}(\text{SoftMax}(Q_i(\cdot|\tau, z)) || p(\cdot|\tau))$.

2. Ricompensa Intrinseca Dinamica ($r_{dyn}$):

   • Questo è il contributo innovativo. Quantifica quanto l'embedding del ruolo influenza la previsione delle future osservazioni.
   • Impiega due Modelli di Spazio di Stato Ricorrenti (RSSM) (basati su DreamerV3):
     • Modello Condizionato al Ruolo ($q_\psi$): Prevede le future osservazioni data la traiettoria e l'embedding del ruolo.
     • Modello Agnostico al Ruolo ($p_\phi$): Prevede le future osservazioni data solo la traiettoria (senza ruolo).
   • La ricompensa è la differenza tra i log-verosimiglianze dei due modelli. Se il modello condizionato al ruolo prevede il futuro significativamente meglio del modello agnostico, l'agente riceve un'alta ricompensa, incentivando il ruolo a essere predittivo del comportamento futuro.
   • Formula: $r_{i,dyn} = \sum [\log q_\psi - \log p_\phi]$.

C. Obiettivo Finale di Apprendimento
La ricompensa totale per l'agente MARL è una combinazione della ricompensa del compito ($r_t$) e delle ricompense intrinseche:
$$r_{total} = r_t + \alpha r_{int}$$
dove $r_{int} = \beta_3 r_{pol} + r_{dyn}$. Questa ricompensa combinata viene utilizzata per aggiornare le reti Q tramite il classico apprendimento TD.

3. Contributi Chiave

1. Nuovo Obiettivo di Teoria dell'Informazione: Propone un obiettivo che massimizza la MI tra ruoli, traiettorie passate e traiettorie future attese, spostando il focus dall'inferenza del ruolo basata sul passato ai ruoli che modellano il futuro.
2. Ricompense Intrinseche Guidate dalla Dinamica: Introduce un meccanismo che utilizza modelli del mondo (RSSM) per generare ricompense intrinseche che impongono comportamenti futuri specifici del ruolo, bilanciando l'esplorazione con la specializzazione del ruolo.
3. Integrazione con CTDE: Integra con successo questo framework nei metodi esistenti di MARL basato sui ruoli (specificamente ACORM/QMIX) senza sacrificare l'efficienza del campione.
4. Validazione Empirica: Dimostra prestazioni all'avanguardia su benchmark impegnativi.

4. Risultati Sperimentali

Gli autori hanno valutato R3DM sugli ambienti SMAC (StarCraft Multi-Agent Challenge) e SMACv2.

• Prestazioni: R3DM supera le baseline all'avanguardia (inclusi QMIX, ACORM, CIA, GoMARL, CDS ed EMC).
  • Ha ottenuto fino a un 20% di miglioramento nei tassi di vittoria su mappe difficili (ad esempio, 3s5z vs 3s6z, Corridor, 6h vs 8z).
  • Ha mostrato un'efficienza del campione superiore e una convergenza più rapida.
• SMACv2: In ambienti stocastici (condizioni iniziali variabili), R3DM ha mantenuto prestazioni robuste, superando le baseline in scenari asimmetrici (ad esempio, Protoss 10 vs 11).
• Analisi Qualitativa: Le visualizzazioni nella mappa 3s5z vs 3s6z hanno mostrato che mentre gli agenti ACORM convergevano verso comportamenti di attacco di massa, gli agenti R3DM hanno imparato a dividersi in sottogruppi specializzati (ad esempio, un agente che attira i nemici mentre altri aggirano), dimostrando una vera differenziazione dei ruoli.
• Studi di Ablazione:
  • Orizzonte di Immaginazione: Orizzonti brevi ($k=1$ o $2$) hanno funzionato meglio; orizzonti più lunghi hanno introdotto errori di previsione cumulativi.
  • Cardinalità del Ruolo: Un numero moderato di ruoli (ad esempio, 3) ha bilanciato meglio il coordinamento e la specializzazione rispetto a una cardinalità elevata.
  • Componenti: Sia l'apprendimento contrastivo che le ricompense intrinseche sono stati dimostrati necessari per prestazioni ottimali.

5. Significato e Impatto

• Cambiamento di Paradigma: R3DM sposta il campo del MARL basato sui ruoli dall'assegnazione retrospettiva dei ruoli (basata su cosa è successo) all'assegnazione prospettica dei ruoli (basata su cosa accadrà).
• Meccanismo di Coordinamento: Collegando i ruoli alle dinamiche future, il metodo risolve naturalmente il problema della "ridondanza" in cui agenti con storie simili non riescono a coordinarsi.
• RL Basato su Modelli in MARL: Il paper colma con successo il divario tra MARL senza modelli e approcci basati su modelli (utilizzando modelli del mondo per la motivazione intrinseca), aprendo la strada a strategie di coordinamento più sofisticate in ambienti complessi e stocastici.
• Applicazione Pratica: L'approccio è altamente rilevante per sistemi multi-agente reali come sciami di droni, flotte di veicoli autonomi e squadre robotiche, dove ruoli distinti devono essere assegnati dinamicamente per gestire più obiettivi simultaneamente.