R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning

1. Probleemstelling

Multi-agent Reinforcement Learning (MARL) heeft succes geboekt in complexe domeinen zoals verkeersregeling en robotica, vaak gebruikmakend van paradigmas voor Gecentraliseerde Training en Gedecentraliseerde Executie (CTDE) (bijv. QMIX, MAPPO). Echter, standaard CTDE-methoden vertrouwen op gedeelde beleidsparameters, wat vaak de learning van diverse gedragingen die noodzakelijk zijn voor effectieve coördinatie, belemmert.

Bestaande rolgebaseerde MARL-benaderingen proberen dit op te lossen door opkomende rollen te leren uit de verleden waarnemingen van agenten om complementaire gedragingen te stimuleren. Het artikel identificeert een kritieke tekortkoming in deze methoden:

• De Beperking: Het afleiden van rollen uitsluitend uit eerdere ervaring houdt geen rekening met hoe een rol de toekomstige trajecten van een agent beïnvloedt.
• Het Gevolg: Agenten met vergelijkbare initiële waarnemingen kunnen vroeg in het proces identieke rollen aannemen, wat leidt tot redundante gedragingen (bijv. twee drones die allebei naar dezelfde brand vliegen) in plaats van effectieve verdeling en coördinatie.
• Het Inzicht: De rol van een agent moet zijn toekomstige gedrag actief vormgeven. Als een agent een specifieke rol aanneemt, moeten zijn toekomstige waarnemingen en acties natuurlijk divergeren van agenten in andere rollen om effectieve coördinatie te waarborgen.

2. Methodologie: R3DM

De auteurs stellen Role Discovery and Diversity through Dynamics Models (R3DM) voor, een raamwerk dat de huidige rol van een agent koppelt aan zijn verwachte toekomstige gedrag met behulp van informatietheorie en wereldmodellen.

Kern Doelstelling

R3DM maximaliseert de Mutuele Informatie (MI) tussen drie variabelen:

1. De rol van de agent op tijdstip $t$ ($m^t_i$).
2. Het waargenomen traject tot tijdstip $t$ ($\tau^t_i$).
3. Het verwachte toekomstige traject ($\tau^{t+1:t+k}_i$).

De doelstellingsfunctie wordt geformuleerd als:
$$I(\tau^{t+k}_i; m^t_i | \tau^t_i)$$
Omdat het direct maximaliseren hiervan onberekenbaar is, leiden de auteurs een hanteerbare ondergrens af die is opgedeeld in twee componenten:

1. Leren van Rol-Embeddings: Het leren van intermediaire rol-embeddings ($z^t_i$) uit de geschiedenis van waarnemingen en acties.
2. Diversiteit in Toekomstig Gedrag: Het maximaliseren van de MI tussen deze rol-embeddings en het toekomstige traject.

Belangrijke Componenten

A. Leren van Intermediaire Rol-Embeddings (Contrastief Leren)

• Gebruikt een contrastief leerframework (gebaseerd op ACORM) om agenten te clusteren in onderscheiden rollen op basis van hun geschiedenis van waarnemingen en acties.
• Gebruikt een trajectencoder ($\theta_e$) en een rolencoder ($\theta_r$) om embeddings te genereren.
• Optimaliseert een contrastieve verliesfunctie om ervoor te zorgen dat agenten met vergelijkbare gedragspatronen worden gegroepeerd, terwijl verschillende patronen worden gescheiden.

B. Intrinsieke Beloningen via Dynamische Modellen
Om ervoor te zorgen dat rollen toekomstig gedrag vormgeven, introduceert R3DM twee intrinsieke beloningen die zijn afgeleid van de MI-ondergrens:

1. Beleids-Intrinsieke Beloning ($r_{pol}$):

   • Stimuleert diversiteit in actiekeuze op basis van de rol.
   • Berekend als de Kullback-Leibler (KL)-divergentie tussen het rol-geconditioneerde beleid en het gemiddelde (rol-agnostische) beleid.
   • Formule: $r_{i,pol} = \sum D_{KL}(\text{SoftMax}(Q_i(\cdot|\tau, z)) || p(\cdot|\tau))$.

2. Dynamische Intrinsieke Beloning ($r_{dyn}$):

   • Dit is de nieuwe bijdrage. Het kwantificeert hoe sterk de rol-embedding de voorspelling van toekomstige waarnemingen beïnvloedt.
   • Het maakt gebruik van twee Recurrent State Space Models (RSSM) (gebaseerd op DreamerV3):
     • Rol-Geconditioneerd Model ($q_\psi$): Voorspelt toekomstige waarnemingen gegeven het traject en de rol-embedding.
     • Rol-Agnostisch Model ($p_\phi$): Voorspelt toekomstige waarnemingen gegeven alleen het traject (geen rol).
   • De beloning is het verschil in log-waarschijnlijkheden tussen de twee modellen. Als het rol-geconditioneerde model de toekomst aanzienlijk beter voorspelt dan het agnostische model, ontvangt de agent een hoge beloning, wat de rol prikkelt om voorspellend te zijn voor toekomstig gedrag.
   • Formule: $r_{i,dyn} = \sum [\log q_\psi - \log p_\phi]$.

C. Definitieve Leerdoelstelling
De totale beloning voor de MARL-agent is een combinatie van de taakbeloning ($r_t$) en de intrinsieke beloningen:
$$r_{total} = r_t + \alpha r_{int}$$
waarbij $r_{int} = \beta_3 r_{pol} + r_{dyn}$. Deze gecombineerde beloning wordt gebruikt om de Q-netwerken bij te werken via standaard TD-learning.

3. Belangrijkste Bijdragen

1. Nieuwe Informatie-theoretische Doelstelling: Stelt een doelstelling voor die de MI maximaliseert tussen rollen, verleden trajecten en verwachte toekomstige trajecten, waardoor de focus verschuift van op verleden gebaseerde rolinferentie naar rollen die de toekomst vormgeven.
2. Dynamiek-gedreven Intrinsieke Beloningen: Introduceert een mechanisme dat wereldmodellen (RSSM) gebruikt om intrinsieke beloningen te genereren die rol-specifiek toekomstig gedrag afdwingen, en zo exploratie in evenwicht brengt met rolspecialisatie.
3. Integratie met CTDE: Integreert dit raamwerk succesvol in bestaande rolgebaseerde MARL-methoden (specifiek ACORM/QMIX) zonder in te boeten op steekproefficciëntie.
4. Empirische Validatie: Demonstreert state-of-the-art prestaties op uitdagende benchmarks.

4. Experimentele Resultaten

De auteurs hebben R3DM geëvalueerd op SMAC (StarCraft Multi-Agent Challenge) en SMACv2-omgevingen.

• Prestaties: R3DM presteert beter dan state-of-the-art baselines (waaronder QMIX, ACORM, CIA, GoMARL, CDS en EMC).
  • Bereikte tot een 20% verbetering in winpercentages op moeilijke kaarten (bijv. 3s5z vs 3s6z, Corridor, 6h vs 8z).
  • Toonde superieure steekproefficciëntie en snellere convergentie.
• SMACv2: In stochastische omgevingen (variërende beginvoorwaarden) behield R3DM robuuste prestaties en presteerde het beter dan baselines in asymmetrische scenario's (bijv. Protoss 10 vs 11).
• Kwalitatieve Analyse: Visualisaties op de kaart 3s5z vs 3s6z toonden aan dat terwijl ACORM-agenten convergeerden naar massale aanvalsgedragingen, R3DM-agenten leerden te splitsen in gespecialiseerde subteams (bijv. één agent die vijanden lokt terwijl anderen flankeren), wat echte rol-differentiatie demonstreert.
• Ablatiestudies:
  • Imaginatiehorizon: Korte horizons ($k=1$ of $2$) werkten het beste; langere horizons introduceerden cumulatieve voorspellingsfouten.
  • Rolcardinaliteit: Een gematigd aantal rollen (bijv. 3) balanceerde coördinatie en specialisatie beter dan hoge cardinaliteit.
  • Componenten: Zowel contrastief leren als intrinsieke beloningen bleken noodzakelijk voor optimale prestaties.

5. Betekenis en Impact

• Paradigmaverschuiving: R3DM verlegt het veld van rolgebaseerde MARL van retrospectieve roltoewijzing (gebaseerd op wat er gebeurd is) naar prospectieve roltoewijzing (gebaseerd op wat er gaat gebeuren).
• Coördinatiemechanisme: Door rollen te koppelen aan toekomstige dynamiek, lost de methode natuurlijk het "redundantie"-probleem op waarbij agenten met vergelijkbare geschiedenissen falen in coördinatie.
• Model-based RL in MARL: Het artikel overbrugt succesvol de kloof tussen model-vrij MARL en model-gebaseerde benaderingen (door wereldmodellen te gebruiken voor intrinsieke motivatie), en ebt de weg voor meer geavanceerde coördinatiestrategieën in complexe, stochastische omgevingen.
• Praktische Toepassing: De aanpak is zeer relevant voor real-world multi-agent systemen zoals drone-zwermen, vloot van autonome voertuigen en robotteams waarbij onderscheiden rollen dynamisch moeten worden toegewezen om meerdere doelen gelijktijdig aan te pakken.