Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization

Probleemstelling

Cooperatief Multi-Agent Reinforcement Learning (MARL) maakt vaak gebruik van het paradigma Centralized Training with Decentralized Execution (CTDE). Hierbij worden agenten getraind met toegang tot globale informatie, maar moeten ze tijdens de uitvoering (in de echte wereld) handelen op basis van slechts hun lokale geschiedenis. Succesvolle methoden zoals VDN, QMIX en QTRAN maken gebruik van Value Factorization en het Individual-Global-Max (IGM) principe. Het IGM-principe garandeert dat de collectieve actie die elke agent kiest door lokaal greedy te handelen, overeenkomt met de team-optimale gezamenlijke actie.

Het fundamentele probleem is echter dat deze methoden onbetrouwbaar worden in real-world scenario's door omgevingsonzekerheid (bijv. de kloof tussen simulatie en realiteit, modelmismatch, ruis). Bestaande aanpakken voor robuustheid in single-agent RL (Distributionally Robust RL of DR-RL) kunnen niet direct worden toegepast op cooperative MARL. Als elke agent onafhankelijk zijn eigen "slechtste geval" (worst-case) overweegt, kan dit leiden tot een misalignement: de collectieve actie die de agenten kiezen, is dan niet langer de gezamenlijk optimale actie voor het team onder onzekerheid. Dit breekt het IGM-principe en leidt tot falende coördinatie.

Methodologie

De auteurs introduceren een nieuw theoretisch kader en algoritmen om dit probleem op te lossen:

1. DrIGM (Distributionally Robust IGM):
   De kern van de bijdrage is het definiëren van een nieuw principe: DrIGM. Dit vereist dat de robuuste greedy actie van elke individuele agent overeenkomt met de robuuste team-optimale gezamenlijke actie.

   • Het paper toont aan dat het naief definiëren van robuuste Q-waarden per agent (waarbij elke agent zijn eigen onzekerheidsset minimaliseert) niet voldoet aan DrIGM.
   • In plaats daarvan wordt bewezen dat DrIGM wel geldt als de robuuste individuele Q-waarden worden gedefinieerd ten opzichte van het globale worst-case model dat de team-beloning minimaliseert. Concreet wordt de robuuste Q-waarde voor agent $i$ berekend onder het model $P^{worst}$ dat de gezamenlijke Q-waarde minimaliseert bij de optimale gezamenlijke actie.

2. Theoretische Garantie:
   De auteurs bewijzen dat als de onderliggende individuele Q-functies voldoen aan de structurele voorwaarden van bestaande factorisatiemethoden (VDN, QMIX, QTRAN), de hieruit afgeleide robuuste Q-waarden automatisch voldoen aan DrIGM. Dit betekent dat bestaande architecturen kunnen worden uitgebreid met robuustheid zonder de decentralisatie te verliezen.

3. Robuuste Bellman-operatoren:
   Voor de training worden robuuste Bellman-operatoren afgeleid voor twee veelvoorkomende onzekerheidssets:

   • $\rho$-contaminatie: Een mengsel van het nominale model en een willekeurige verstoring.
   • Totale Variatie (TV): Een set van modellen binnen een bepaalde afstand van het nominale model.
     Deze operatoren leiden tot specifieke verliesfuncties (TD-loss) die tijdens het trainen worden geminimaliseerd.

4. Algoritmen:
   Gebaseerd op DrIGM worden robuuste varianten van VDN, QMIX en QTRAN ontwikkeld. Deze algoritmen:

   • Trainen op robuuste Q-doelen (targets).
   • Behouden de schaalbaarheid van CTDE.
   • Vereisen geen specifieke beloning-reshaping per agent.
   • Kunnen naadloos worden geïmplementeerd in bestaande codebases.

Belangrijkste Bijdragen

• DrIGM-principe: Een nieuw theoretisch fundament dat de kloof overbrugt tussen distributionally robust RL en cooperative MARL, waarbij decentralisatie en robuustheid worden verenigd.
• Theoretische Bewijzen: Rigoureuze bewijzen dat DrIGM geldt voor robuuste Q-waarden die zijn afgeleid van een globaal worst-case model, en dat dit compatibel is met VDN, QMIX en QTRAN.
• Algoritmische Implementatie: De ontwikkeling van zes nieuwe algoritmen (combinaties van drie factorisatiemethoden en twee onzekerheidssets) die bewezen robuustheid bieden zonder realtime communicatie tussen agenten.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat de methoden superieur presteren in out-of-distribution scenario's.

Resultaten

De methoden zijn getest op twee benchmarks:

1. SustainGym (HVAC Control): Een realistische simulatie voor klimaatregeling in gebouwen met stochastische dynamiek en gedeeltelijke observatie.

   • Resultaat: De robuuste methoden presteerden consistent beter dan niet-robuste baselines en een bestaande robuuste baseline (GroupDR) bij klimaat- en seizoensgebonden verschuivingen. Ze verminderden de degradatie van prestaties bij onbekende omstandigheden aanzienlijk (10-40% hogere beloning in extreme gevallen).
   • Opmerking: In tegenstelling tot single-agent robuust RL, waarbij conservatisme vaak leidt tot lagere prestaties in de trainingsomgeving, verbeterden de robuuste MARL-methoden in sommige gevallen zelfs de prestaties binnen de trainingsverdeling.

2. StarCraft II (SMAC): Een multi-agent spelomgeving.

   • Resultaat: Op de "3s vs 5z" kaart, met toegevoegde ruis aan de observaties van vijandelijke eenheden, verbeterden de robuuste algoritmen (VDN en QMIX) de winstkans significant in out-of-distribution testen, vooral bij kleine waarden van de robuustheidsparameter $\rho$.

Betekenis

Dit paper biedt een principiële oplossing voor het probleem van onzekerheid in cooperative multi-agent systemen. Het lost het fundamentele dilemma op dat robuustheid vaak ten koste gaat van coördinatie. Door te laten zien dat coördinatie onder onzekerheid mogelijk is door agenten te laten reageren op een gemeenschappelijk worst-case scenario in plaats van individuele worst-cases, maakt het robuuste MARL toepasbaar in kritieke real-world domeinen zoals energienetwerken, verkeersregeling en robotica, waar simulatie-realiteit gaps onvermijdelijk zijn. De methoden zijn direct toepasbaar op bestaande frameworks, wat de adoptie in de praktijk vergemakkelijkt.