Enhancing Heterogeneous Multi-Agent Cooperation in Decentralized MARL via GNN-driven Intrinsic Rewards

Deze paper introduceert CoHet, een algoritme dat graph neural networks gebruikt om intrinsieke beloningen te genereren en zo de samenwerking tussen heterogene agents in gedecentraliseerde multi-agent versterkingsleer te verbeteren, zelfs bij gedeeltelijke waarneembaarheid en schaarse beloningen.

De kern

Stel je voor dat je een groep vrienden hebt die samen een grote puzzel moeten oplossen, maar er zijn een paar lastige regels:

1. Iedereen is anders: Sommige vrienden zijn snel, anderen traag. Sommigen hebben een groot zichtveld, anderen zien maar een klein stukje. Ze hebben allemaal hun eigen "superkracht" en zwakte.
2. Ze kunnen niet praten: Ze mogen geen centrale commandant hebben die zegt wat ze moeten doen. Iedereen moet op zijn eigen benen staan en alleen kijken wat er direct om hen heen gebeurt.
3. Ze krijgen zelden een beloning: De puzzel geeft bijna nooit een "goed gedaan!"-signaal. Soms, na heel lang zoeken, krijgen ze misschien een klein puntje. De rest van de tijd is het stil.

In de wereld van kunstmatige intelligentie (AI) noemen we dit Multi-Agent Reinforcement Learning. Het probleem is dat als je deze verschillende vrienden (agenten) samen laat werken zonder centrale leiding en zonder veel beloningen, ze vaak in de war raken en niet goed samenwerken.

De auteurs van dit paper, Jahir, Deeparghya en Md, hebben een slimme oplossing bedacht genaamd CoHet. Laten we uitleggen hoe het werkt met een paar creatieve vergelijkingen.

Het Probleem: De "Stille" Puzzel

Stel je voor dat je in een donkere kamer bent met tien andere mensen. Iedereen heeft een andere vorm en grootte. Je mag alleen kijken wat je zelf ziet. Als je iemand anders aanraakt, krijg je een puntje. Maar dat gebeurt zelden. Hoe leer je dan samen te werken zonder dat iemand jou vertelt wat je moet doen?

Bestaande methoden proberen dit op te lossen door te zeggen: "Iedereen moet precies hetzelfde doen" of "We hebben een centrale computer nodig die alles ziet." Maar in de echte wereld (zoals bij zelfrijdende auto's of reddingswerkers) is dat vaak onmogelijk.

De Oplossing: CoHet (De "Voorspellers")

De auteurs introduceren een nieuw systeem dat werkt als een voorspel-spelletje.

In plaats van te wachten op een beloning van buitenaf, leren de agenten om voorspellingen te doen over wat er gaat gebeuren.

1. De "Dynamische Model" (De Crystal Ball):
   Elke agent heeft een eigen kleine "crystal ball" (een wiskundig model). Deze probeert te voorspellen: "Als ik nu deze beweging maak, wat zal mijn buurman dan zien?"

   • Stel, Agent A is een snelle robot en Agent B is een trage robot. Agent A leert dat Agent B langzaam beweegt. Agent B leert dat Agent A snel is. Ze leren elkaars "karakter" kennen.

2. De GNN (Het Netwerk van Flitsjes):
   Ze gebruiken een technologie genaamd Graph Neural Network (GNN). Denk hierbij aan een netwerk van flitsjes (of een web van connecties). Als Agent A dicht bij Agent B is, flitst er een signaal. Agent A deelt zijn voorspelling met Agent B, en andersom. Ze bouwen zo een gezamenlijk beeld van wat er in hun directe omgeving gaat gebeuren.

3. De Intrinsieke Beloning (De "Goed Zo!" van binnen):
   Dit is het slimme deel. Normaal krijgen ze zelden een puntje van de buitenwereld. Maar met CoHet krijgen ze elke seconde een intern puntje (een "intrinsieke beloning").

   • Hoe werkt het? Als Agent A zegt: "Ik voorspel dat jij (Agent B) hier gaat staan," en Agent B staat daar daadwerkelijk, dan krijgen ze allebei een positief intern puntje.
   • Als Agent A voorspelt dat Agent B ergens anders gaat staan, maar Agent B staat daar niet, dan krijgen ze een negatief puntje (een straf).
   • Het doel: De agenten leren hun gedrag zo aan te passen dat ze precies voorspellen wat hun buren gaan doen. Als ze dat kunnen, betekent dit dat ze perfect op elkaar zijn ingespeeld en samenwerken.

Waarom is dit zo goed?

• Het werkt voor iedereen: Of je nu een snelle auto bent of een trage drone, het systeem leert je hoe je met elk type buurman moet samenwerken. Je hoeft niet van tevoren te weten wie je buren zijn.
• Het is lokaal: Je hebt geen centrale leider nodig. Je kijkt alleen naar je directe buren (net als in een menigte waar je elkaar aanraakt om te weten wat er gebeurt).
• Het vult de gaten op: Omdat ze constant interne punten krijgen voor goed samenwerken, hoeven ze niet te wachten op de zeldzame externe beloning. Ze blijven gemotiveerd om te leren, zelfs als de buitenwereld stil is.

De Resultaten

De auteurs hebben dit getest in verschillende virtuele werelden (zoals een vlucht van vogels die samen vliegen, of robots die samen een zware doos duwen).
Het resultaat? CoHet werkt veel beter dan de huidige beste methoden.

• De agenten leren sneller.
• Ze werken beter samen, zelfs als ze heel verschillend zijn.
• Het systeem blijft stabiel, zelfs als je het aantal agenten in de groep verdubbelt of verdrievoudigt.

Samenvatting in één zin

CoHet is als een groep vrienden die een puzzel oplossen in het donker: in plaats van te wachten op een leraar die zegt "goed zo", leren ze elkaar te voorspellen; en hoe beter ze elkaars bewegingen kunnen voorspellen, hoe beter ze samenwerken en hoe sneller ze de puzzel oplossen.

Dit onderzoek is een grote stap voorwaarts om slimme, zelfstandige teams van robots of software te maken die echt kunnen samenwerken in onze complexe, echte wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Enhancing Heterogeneous Multi-Agent Cooperation in Decentralized MARL via GNN-driven Intrinsic Rewards" in het Nederlands.

Probleemstelling

Het paper adresseert de uitdagingen van Multi-Agent Reinforcement Learning (MARL) in real-world scenario's, specifiek wanneer drie kritieke beperkingen tegelijkertijd optreden:

1. Decentralisatie: Agents moeten trainen en opereren zonder centrale controleur of globale kennis (Decentralized Training with Decentralized Execution - DTDE).
2. Heterogeniteit: Agents hebben verschillende fysieke en gedragskenmerken (bijv. snelheid, grootte, actieruimte), zonder dat er vooraf kennis is over deze verschillen of indexering.
3. Schaars Beloningssignaal (Reward Sparsity) & Gedeeltelijke Observatie: Agents ontvangen zelden externe beloningen en hebben slechts een beperkt zicht op de omgeving.

Bestaande oplossingen voor heterogene agents vereisen vaak centrale training, parameter-deling, of kennis van agent-types. Methoden die intrinsieke motivatie (IM) gebruiken om reward-schaarste op te lossen, falen vaak bij heterogeniteit omdat ze aannemen dat agents elkaar goed kunnen modelleren, wat lastig is als agents fundamenteel verschillen. Er is een gebrek aan methoden die samenwerking tussen heterogene agents bevorderen in een volledig decentrale setting.

Methodologie: CoHet Algorithm

De auteurs stellen CoHet voor, een algoritme dat decentrale samenwerking tussen heterogene agents bevordert door middel van een GNN-gedreven intrinsieke beloningsmechanisme.

Kerncomponenten:

1. Graph Neural Network (GNN) Architectuur:

   • Agents communiceren via een lokale graafstructuur waarbij kanten bestaan tussen agents binnen waarnemingsbereik.
   • De GNN gebruikt niet-absolute observatiekenmerken (bijv. relatieve posities en snelheden) om translatie-invariantie te garanderen.
   • Agents leren lokale sub-graafpatronen om de dynamiek van hun buren te begrijpen.

2. Dynamica Modellen (Dynamics Models):

   • Elke agent $i$ heeft een eigen dynamisch model $f_{\theta_i}$ (een MLP) dat traint om de volgende observatie te voorspellen op basis van de huidige observatie en actie.
   • Dit model wordt getraind om de omgeving en de interacties met buren te leren.

3. Intrinsieke Beloning (Intrinsic Reward) Berekening:

   • Het doel is om agents te straffen voor het niet overeenkomen met de voorspellingen van hun buren. Dit stimuleert samenwerking en het verminderen van onzekerheid in de buurt.
   • CoHetteam (Team-variant): Agent $i$ ontvangt een intrinsieke beloning gebaseerd op de fout tussen de werkelijke volgende observatie van agent $i$ en de voorspelling van agent $i$ door zijn buren $j$.
     • Formule: $r^{int}_i = - \sum w_j \cdot \| o^{t+1}_i - \hat{o}^t_{j,i} \|$.
     • Hierbij is $\hat{o}^t_{j,i}$ de voorspelling van agent $j$ over wat agent $i$ zal doen.
     • De gewichten $w_j$ zijn gebaseerd op de omgekeerde Euclidische afstand (dichtbijzijnde agents tellen zwaarder).
   • CoHetself (Self-variant): Agents voorspellen alleen hun eigen volgende observatie en worden beloond/gesanctioneerd op basis van hun eigen voorspelling. Dit dient als een baseline voor zelf-exploratie.
   • De totale beloning is een som van de externe (schrale) beloning en de intrinsieke (dichte) beloning, gewogen door een hyperparameter $\beta$.

4. Integratie:

   • CoHet is ontworpen als een plug-in module die kan worden geïntegreerd met bestaande decentrale policy-optimalisatie algoritmen, zoals HetGPPO (Heterogeneous GNN-based Proximal Policy Optimization).

Belangrijkste Bijdragen

1. Nieuwe Intrinsieke Beloningsmechanisme: Een zelf-superviserend algoritme dat GNN's gebruikt om intrinsieke beloningen te berekenen op basis van lokale buurvoorspellingen, zonder kennis van agent-types of indexering.
2. Decentrale Heterogene Cooperatie: Het is de eerste methode die effectief samenwerking faciliteert tussen heterogene agents onder de strikte beperkingen van DTDE, gedeeltelijke observatie en reward-schaarste.
3. Scalabiliteit en Robuustheid: Het algoritme toont robustheid tegen een toenemend aantal heterogene agents in een gedeelde omgeving, een probleem waar eerdere IM-methoden vaak tegenaan liepen.
4. Validatie: Uitgebreide tests in twee benchmarks (MPE en VMAS) tonen aan dat CoHet superieur presteert ten opzichte van state-of-the-art baselines.

Resultaten

De auteurs hebben CoHet getest in zes verschillende scenario's (o.a. VMAS Flocking, Navigation, Reverse Transport, en MPE Simple Spread) en vergeleken met HetGPPO en IPPO (Independent PPO).

• Prestatie: Beide varianten van CoHet (CoHetteam en CoHetself) presteren significant beter dan de baselines in alle zes de scenario's.
  • CoHetteam overtreft de baselines in 5 van de 6 scenario's, vooral in taken die sterke samenwerking vereisen (zoals Flocking en Reverse Transport).
  • CoHetself presteert het best in "Simple Spread", waar agents onafhankelijker kunnen opereren.
  • Gemiddeld presteert CoHet ongeveer 3.19 keer beter dan HetGPPO.
• Dynamica Leren: De analyse toont aan dat de Mean Squared Error (MSE) van de dynamica-modellen afneemt naarmate de training vordert, wat leidt tot een daling van de intrinsieke straf (negatieve beloning) voor misalignement. Dit bevestigt dat agents de omgeving en elkaar beter leren begrijpen.
• Robuustheid: CoHetteam behoudt zijn prestaties zelfs wanneer het aantal agents in de omgeving toeneemt (van 1 tot 16 agents), wat aantoont dat het algoritme schaalbaar is.

Significantie

Dit paper vult een belangrijke leemte in het onderzoek naar Multi-Agent Reinforcement Learning. Het bewijst dat het mogelijk is om complexe, heterogene teams van robots of agents te laten samenwerken in realistische, decentrale omgevingen zonder centrale controleur of voorafgaande kennis van de team-samenstelling.

De introductie van GNN-gedreven intrinsieke beloningen biedt een nieuw paradigma voor het oplossen van reward-schaarste: in plaats van agents te belonen voor het ontdekken van nieuwe gebieden (curiosity), worden ze beloond voor het voorspelbaar en coherend handelen binnen hun lokale netwerk. Dit maakt CoHet zeer relevant voor praktische toepassingen zoals zwermen van drones, verkeersregeling, en reddingsoperaties met diverse robottypes.