Asynchronous Cooperative Multi-Agent Reinforcement Learning with Limited Communication

Technische Samenvatting: Asynchrone Coöperatieve Multi-Agent Versterkende Leer met Beperkte Communicatie

Probleemstelling
Het artikel adresseert de uitdaging van het coördineren van meerdere autonome agenten in onbekende, communicatie-beperkte omgevingen. Traditionele benaderingen voor Multi-Agent Versterkende Leer (MARL) gaan doorgaans uit van synchrone communicatie, waarbij agenten toestanden uitzenden en acties tegelijkertijd uitvoeren bij elke tijdstap. Echter, in extreme omgevingen zoals ruimte- of onderwateroperaties, wordt communicatie vaak beperkt door energiebeperkingen, latentie of fysieke obstructies. In deze scenario's opereren agenten op onafhankelijke tijdschalen en kunnen ze niet frequent of synchroon communiceren. Bestaande asynchrone MARL-methoden compenseren het gebrek aan synchronisatie vaak door de communicatiefrequentie te verhogen, wat het doel van opereren in beperkte omgevingen tenietdoet. Het kernprobleem is het ontwikkelen van een MARL-raamwerk dat effectieve samenwerking mogelijk maakt terwijl de communicatie-overhead wordt geminimaliseerd en asynchrone, infrequente interacties worden opgevangen.

Methodologie: AsynCoMARL
De auteurs stellen AsynCoMARL voor, een asynchroon MARL-raamwerk dat graftransformatoren gebruikt om communicatieprotocollen te leren uit dynamische grafen. De methodologie is gebaseerd op de volgende componenten:

• Asynchrone Formulering: In tegenstelling tot standaard MARL, waarbij alle agenten handelen bij elke globale tijdstap $t$, introduceert AsynCoMARL een specifieke tijdschaal $\tau^{(i)}$ voor elke agent $i$. Agenten voeren acties uit op verschillende intervallen die worden bepaald door een gerandomiseerde vertrouwingsparameter $\mu$. De replay-buffer wordt opgebouwd op basis van deze actiespecifieke tijdstappen in plaats van globale tijdstappen.
• Dynamische Grafische Representatie: De omgeving wordt gemodelleerd als een dynamische, gewogen, gerichte graaf. Knopen vertegenwoordigen agenten, obstakels en doelen. Randen worden dynamisch gevormd op basis van twee voorwaarden:
  1. Nabijheid: Agenten moeten zich binnen een specifieke communicatiestraal $\lambda$ bevinden.
  2. Activiteit: Randen bestaan alleen tussen agenten als ze op hetzelfde tijdstip beide actief zijn (een actie uitvoeren).
     Dit resulteert in een gemaskerde burenmatrix waarbij inactieve agenten of die buiten het communicatiebereik vallen, worden uitgesloten van de grafstructuur tijdens het doorgeven van berichten.
• Graf Transformer Architectuur: De kern van het communicatieprotocol is een Graf Transformer gebaseerd op het Unified Message Passing Model (UniMP). Het verwerkt knopenkenmerken (positie, snelheid, doellocatie, entiteitstype) en randkenmerken (Euclidische afstand). De transformer gebruikt multi-head dot-product attention om berichten van naburige agenten selectief te prioriteren op basis van relevantie.
• Gecentraliseerde Training, Gedecentraliseerde Executie (CTDE):
  • Critic: Een gecentraliseerde critic ontvangt de volledige graf-embedding (via globale gemiddelde pooling) om de waardenfunctie te evalueren, gebruikmakend van de globale toestand en de volledige grafcontext.
  • Actor: Elke agent heeft een individueel actornetwerk dat zijn beleid conditioneert op zijn lokale observatie en het geaggregeerde bericht van zijn lokale grafomgeving.
• Beloningsstructuur: Het artikel experimenteert met verschillende beloningsformuleringen. De meest effectieve configuratie die is geïdentificeerd, is een "Enkel Doelbereikingsbeloning + Actieve Agent Deling", waarbij agenten een eenmalige beloning ontvangen bij het bereiken van een doel, en collaboratieve beloningen alleen worden gedeeld onder agenten die op dat specifieke tijdstip actief communiceren. Dit voorkomt dat agenten zich "verstoppen" na het bereiken van een doel en stimuleert actieve coördinatie.

Belangrijkste Bijdragen

1. Voorstel van AsynCoMARL: De introductie van een op graf-transformatoren gebaseerd communicatieprotocol dat specifiek is ontworpen voor asynchroon MARL, waarbij dynamische grafen worden gebruikt om infrequente en asynchrone interacties vast te leggen.
2. Empirische Evaluatie: De methode wordt geëvalueerd op twee benchmarks: Coöperatieve Navigatie (simulatie van satellietdynamica) en Rover-Toren (simulatie van planetaire exploratie).
3. Prestaties met Verminderde Communicatie: De studie toont aan dat AsynCoMARL succes- en botsingspercentages bereikt die vergelijkbaar zijn met toonaangevende baselines, terwijl het aantal tussen agenten doorgestuurde berichten aanzienlijk wordt gereduceerd.

Experimentele Resultaten
De auteurs hebben experimenten uitgevoerd met variërende aantallen agenten ($N=3, 5, 7, 10$) in de Coöperatieve Navigatie-omgeving en een 4-rover/4-toren-scenario in de Rover-Toren-omgeving.

• Communicatie-efficiëntie: AsynCoMARL behaalde vergelijkbare succespercentages als baselines zoals asyncMAPPO en Actor-Attention-Critic, maar met 26% minder berichten die tussen agenten werden doorgestuurd.
• Schaalbaarheid: In de Coöperatieve Navigatietaken met $N=10behield AsynCoMARL een hoog succespercentage (86%) met een zeer lage communicatiefrequentie ($f_{comm} = 0.05$). In tegenstelling hiermee hadden baselines zoalsGCSmoeite om te schalen zonder extra trainingstijd, enTransfQmix` leed aan lage succespercentages ondanks lage botsingen.
• Rover-Toren Prestaties: In de complexere Rover-Toren-omgeving behaalde AsynCoMARL een succespercentage van 50% met een communicatiefrequentie van 0.14, en presteerde het beter dan Actor-Attention-Critic (56% succes, 0.21 frequentie) wat betreft communicatie-efficiëntie en tijd voor het voltooien van episodes, ondanks het gebruik van één enkel netwerk voor beide agentklassen in plaats van afzonderlijke netwerken.
• Ablatiestudies:
  • Graf Transformer: Het verwijderen van de graftransformator resulteerde in aanzienlijk hogere botsingspercentages en lagere succespercentages, vooral wanneer het aantal actieve agenten laag was, wat het belang van het attentiemechanisme in dynamische grafen bevestigt.
  • Beloningsformulering: De structuur "Enkel Doelbereikingsbeloning + Actieve Agent Deling" leverde de beste resultaten op (97% succespercentage voor $N=3$), wat benadrukt dat het beperken van beloningen tot actieve, communicerende agenten voorkomt dat agenten de samenwerking staken zodra een doel is bereikt.

Betekenis en Claims
Het artikel claimt dat AsynCoMARL effectief de afweging tussen communicatiefrequentie en coördinatieprestaties in asynchrone settings adresseert. Door gebruik te maken van dynamische grafen en graftransformatoren, stelt de methode agenten in staat te leren wanneer en met wie ze moeten communiceren, in plaats van te vertrouwen op constante uitzendingen of synchrone updates. De auteurs stellen dat hun aanpak agenten in staat stelt onafhankelijk te opereren op verschillende tijdschalen terwijl ze toch voldoende informatie ontvangen om effectief te coördineren. Het werk suggereert dat asynchrone coördinatie niet noodzakelijkerwijs verhoogde communicatie-overhead vereist als het communicatieprotocol adaptief wordt geleerd op basis van de dynamische topologie van agentinteracties. Het artikel concludeert dat dit raamwerk een stap is naar realistischere multi-agent systemen voor ruimte- en planetaire exploratie, waar communicatie inherent beperkt is.