Technische Samenvatting: ASALT – Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning

Probleemstelling

Multi-agent Reinforcement Learning (MARL) staat voor aanzienlijke uitdagingen bij het overdragen van kennis van een brondomein naar een doeldomein waar de omgevingen structureel verschillen. Hoewel eerder werk de mogelijkheden van transfer learning in MARL heeft verkend, leggen de meeste bestaande benaderingen een strikte beperking op: de dimensionaliteit van de observatieruimte en de globale staatruimte moet identiek zijn in zowel het bron- als het doeldomein.

In realistische scenario's, zoals verkeersbeheer, vlootcoördinatie of competitieve spellen zoals StarCraft II, verandert het aantal agenten, tegenstanders of omgevingsconfiguraties vaak. Deze veranderingen wijzigen de dimensionaliteit van de observatie- en staatruimtes. Als gevolg hiervan falen standaard methoden voor laterale transfer omdat ze geen heterogene inputs kunnen mappen naar een gedeelde representatie zonder identieke netwerkarchitecturen af te dwingen. Bovs wordt door bestaande methoden vaak uitsluitend gefocust op het overdragen van actor-informatie (beleid), waarbij het potentieel van het overdragen van critic-informatie (waardefunctie) wordt verwaarloosd, wat cruciaal is voor het schatten van advantage-functies en het coördineren van agenten. Ten slotte kan het overdragen van beleid tussen domeinen met conflicterende coördinatievereisten leiden tot "negatieve transfer", waarbij eerdere kennis de prestaties verslechtert in plaats van verbetert.

Methodologie: Het ASALT-framework

De auteurs stellen ASALT (Adaptive State Alignment for Lateral Transfer) voor, een framework dat ontworpen is om mismatch in de dimensionaliteit van de staatruimte tussen bron- en doeldomeinen te faciliteren zonder structurele beperkingen op te leggen aan de netwerkarchitectuur. De kerninnovatie ligt in het gebruik van adapter-modules die doeldomein-inputs mappen naar een gedeelde embedding-ruimte die compatibel is met de getrainde bron-agenten.

Belangrijkste componenten

1. Observatie-adapter:

   • Functie: Map doeldomein-observaties ($o_t$) naar een gedeelde embedding-ruimte ($\hat{e}_o$) die overeenkomt met de inputruimte van bevroren bron-actors.
   • Architectuur: De adapter deelt doeldomein-observaties op in agent-specifieke kenmerken ($o_a$) en contextuele kenmerken ($o_c$) die andere agenten beschrijven.
     • Agent-specifieke kenmerken worden verwerkt via een Fully Connected Network (FCN).
     • Contextuele kenmerken worden verwerkt via een Hierarchical Multi-Head Attention (H-MHA) mechanisme. Deze module legt hogere-orde relationele afhankelijkheden vast over gestructureerde eigenschapsgroepen (bijv. bondgenoten versus vijanden), waardoor embeddings worden geproduceerd die contextuele informatie aggregeren.
   • Output: De uiteindelijke embedding is een concatenatie van agent-niveau, relationele en geaggregeerde contextuele embeddings, waarvan de grootte overeenkomt met de inputdimensie van de bron-policy.

2. Staat-adapter:

   • Functie: Map de globale staat van het doeldomein ($s_t$) naar een gedeelde staat-embedding ($\hat{e}_s$) voor input aan bron-critics.
   • Architectuur: Maakt gebruik van een twee-laagse Transformer Encoder. De globale staat wordt geprojecteerd naar token-embeddings en verwerkt via Multi-Head Self-Attention (MHSA) en Feed-Forward Networks (FFN) met residuele verbindingen en laag-normalisatie. Dit legt expliciet interacties tussen staatcomponenten vast.
   • Doel: Maakt het mogelijk om coördinatiepatronen die gecodeerd zijn in de waardefuncties (critics) van de bron te transfereren.

3. Transfer Module (Laterale Verbindingen):

   • Mechanisme: Implementeert laterale kennisoverdracht van bevroren bron-agenten naar de doel-agent.
   • Actor Transfer: De doel-actor let op representaties van de top-$N$ bron-actors (geselecteerd via clustering of gelijkenis). Laag-gewijze aandachtmechanismen ($\alpha_k$) wegen en aggregeren deze laterale signalen.
   • Critic Transfer: Op vergelijkbare wijze propageren laterale verbindingen gewogen representaties ($\beta_k$) van bron-critics naar de doel-critic. Om verschillen in beloningsschalen op te vangen, worden beloningen genormaliseerd voordat de signalen aan de critic-zijde worden geconstrueerd.
   • Training: De doel-agent wordt getraind met de originele doeldomein-inputs ($o_t, s_t$), terwijl hij tegelijkertijd laterale begeleiding ontvangt van de bron-agenten via de adapters.

Trainingsparadigma's

Het artikel onderzoekt twee trainingsstrategieën:

• Onafhankelijke Training (Independent Training): Adapters worden eerst getraind op verzamelde trajecten uit beide domeinen, waarna ze worden bevroren terwijl de doel-agent wordt getraind.
• Gezamenlijke Training (Joint Training): Adapters en de doel-agent worden gelijktijdig geoptimaliseerd met behulp van trajecten uit het doeldomein. De auteurs stellen vast dat gezamenlijke training efficiënter is qua samples, omdat het embeddings induceert die de bruikbaarheid van getransfereerde informatie expliciet maximaliseren.

Belangrijkste Bijdragen

1. Omgaan met Dimensionaliteitsmismatch: ASALT is de eerste methode die expliciet mismatch in de dimensionaliteit van observatie- en globale staatruimtes tussen bron- en doeldomeinen in MARL accommodeert, waardoor de vereiste voor identieke netwerkarchitecturen vervalt.
2. Dual-Adapter Architectuur: De introductie van zowel Observatie- als Staat-adapters maakt het mogelijk om zowel policy- (actor) als waarde- (critic) kennis te transfereren, wat effectievere coöratie overdraagt.
3. Beperking van Negatieve Transfer: Door doel-inputs te mappen naar een gedeelde latente ruimte en selectief relevante taakinformatie te transfereren (in plaats van ruwe observaties), vermindert ASALT het risico op negatieve transfer, met name in heterogene domeinen.
4. Sample Efficiëntie: Het framework verbetert de sample-efficiëntie aanzienlijk, waardoor doel-agenten sneller convergeren dan wanneer zij vanaf nul worden getraind of wanneer bestaande baselines worden gebruikt.

Experimentele Resultaten

De auteurs hebben ASALT geëvalueerd op drie benchmark-omgevingen: StarCraft II Multi-Agent Challenge (SMAC), Google Research Football (GRF) en Multi-Particle Environments (MPE).

• Prestaties t.o.v. Baselines: ASALT presteerde consequent beter dan domeinadaptatie-methoden (DANN, CORAL, CycleGAN) en state-of-the-art transfer learning baselines (LA-QTransformer, MALT, PSMARL).
• Sample Efficiëntie: In scenario's met mismatch in de observatieruimte (bijv. transfer van 3 agenten naar 8 agenten in SMAC), had ASALT aanzienlijk minder omgevingsstappen nodig om 80% van de asymptotische beloning te bereiken vergeleken met alle baselines. Bijvoorbeeld, in de 3m naar 8m transfer had ASALT $0.54 \times 10^5$ stappen nodig versus $5.1 \times 10^5$ voor de baseline.
• Negatieve Transfer: In scenario's met conflicterende coördinatievereisten (bijv. 3m map vs. 3s5zvs3s6z), demonstreerde ASALT superieure robuustheid, waarbij het sneller convergeerde en een hogere uiteindelijke winrate behaalde dan methoden die gevoelig zijn voor negatieve transfer.
• Ablatie-studies:
  • Joint vs. Independent: Gezamenlijke training van adapters en de doel-agent leverde een aanzienlijk snellere convergentie op dan onafhankelijke training.
    • Actor vs. Actor-Critic: Het transfereren van zowel actor- als critic-informatie verbeterde over het algemeen de stabiliteit en het vroege leerproces, hoewel in gevallen van massale expansie van de staatruimte, actor-alleen transfer soms vergelijkbare asymptotische prestaties behaalde.
  • Attention Mechanismen: Op aandacht gebaseerde observatie-adapters presteerden beter dan eenvoudige FCN-gebaseerde adapters, vooral in up-scaling scenario's.

Betekenis en Claims

Het artikel claimt dat ASALT een kritieke flessenhals in de praktische toepassing van MARL aanpakt: het onvermogen om beleid te transfereren wanneer het aantal agenten of de omgevingscomplexiteit verandert. Door de doel-inputdimensionaliteit los te koppelen van de bron-policy architectuur via adaptieve embedding, maakt ASALT laterale transfer mogelijk in heterogene settings.

De auteurs benadrukken dat hun aanpak:

• Negatieve Transfer Vermindert: Door te leren doel-staten te mappen naar een gedeelde representatie, filtert de methode irrelevante of conflicterende informatie weg, een veelvoorkomende foutmodus bij cross-domein transfer.
• Coördinatie Versterkt: De inclusie van staat-adapters en critic-transfer stelt het systeem in staat om waarde-gebaseerde coördinatiepatronen te benutten, niet alleen actie-beleid.
• Computationele Efficiëntie Behoudt: Hoewel het toevoegen van adapter-modules een marginale computationele overhead met zich meebrengt (ongeveer 21% toename in trainingstijd in hun experimenten), wordt dit gecompenseerd door de substantiële reductie in het aantal benodigde omgevingsinteracties voor convergentie.

Het werk concludeert dat hoewel ASALT zeer effectief is, de prestaties afhankelijk zijn van de mate van mismatch tussen domeinen, en dat toekomstig werk hiërarchische transfer en theoretische analyse moet verkennen om de computationele kosten verder te verlagen.