Decentralized Diffusion Policy Learning for Enhanced Exploration in Cooperative Multi-agent Reinforcement Learning

Technische Samenvatting: Gedecentraliseerde Diffusiebeleidslernen voor Verbeterde Exploratie in Coöperatief Multi-agent Versterkend Leren

Probleemstelling
Coöperatief Multi-agent Versterkend Leren (MARL) vereist dat agenten complexe gezamenlijke actie-ruimtes verkennen om coördinatiepatronen met hoge beloning te ontdekken. Een prominente klasse van algoritmen voor deze setting, Decentralized Softmax Policy Gradient (DecSPG), maakt gebruik van energie-gebaseerde beleidsupdates die van nature multimodale actie-distributies genereren, waardoor diverse exploratie wordt gefaciliteerd. In de praktijk zijn exacte energie-gebaseerde beleidslijnen echter onuitvoerbaar om te onderhouden, met name in continue actie-ruimtes. Bijgevolg projecteren bestaande methoden deze beleidslijnen op de Gaussische beleidsklasse voor rekenkundige efficiëntie.

De auteurs identificeren een kritieke beperking in deze aanpak: Gaussische beleidslijnen zijn unimodaal en missen de expressiviteit die nodig is om multimodale actie-distributies te vangen. Deze restrictie hindert exploratie ernstig, waardoor algoritmen voortijdig convergeren naar suboptimale evenwichten. Het artikel betoogt dat deze faalmodus bijzonder ernstig is in multi-agent settings, waar het aantal levensvatbare coördinatiepatronen groeit met het aantal agenten, en de kosten van het missen van deze patronen exponentieel toenemen.

Methodologie
Om de bottleneck in expressiviteit aan te pakken, stelt het artikel Decentralized Diffusion Policy Learning (DDPL) voor. Dit kader parameteriseert het gedecentraliseerde beleid van elke agent met behulp van een Denoising Diffusion Probabilistic Model (DDPM). DDPM's fungeren als expressieve generatieve modellen die complexe, multimodale distributies kunnen representeren, terwijl ze efficiënt blijven om te trainen en te bemonsteren.

Een centrale uitdaging bij het inzetten van diffusiebeleidslijnen binnen de online MARL-setting is het ontbreken van efficiënte trainingsalgoritmen. Standaard score-matching-methoden vereisen doorgaans steekproeven uit de doeldistributie, die niet beschikbaar zijn tijdens online training voordat de beleidsupdate plaatsvindt. Om dit te overwinnen, introduceren de auteurs Importance Sampling Score Matching (ISSM).

• ISSM-mechanisme: In plaats van steekproeven te vereisen uit de doelenergie-gebaseerde distributie $\pi^{\star,k}_i$, trekt ISSM steekproeven uit een makkelijk te bemonsteren distributie (specifiek, het vorige beleid $\pi^{k-1}_i$). Het minimaliseert vervolgens een hergewogen score-matching-verlies waarbij de gewichten worden bepaald door de importance sampling-ratio tussen de doel- en bemonsteringsdistributies.
• Theoretische garantie: Het artikel leidt een theoretische garantie voor ISSM af, waaruit blijkt dat het geleerde beleid convergeert naar de doeldistributie met een steekproefcomplexiteit die afhankelijk is van de vierde-orde Rényi-divergentie tussen de doel- en bemonsteringsdistributies. Naarmate de beleidsupdates vorderen en het huidige beleid de doelstelling nadert, neemt de vereiste steekproefgrootte voor accurate updates af.
• Algoritme: Het volledige DDPL-algoritme (Algoritme 2) integreert deze componenten in een gedecentraliseerd kader. Agenten onderhouden lokale Q-netwerken en diffusiebeleidslijnen. In elke epoch schatten agenten de gemiddelde Q-functie en updaten ze hun diffusiebeleidslijnen via een enkele gradiëntstap op het ISSM-verlies, waarbij het vorige beleid wordt gebruikt als de bemonsteringsdistributie.

Belangrijkste Bijdragen

1. Identificatie van een Faalmodus: De auteurs demonstreren formeel dat het projecteren van energie-gebaseerde beleidslijnen op Gaussische klassen een specifieke faalmodus creëert in coöperatief MARL. Door een geconstrueerde single-agent MDP en een multi-agent identiek-belangspel te gebruiken, bewijzen ze dat Gaussische benaderingen kunnen leiden tot een exponentiële afname van de succeskans om optimale evenwichten te vinden naarmate het aantal agenten toeneemt (specifiek begrensd door $0.45^n$).
2. DDPL-kader: Zij stellen DDPL voor, een op DecSPG gebaseerd algoritme dat DDPM's gebruikt om gedecentraliseerde beleidslijnen te parameteriseren, waardoor de representatie van multimodale actie-distributies mogelijk wordt die essentieel zijn voor effectieve exploratie.
3. Online training via ISSM: Het artikel ontwikkelt een nieuw Importance Sampling Score Matching-doel dat efficiënte online training van diffusiebeleidslijnen mogelijk maakt zonder steekproeven uit de doeldistributie te vereisen. Deze methode wordt geleverd met theoretische steekproefcomplexiteitsgaranties en Nash-evenwicht (NE)-gaps.
4. Empirische Validatie: De methode wordt geëvalueerd op representatieve continue-actie MARL-benchmarks, waaronder Multi-Agent Particle Environment (MPE), Multi-Agent MuJoCo (MaMuJoCo), IsaacLab en een in JAX opnieuw geïmplementeerde StarCraft Multi-Agent Challenge (SMAX).

Resultaten
Experimentele resultaten geven aan dat DDPL consistent presteert boven state-of-the-art baselines (HAPPO, MAPPO en HASAC) over 8 continue actie-taken.

• Prestaties: DDPL behaalde de hoogste gemiddelde opbrengst op 7 van de 8 taken. Opmerkelijke verbeteringen omvatten een toename van 25,78% op de IsaacLab ShadowHandOver-taak, een toename van 132,56% op de 3s_vs_5z StarCraft-taak en een toename van 155,84% op de 6h_vs_8z-taak ten opzichte van de beste baseline.
• Exploratie-dynamiek: Analyse van leercursussen suggereert dat de winsten van DDPL voortkomen uit voldoende exploratie. In taken zoals 3s_vs_5z loopt DDPL aanvankelijk achter op baselines vanwege bredere exploratie, maar convergeert snel naar bijna optimale opbrengsten, terwijl Gaussische baselines vastlopen in suboptimale evenwichten.
• Ablatie: Vergelijkingen tussen DDPL met diffusiebeleidslijnen en een variant met Gaussische beleidslijnen bevestigen dat de multimodale aard van diffusiebeleidslijnen cruciaal is. De Gaussische variant convergeert vroeg naar een suboptimaal evenwicht (opbrengst $\approx 0.65$), terwijl de diffusievariant hogere beloningsmodi ontdekt en convergeert naar een superieur evenwicht (opbrengst $\approx 2.0$).
• Efficiëntie: De trainingskosten van DDPL worden gerapporteerd als 39% kleiner dan DACER en 81% sneller dan QVPO, toegeschreven aan de efficiëntie van de ISSM online trainingsmethode. De inferentietijd blijft gematigd (onder de 1 ms).

Betekenis en Claims
Het artikel beweert dat de beperkte expressiviteit van standaard beleidsparameterisaties (specifiek Gaussisch) een primaire hindernis is voor effectieve exploratie in coöperatief MARL. Door gebruik te maken van diffusiemodellen demonstreren de auteurs dat het mogelijk is om de theoretische voordelen van energie-gebaseerde beleidsupdates (multimodaliteit en convergentie naar Nash-evenwichten) te behouden, terwijl tegelijkertijd de uitvoerbaarheid voor online training wordt gewaarborgd.

Het werk benadrukt dat in multi-agent settings de kosten van onvoldoende exploratie toenemen met het aantal agenten. DDPL biedt een oplossing die beter schaalt in termen van exploratiecapaciteit, waardoor agenten coördinatiepatronen kunnen ontdekken die unimodale beleidslijnen missen. De auteurs positioneren DDPL als een belangrijke stap richting het mogelijk maken van robuustere en effectievere coöperatieve leerprocessen in complexe, continue-actie omgevingen.

Beperkingen
De auteurs erkennen dat DDPL momenteel volledig gedecentraliseerde beleidslijnen parameteriseert en geen gebruik maakt van netwerk-MARL-settings waar lage-kosten communicatie tussen naburige agenten wordt aangemoedigd. Bovendien is het kader momenteel gericht op settings met identieke belangen, waarbij settings met algemene som of competitieve settings worden overgelaten voor toekomstig werk.