Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition

Dit artikel stelt een nieuw offline multi-agent versterkingsleerframework voor dat distributieveranderingen en multimodale coördinatie-uitdagingen in coöperatieve taken aanpakt door gebruik te maken van een sequentiële score-decompositiemethode gecombineerd met op diffusie gebaseerde generatieve modellen om beleidsupdates te sturen naar gebieden met hoge beloning en binnen de verdeling, waarmee state-of-the-art prestaties worden behaald op diverse benchmarks.

De kern

Stel je voor dat je een groep robots probeert te leren hoe ze samenwerken om appels te plukken. Je hebt een enorme videobibliotheek (een dataset) met beelden van hoe verschillende teams van robots deze taak in het verleden hebben uitgevoerd. Sommige teams plukten samen de rode appel, anderen de groene, en sommigen dwaalden gewoon doelloos rond.

De uitdaging is dat je de robots niet meer in de echte wereld kunt laten oefenen; je kunt ze alleen leren door deze oude video's te bekijken. Dit heet Offline Multi-Agent Reinforcement Learning.

Het Probleem: Het "Verwarde Koor"

In het verleden maakten onderzoekers, toen ze probeerden robots te leren van deze door elkaar gehaalde video's, een grote fout. Ze behandelden elke robot alsof het alleen leerde, en negeerden hoe de anderen bewogen.

Stel je een koor voor waar iedereen verschillende nummers zingt uit hetzelfde bladmuziek. Als je de sopraan vertelt "Lied A" te zingen en de bas "Lied B", gebaseerd op hun individuele gewoonten, is het resultaat een vreselijk, chaotisch geluid. In de robotwereld leidt dit tot coördinatieproblemen. De robots proberen misschien tegelijkertijd twee verschillende appels te plukken, of ze proberen een appel te grijpen die niemand in de video's ooit succesvol heeft gegrepen. Ze eindigen met dingen te doen die voor één robot "oké" lijken, maar rampzalig zijn voor het team.

Het artikel noemt dit de "Combinatorial Mode Shift". Het is alsof je een huis probeert te bouwen door bouwtekeningen van een kasteel, een tent en een wolkenkrabber te mengen. Het resultaat is geen huis, maar een hoop niet-matching bakstenen.

De Oplossing: OMSD (De "Dirigentstok")

De auteurs stellen een nieuwe methode voor genaamd OMSD (Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition).

Hier is hoe het werkt, met een eenvoudige analogie:

1. De "Opstelling"-strategie (Sequentiële Decompositie)
In plaats van elke robot te vragen wat het moet doen op basis van zijn eigen geheugen, vraagt OMSD ze in een specifieke volgorde, zoals een rij mensen die wachten om een kamer binnen te gaan.

• Robot A gaat als eerste en besluit: "Ik ga naar de rode appel."
• Robot B ziet Robot A's beslissing en denkt: "Oké, omdat Robot A naar de rode appel gaat, moet ik ook naar de rode appel gaan om te helpen."
• Robot C ziet beiden en doet hetzelfde.

Door te kijken naar wat de voorgaande robots besloten, leert elke robot de context van het teamplan. Dit voorkomt dat ze per ongeluk een andere appel plukken of afdwalen.

2. De "Diffusie"- magie (De Scorefunctie)
Om dit werkend te krijgen, gebruiken de onderzoekers een speciaal type AI genaamd een Diffusiemodel. Denk hierbij aan een "ruisverwijderaar" of een "onscherpte-verhelderaar".

• Stel je voor dat de oude video's een beetje wazig zijn en vol met ruis.
• Het Diffusiemodel fungeert als een slim filter dat precies weet hoe het de data moet "denoisen". Het raadt niet zomaar een willekeurige actie; het berekent een "score" of een "richting" die wijst naar de acties die het team daadwerkelijk uitvoerde in de succesvolle video's.
• Het vertelt de robot: "Ga niet die kant op (dat is een fout); ga die kant op (daar slaagde het team)."

3. De "Centrale Coach" (Critic)
Terwijl de robots hun specifieke zetten in de rij leren, staat er een "Centrale Coach" (een gecentraliseerde criticus) die het hele team in de gaten houdt. Deze coach kent de totale score die het team behaalt. Hij zegt tegen de robots: "Hé, die rode-appel-strategie krijgt een hoge score, blijf dat doen!"

Waarom Het Beter Is

Vorige methoden probeerden de robots te leren door naar hun individuele gewoonten te kijken in isolatie. Dit werkte prima als iedereen hetzelfde deed, maar faalde jammerlijk wanneer de video's veel verschillende succesvolle strategieën toonden (multimodale data).

OMSD lost dit op door:

• De Keten te Respecteren: Het begrijpt dat Robot B's zet afhangt van Robot A's zet.
• In de Rij te Blijven: Het houdt de robots bij dingen die daadwerkelijk in de video's gebeurden, waardoor ze geen riskante, verzonnen zetten proberen die niet in de data voorkomen.
• De Beste Weg te Vinden: Het helpt het team om de specifieke "modus" of strategie (zoals de rode appel versus de groene appel) te vinden die de hoogste beloning oplevert, zonder in de war te raken door de andere strategieën in de videobibliotheek.

De Resultaten

De auteurs testten dit op verschillende robottaken, van eenvoudige spelletjes tot complexe fysieke simulaties (zoals robots rennen of prooien vangen).

• In eenvoudige tests: OMSD leerde perfect te coördineren, terwijl andere methoden het niet eens konden worden over een plan.
• In complexe tests: OMSD presteerde consequent beter dan de beste bestaande methoden, vooral wanneer de trainingsdata rommelig was of veel verschillende manieren toonde om te slagen.

Kortom, OMSD is als een slimme dirigent die niet alleen elke muzikant vertelt zijn eigen deel te spelen, maar het hele orkest begeleidt om in harmonie te spelen door te luisteren naar de persoon voor hen en de dirigent te volgen, zodat de uiteindelijke uitvoering een hit wordt in plaats van een ramp.

Technische samenvatting

Technische Samenvatting: Offline Multi-agent Versterkend Leren via Sequentiële Score Decompositie

1. Probleemstelling

Offline Multi-agent Versterkend Leren (MARL) staat voor een kritieke uitdaging die verschilt van single-agent offline RL: de distributieverplaatsing veroorzaakt door het verschil tussen online en offline dataverzameling. Waar online MARL doorgaans convergeert naar één gecoördineerd gezamenlijk beleid door interactieve aanpassing, zijn offline datasets vaak mengsels van diverse coöperatieve gedragingen verzameld uit verschillende bronnen. Dit resulteert in sterk multimodale gezamenlijke gedragsdistributies.

Bestaande offline MARL-methoden vallen over het algemeen in twee categorieën, die beiden worstelen met deze multimodaliteit:

1. Waarde-gebaseerde methoden: Deze vertrouwen op Individual-Global-Maximization (IGM) en conservatieve waarde-schatting. Echter, wanneer agenten onafhankelijke $\epsilon$-greedy-beleiden gebruiken, kunnen ze gezamenlijke acties buiten de distributie (OOD) selecteren die van lage kwaliteit zijn en niet door de dataset worden gedekt.
2. Beleid-gebaseerde methoden: Deze beperken beleidsregels vaak via gedragsregularisatie of gecentraliseerde planners. Een veelvoorkomende valkuil is de aanname dat het gezamenlijke gedragsbeleid kan worden gefactoriseerd in onafhankelijke marginaaldistributies ($\mu(a|s) = \prod \mu_i(a_i|s)$). In multimodale situaties leidt deze onafhankelijke factorisatie tot "Combinatorial Mode Shift" (CMS). Omdat agenten worden geregulariseerd naar hun eigen marginaaldistributies, verliezen ze de uitlijning met de gezamenlijke modi, wat resulteert in gezamenlijke beleidsregels die buiten de gebieden met hoge dichtheid van de dataset liggen. Deze misalignement veroorzaakt ernstige distributieverplaatsingen en slechte coördinatie.

2. Methodologie: OMSD

De auteurs stellen Offline MARL met Sequentiële Score Decompositie (OMSD) voor om het probleem van multimodale coördinatie aan te pakken zonder een volledig gezamenlijk beleidsmodel of een gecentraliseerde planner te vereisen.

Kernconcept: Sequentiële Decompositie

In plaats van conditionele onafhankelijkheid aan te nemen, factoriseert OMSD het gezamenlijke gedragsbeleid met behulp van de kettingregel, waarbij het gedrag van elke agent wordt geconditioneerd op de acties van voorgaande agenten:
$$\mu(a|s) = \prod_{i=1}^n \mu_i(a_i | s, a_{<i})$$
waarbij $a_{<i}$ de gezamenlijke acties van alle agenten voor agent $i$ voorstelt. Deze sequentiële modellering vangt inter-agent afhankelijkheden op en biedt een exacte conditionele referentie voor de beleidsbeperkingen van elke agent.

Algorithmische Werkstroom

OMSD werkt binnen het Centralized-Training-Decentralized-Execution (CTDE)-kader en bestaat uit drie hoofdfasen:

1. Critic Pretraining: Een gecentraliseerde gezamenlijke waardenfunctie $Q_{tot}(s, a)$ wordt geleerd met behulp van offline Implicit Q-Learning (IQL) om beloningsrichting te bieden.
2. Score Pretraining: Voor elke agent $i$ wordt een conditioneel diffusiemodel getraind op de offline dataset om de conditionele scorefunctie $\nabla_{a_i} \log \mu_i(a_i | s, a_{<i})$ te schatten.
   • Cruciaal worden deze modellen parallel getraind.
   • De scorefunctie benadert de gradiënt van de log-kans van het gedragsbeleid en dient als gedragsregularisator.
3. Beleidsoptimalisatie: Agenten updaten hun beleidsregels met behulp van een gradiënt die het gecentraliseerde critic-signaal combineert met de sequentiële score-regularisatie:
   $$\nabla_{\theta_i} L_i = \mathbb{E} \left[ \nabla_{a_i} Q_{tot}(s, a) + \frac{1}{\beta} \nabla_{a_i} \log \mu_i(a_i | s, a_{<i}) \right] \nabla_{\theta_i} \pi_{\theta_i}$$
   • Sequentiële Conditionering: Tijdens de update van agent $i$ worden de prefix-acties $a_{<i}$ bemonsterd uit de meest recent bijgewerkte beleidsregels van agenten $1$ tot $i-1$ binnen dezelfde iteratie.
   • Uitvoering: Ondanks de sequentiële update tijdens training, blijft de uitvoering volledig gedecentraliseerd. Elke agent handelt op basis van zijn lokale observatie, aangezien de sequentiële afhankelijkheid alleen wordt gebruikt om de leerdirection te sturen (score-regularisatie) en niet om acties te genereren tijdens runtime.
   • Efficiëntie: De methode gebruikt deterministische DiLac-beleidsregels voor prefix-acties om ruisversterking te voorkomen en vereist geen iteratieve denoising-bemonstering tijdens uitvoering, waardoor de hoge inferentiekosten die typisch zijn voor diffusie-gebaseerde acteurs worden vermeden.

3. Belangrijkste Bijdragen

1. Identificatie van de Oorzaak: Het artikel identificeert de multimodale aard van offline gezamenlijke gedragsdistributies en het falen van onafhankelijke marginale factorisatie (wat leidt tot Combinatorial Mode Shift) als de primaire oorzaak van coördinatiefalen in offline MARL.
2. OMSD-algoritme: De ontwikkeling van een nieuw kader dat gedragsbeleidsregels sequentieel decomposeert en diffusie-gebaseerde conditionele scores gebruikt als gedragsregularisatoren. Deze aanpak bevordert gecoördineerde modusselectie zonder het volledige gezamenlijke beleid te modelleren of te vertrouwen op een gecentraliseerde planner.
3. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat OMSD consequent beter presteert dan bestaande methoden, met name in uitdagende multimodale scenario's (bijvoorbeeld datasets van gemiddelde kwaliteit).

4. Experimentele Resultaten

De auteurs hebben OMSD geëvalueerd op:

• Voorbeeld met Toy Bandit: Een coöperatieve taak met 2 agenten en twee optimale modi. OMSD behaalde prestaties vergelijkbaar met gezamenlijke actie-leren (BRPO-JAL) en presteerde aanzienlijk beter dan onafhankelijk leren (BRPO-IND) en naïeve CTDE-methoden, die faalden om OOD-gezamenlijke acties te vermijden.
• Multi-Agent Particle Environment (MPE): Taken waaronder Coöperatieve Navigatie, Predator Prey en World. OMSD behaalde de beste of tweede beste scores op Expert-, Medium- en Random-datasets. Opmerkelijk is dat op "Medium"- en "Random"-datasets waar multimodaliteit sterk uitgesproken is, OMSD aanzienlijke winsten liet zien (bijvoorbeeld +70,6% op Predator Prey Random).
• MaMuJoCo: Hoogdimensionale continue controletaken waarbij robotonderdelen fungeren als agenten (bijvoorbeeld HalfCheetah, Ant). OMSD presteerde beter dan baselines zoals MA-CQL, CFCQL, MADiff en DoF, vooral op datasets met gemengde kwaliteit (bijvoorbeeld +73,9% gemiddelde verbetering ten opzichte van de sterkste baseline op OMIGA-datasets).

Ablatiestudies:

• Score Decompositie: OMSD presteerde consequent beter dan varianten met onafhankelijke factorisatie (BRPO-IND, BRPO-CTDE), wat de noodzaak van sequentiële conditionering bevestigt.
• Ordergevoeligheid: De methode bleek robuust te zijn voor de volgorde van agent-updates, wat suggereert dat de sequentiële structuur werkt als een coördinatiemechanisme tijdens training in plaats van als een rigide inductieve bias.
• Dichtheidsschatters: Diffusiemodellen presteerden beter dan eenvoudigere schatters (GMM's, Normalizing Flows) in het vastleggen van complexe multimodale structuren, met name op expert- en medium-datasets.

5. Betekenis en Claims

Het artikel stelt dat modaal-bewuste coördinatie essentieel is voor robuust offline MARL. Door gebruik te maken van sequentiële score-decompositie, slaagt OMSD erin beleidsupdates uit te lijnen met de ware gezamenlijke gedragsdistributie, waardoor de distributieverplaatsing veroorzaakt door onafhankelijke regularisatie wordt vermeden.

De auteurs benadrukken dat hun aanpak:

• OOD-gezamenlijke acties vermijdt: Door te conditioneren op prefix-acties worden agenten geleid naar gebieden met hoge waarde binnen de distributie.
• Gedecentraliseerde uitvoering behoudt: In tegenstelling tot methoden die gecentraliseerde planning of sequentiële uitvoering tijdens runtime vereisen, handelen OMSD-agenten onafhankelijk tijdens implementatie.
• Schalbaarheid: Het pretrainen van conditionele scoremodellen is volledig paralleliseerbaar over agenten, waardoor de methode geschikt is voor grotere teams.

Het werk wordt gepresenteerd als een belangrijke stap voorwaarts in het hanteren van de complexiteit van offline multi-agent data, specifiek gericht op de "Combinatorial Mode Shift" die eerdere beleid-gebaseerde benaderingen heeft belemmerd. De auteurs erkennen beperkingen, zoals de huidige focus op continue actieruimtes en de afhankelijkheid van de kwaliteit van de vooraf getrainde gecentraliseerde critic.