🤖 machine learning

CODA: Coordination via On-Policy Diffusion for Multi-Agent Offline Reinforcement Learning

CODA is een algoritme-onafhankelijke methode voor offline multi-agent reinforcement learning die coördinatieproblemen oplost door middel van een diffusie-gebaseerde data-augmentatie die zich aanpast aan de evoluerende gezamenlijke strategie van de agenten.

Oorspronkelijke auteurs: Marcel Hedman, Kale-ab Abebe Tessera, Juan Claude Formanek, Anya Sims, Riccardo Zamboni, Trevor McInroe, John Torr, Elliot Fosong

Gepubliceerd 2026-04-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Marcel Hedman, Kale-ab Abebe Tessera, Juan Claude Formanek, Anya Sims, Riccardo Zamboni, Trevor McInroe, John Torr, Elliot Fosong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep dansers hebt die een ingewikkelde choreografie moeten uitvoeren. Maar er is een probleem: de dansers mogen niet tijdens de repetitie met elkaar praten of naar elkaar kijken. Ze hebben alleen een oude video van een eerdere dans (de "dataset") om van te leren.

Dit is precies het probleem waar onderzoekers in de wereld van Multi-Agent Reinforcement Learning (MARL) tegenaan lopen. De computer-agenten (de dansers) proberen samen te werken, maar omdat ze alleen naar een statische video kijken en niet live met elkaar kunnen reageren, raken ze de draad kwijt. Ze gaan allemaal hun eigen ding doen, waardoor de dans een puinhoop wordt. Dit noemen de onderzoekers "coördinatie-falen".

Het nieuwe onderzoek genaamd CODA heeft een slimme oplossing bedacht. Hier is de uitleg in gewone mensentaal:

Het probleem: De "Stille Dansers"

Normaal gesproken leren mensen door te oefenen: "Als jij naar links stapt, stap ik naar rechts." Dat is interactie. In de 'offline' wereld van AI is de data echter bevroren. De agenten proberen te leren van wat er in het verleden gebeurde, maar ze weten niet wat hun teamgenoten nu van plan zijn.

Het is alsof je een voetbalwedstrijd probeert te leren spelen door alleen naar een video van een wedstrijd van vorig jaar te kijken. Je ziet de spelers bewegen, maar je kunt niet anticiperen op de acties die ze vandaag zouden maken. Hierdoor ontstaan er fouten: de ene speler denkt dat de ander naar links gaat, terwijl de ander eigenlijk naar rechts beweegt.

De oplossing: CODA (De "Magische Videocamera")

De onderzoekers hebben CODA ontwikkeld. Je kunt CODA zien als een soort magische videocamera die niet alleen de oude beelden laat zien, maar die ook nieuwe, nep-beelden kan genereren die passen bij hoe de dansers nu bewegen.

Hoe werkt dat?

De Basis (Diffusion): CODA gebruikt een techniek die "Diffusion" heet. Dit is een soort AI-kunstenaar (vergelijkbaar met hoe AI plaatjes maakt zoals DALL-E). Deze kunstenaar heeft de oude video's heel goed bestudeerd en begrijpt de "stijl" van de dans.
De Aanpassing (On-Policy Guidance): Dit is de echte truc. Terwijl de AI-kunstenaar nieuwe beelden maakt, krijgt hij een opdracht: "Maak een nieuwe video, maar zorg dat de dansers in deze video zich gedragen zoals ze op dit moment in hun training doen."

De Metafoor: De Spiegeltrainer

Stel je voor dat de dansers een spiegeltrainer hebben. De dansers oefenen hun huidige (misschien nog wat onhandige) bewegingen. De spiegeltrainer kijkt naar die bewegingen en zegt: "Ik ga nu een nieuwe video voor je maken waarin ik de oude dans combineer met de bewegingen die jij net maakte."

Hierdoor krijgt de danser plotseling nieuwe oefenstof die precies aansluit bij zijn huidige niveau en zijn huidige teamgenoten. De dansers kunnen nu eindelijk weer op elkaar reageren, ook al zijn ze nog steeds "offline" en kunnen ze niet echt met elkaar praten. Ze leren door te oefenen op een "toekomstige versie" van hun eigen team.

Waarom is dit belangrijk?

De onderzoekers hebben getest of dit werkt met ingewikkelde wiskundige spelletjes en complexe robot-simulaties (zoals de MaMuJoCo-test). De resultaten waren indrukwekkend:

Geen chaos meer: Waar andere methoden vastliepen in domme, simpele bewegingen, konden de agenten met CODA weer echt samenwerken.
Slimmer leren: De agenten leerden veel sneller en beter omdat de oefenstof die ze kregen altijd relevant was voor wat ze op dat moment aan het doen waren.

Kortom: CODA geeft AI-agenten een manier om te "oefenen met de toekomst", waardoor ze ook zonder directe interactie toch een perfect gesynchroniseerd team kunnen worden.

Technische Samenvatting: CODA

1. Het Probleem: Coördinatie-falen in Offline MARL

In Multi-Agent Reinforcement Learning (MARL) is het doel dat agenten gezamenlijk een optimale strategie ontwikkelen. Bij Offline MARL moeten agenten leren uit een statische, vooraf verzamelde dataset zonder interactie met de omgeving. Dit introduceert een fundamenteel probleem: coördinatie-falen.

In een online setting passen agenten hun gedrag continu aan elkaar aan (co-adaptatie). In een offline setting is de dataset echter statisch. Wanneer agenten individueel hun beleid (policy) optimaliseren op basis van de dataset, reageren ze op het gedrag van hun teamgenoten zoals dat in het verleden was, en niet zoals het gedrag van de teamgenoten op dat moment tijdens de training is. Dit gebrek aan een feedbackloop zorgt ervoor dat agenten niet kunnen co-evolueren, wat leidt tot suboptimale of zelfs tegenstrijdige gezamenlijke strategieën. De auteurs noemen de huidige standaardmethode hiervoor de Best Response under Data (BRUD)-paradigma, die inherent niet-adaptief is.

2. Methodologie: CODA

De kernoplossing van het paper is CODA (Coordination via On-Policy Diffusion for Multi-Agent Reinforcement Learning). CODA is een methode voor data-augmentatie die gebruikmaakt van diffusiemodellen om synthetische ervaringen te genereren die de huidige, evoluerende gezamenlijke policy van de agenten reflecteren.

De methodologie rust op drie technische pijlers:

Trajectory-level Diffusion: In plaats van alleen acties te modelleren, leert CODA een diffusiemodel over volledige gezamenlijke trajecten ( $\tau$ ). Dit stelt het model in staat om zowel temporele correlaties (over tijd) als inter-agent correlaties (tussen agenten) te vangen.
On-Policy Guidance (Policy-Tilted Distribution): Om de statische dataset te "verrijken" met actueel gedrag, gebruikt CODA guidance tijdens het samplen uit het diffusiemodel. Er worden twee routes geboden:
1. Implicit Conditioning (Classifier Guidance): Het gebruik van de gradiënt van de log-likelihood van de huidige policy om de diffusie-stappen te sturen naar trajecten die waarschijnlijk zijn onder het huidige beleid.
2. Explicit Conditioning (Classifier-Free Guidance - CFG): Wanneer de policy compact kan worden weergegeven (bijv. als een embedding), wordt het model direct getraind om trajecten te genereren die geconditioneerd zijn op deze representatie.
Herstel van de Feedbackloop: Door synthetische trajecten te genereren die "gekleurd" zijn door de huidige policy ( $\pi_{curr}$ ), maar nog steeds binnen de ondersteuning (support) van de offline dataset blijven, simuleert CODA de co-adaptatie die normaal alleen in online RL voorkomt.

3. Belangrijkste Bijdragen

Nieuw Mechanisme voor Co-adaptatie: CODA is de eerste methode die de ontbrekende feedbackloop in offline MARL herstelt door middel van on-policy gestuurde data-augmentatie.
Algoritme-agnostisch: CODA is een modulaire laag die bovenop bestaande model-vrije (zoals MADDPG) of model-gebaseerde offline MARL-algoritmen kan worden geplaatst.
Theoretische Inzicht: Het paper biedt een formele analyse van waarom BRUD-updates leiden tot constante (niet-adaptieve) gradiëntvelden in polynomiale spellen, wat de noodzaak voor CODA onderbouwt.

4. Resultaten

De effectiviteit van CODA werd getest in twee scenario's:

Polynomial Games (Continu): In games zoals de Multiplication Game en Twin Peaks faalden standaard offline methoden (zoals MADDPG) om te coördineren en convergeerden ze naar suboptimale punten (bijv. $(0,0)$ ). CODA loste deze pathologieën op en convergeerde succesvol naar de optimale gezamenlijke strategieën.
MaMuJoCo (Complex Continuous Control): In de complexere MaMuJoCo-benchmarks liet CODA significante verbeteringen zien in de gemiddelde return, vooral in datasets met een hoge kwaliteit (Replay en Good datasets). Het onderzoek toonde aan dat de guidance scale ( $\lambda$ ) effectief de gegenereerde trajecten kan sturen naar de gewenste on-policy distributie.

5. Betekenis en Conclusie

CODA vormt een belangrijke stap voorwaarts in de richting van betrouwbare offline MARL. Het laat zien dat het probleem van coördinatie in offline settings niet alleen een kwestie is van "meer data" (coverage), maar van de dynamische relatie tussen de evoluerende agenten en de data. Door generatieve modellen te gebruiken om de dataset te laten "meebewegen" met het leerproces, slaagt CODA erin om de essentie van online co-adaptatie te benaderen binnen de strikte beperkingen van offline leren.