MO-MIX: Multi-Objective Multi-Agent Cooperative Decision-Making With Deep Reinforcement Learning

Dit paper introduceert MO-MIX, een methode op basis van deep reinforcement learning die het probleem van multi-objectieve multi-agent samenwerking oplost door een gecentraliseerde training met gedecentraliseerde uitvoering (CTDE) te combineren met een conditionele agentarchitectuur en een parallelle mixing network om een Pareto-set van oplossingen te genereren.

De kern

Titel: MO-MIX: De Meester-Regisseur voor een Team van Slimme Agents

Stel je voor dat je een team van slimme robots hebt die samen een taak moeten uitvoeren, zoals een groep auto's die samen een file oplossen of een team drones dat een gebied moet verkennen. Dit is het domein van Multi-Agent Reinforcement Learning (MARL). Maar hier wordt het lastig: wat als deze robots twee tegenstrijdige doelen hebben?

Bijvoorbeeld:

1. Snelheid: Ze moeten zo snel mogelijk naar hun bestemming.
2. Comfort: Ze moeten zo soepel mogelijk rijden, zonder te hard te remmen of te schudden.

Als je alleen op snelheid jaagt, wordt het oncomfortabel. Als je alleen op comfort jaagt, ben je te langzaam. Dit noemen we een Multi-Objective probleem. De kunst is om een balans te vinden, of beter nog: een hele verzameling van goede oplossingen, zodat je later kunt kiezen welke balans je wilt (bijvoorbeeld: "Vandaag wil ik snelheid, morgen comfort").

Tot nu toe was dit voor teams van robots bijna onmogelijk op te lossen. Bestaande methoden konden maar één oplossing vinden (vaak een willekeurige mix) of werkten alleen voor één robot, niet voor een team.

Hier komt MO-MIX om de hoek kijken. Het is een nieuwe, slimme manier om deze teams te leren samenwerken. Laten we kijken hoe het werkt, met een paar leuke vergelijkingen.

1. De Regisseur en de Acteurs (CTDE)

MO-MIX werkt volgens een principe dat lijkt op het filmen van een grote film: Centrale Training, Decentrale Uitvoering.

• Tijdens de training (de regisseur): Alle robots zitten in een simulatie waar ze elkaar kunnen zien en alles weten. Een "super-brein" (het centrale netwerk) kijkt naar het hele team en leert hoe ze samen het beste kunnen werken. Het weet precies wie wat heeft gedaan en wie de schuld krijgt voor een fout.
• Tijdens de uitvoering (de acteurs): Zodra het team echt gaat werken, ziet elke robot alleen wat er direct om hem heen gebeurt (net als een acteur die alleen zijn eigen tekst en de acteurs naast hem ziet). Ze moeten hun eigen beslissingen nemen zonder de regisseur te horen.

MO-MIX zorgt ervoor dat de robots tijdens de uitvoering net zo goed presteren als tijdens de training, zelfs zonder de regisseur.

2. De "Wens-List" (De Voorkeursvector)

Het grootste probleem bij tegenstrijdige doelen is: Hoe weet de robot welke balans hij moet kiezen?

Stel je voor dat elke robot een wens-kaartje heeft. Op dit kaartje staat een lijstje met gewichten: "Hoe belangrijk is snelheid? Hoe belangrijk is comfort?"

• Als je op het kaartje schrijft: "Snelheid 90%, Comfort 10%", leert de robot om te racen.
• Als je schrijft: "Snelheid 10%, Comfort 90%", leert de robot om te glijden als een schaatser.

MO-MIX geeft elke robot dit kaartje als input. Hierdoor kan één enkel trainingsmodel alle mogelijke situaties leren. Je hoeft niet voor elke situatie een nieuwe robot te trainen; je geeft gewoon een ander kaartje en de robot past zich direct aan.

3. De Parallellische Mixer (Het Brein van het Team)

Hoe weten de robots wat ze samen moeten doen?
Stel je voor dat elke robot een eigen chef-kok is die een gerecht bereidt (een beslissing neemt). Maar ze moeten samen een groot feestmaal maken.

MO-MIX gebruikt een Mixer (een speciaal netwerk).

• Elke robot stuurt zijn eigen "recept" naar de mixer.
• De mixer heeft verschillende parallelle banen (tracks). Eén baan kijkt alleen naar de snelheid, een andere alleen naar het comfort.
• De mixer zorgt ervoor dat de smaken (de beslissingen) van alle robots goed samensmelten tot één groot, perfect gerecht (de gezamenlijke beloning).

Dit is cruciaal omdat het voorkomt dat robots elkaar de schuld geven voor fouten die eigenlijk door het hele team zijn gemaakt (het "credit assignment" probleem).

4. De Ontdekkingsgids (Exploration Guide)

Soms is het lastig om de perfecte balans te vinden. Misschien is "snelheid" makkelijk te leren, maar "snel én comfortabel" heel moeilijk. Een standaard algoritme zou dan alleen maar de makkelijke kant op gaan en de moeilijke, maar mooie oplossingen missen.

MO-MIX heeft een ontdekkingsgids ingebouwd.

• Deze gids kijkt naar de kaart van alle oplossingen die het team al heeft gevonden.
• Als hij ziet dat er een leeg stukje is op de kaart (bijvoorbeeld: "We hebben geen goede oplossing voor 'gemiddelde snelheid en gemiddeld comfort'"), dan zegt de gids: "Hey, probeer daar eens wat meer te oefenen!"
• Hierdoor wordt de verzameling van oplossingen (de Pareto-set) heel vol en gelijkmatig verdeeld. Je krijgt een complete "menukaart" met honderden perfecte opties, in plaats van een paar willekeurige schotels.

Waarom is dit zo geweldig?

1. Efficiëntie: Andere methoden moeten voor elke gewenste balans een nieuw team trainen (zoals 41 keer een hele nieuwe film draaien). MO-MIX doet dit in één keer (één film, maar met een regisseur die alle scenario's kan draaien). Het is 13 keer sneller in de tests.
2. Kwaliteit: De oplossingen die MO-MIX vindt zijn beter, meer diverser en gelijkmatiger verdeeld.
3. Flexibiliteit: Je kunt op elk moment een nieuwe "wens-kaart" geven en het team past zich direct aan.

Kortom:
MO-MIX is als een super-slimme regisseur die een team van acteurs niet alleen leert samen te werken, maar ze ook leert om in elke denkbare situatie (van "race-auto" tot "comfortabele bus") perfect te presteren, en dat allemaal in één keer, zonder dat je uren hoeft te wachten. Het maakt complexe samenwerking tussen robots met tegenstrijdige doelen eindelijk haalbaar en efficiënt.

Technische samenvatting

Probleemstelling

De kern van dit onderzoek ligt in de oplossing van Multi-Objective Multi-Agent Reinforcement Learning (MOMARL) problemen. In veel real-world scenario's (zoals autonoom rijden of robotcoördinatie) moeten meerdere agenten samenwerken om taken uit te voeren die meerdere, vaak conflicterende, doelen hebben (bijv. snelheid versus comfort, of aanval versus vlucht).

Bestaande methoden hebben hierin tekortkomingen:

1. Single-Objective MARL: Bestaande multi-agent algoritmen (zoals QMIX) optimaliseren meestal voor één enkel doel of een vooraf gedefinieerde gewogen som van doelen. Dit resulteert in slechts één beleid, terwijl gebruikers vaak verschillende voorkeuren hebben.
2. Single-Agent MORL: Bestaande multi-objective methoden voor één agent kunnen de complexiteit van multi-agent systemen niet aan, zoals de niet-stationariteit van de omgeving (andere agenten veranderen hun beleid tijdens training), gedeeltelijke waarneembaarheid (agenten zien niet alles), en het credit assignment probleem (het toewijzen van beloningen aan individuele bijdragen in een team).
3. Bestaande MOMARL-aanpakken: De huidige werken in dit snijvlak zijn beperkt tot single-policy methoden (één oplossing per gewicht) of kunnen geen complexe, continue ruimtes aan. Ze genereren vaak geen dichte benadering van de Pareto-set (de verzameling van alle optimale trade-offs).

Het doel is dus een algoritme te ontwikkelen dat meerdere agenten in staat stelt om coöperatieve beslissingen te nemen voor meerdere conflicterende doelen, waarbij het systeem een dichte en hoogwaardige benadering van de Pareto-set kan genereren voor verschillende voorkeuren.

Methodologie: MO-MIX

De auteurs stellen MO-MIX voor, een end-to-end Deep Reinforcement Learning (DRL) methode gebaseerd op het Centralized Training with Decentralized Execution (CTDE) kader. De architectuur bestaat uit drie hoofdcomponenten:

1. Conditioned Agent Network (CAN):

   • Dit is het gedecentraliseerde deel dat tijdens de uitvoering wordt gebruikt.
   • Elke agent heeft zijn eigen CAN, bestaande uit MLP-lagen en een GRU (Gated Recurrent Unit) laag om historische observaties en acties te verwerken.
   • Cruciaal: De voorkeursvector ($\omega$) wordt als input aan het netwerk gegeven. Dit stelt het netwerk in staat om de lokale actie-waarde functie ($Q$) te schatten die specifiek is voor die bepaalde voorkeur over de doelen.
   • De agent kiest zijn actie onafhankelijk op basis van deze geschatte $Q$-waarden.

2. Multi-objective Mixing Network (MOMN):

   • Dit is het gecentraliseerde deel dat tijdens de training wordt gebruikt om de gezamenlijke actie-waarde ($Q_{tot}$) te schatten.
   • In tegenstelling tot standaard QMIX, is de MOMN ontworpen voor meerdere doelen. Het heeft een parallelle architectuur met $m$ onafhankelijke tracks (waarbij $m$ het aantal doelen is).
   • De $Q$-vectoren van alle agenten worden per doel herordend en door de respectievelijke track gevoerd.
   • Om de monotoniteitsbeperking (nodig voor correcte credit assignment in coöperatieve settings) te waarborgen, worden hypernetworks gebruikt om de gewichten en biases van de MLP-lagen te genereren op basis van de globale staat. De output is een vector van gezamenlijke $Q$-waarden voor alle doelen.

3. Exploration Guide Approach:

   • Om te voorkomen dat het algoritme vastloopt in suboptimale gebieden van de voorkeursruimte, wordt een exploratiegids gebruikt.
   • Tijdens het trainen wordt een niet-gedomineerde set bijgehouden. De sampling-kansen voor voorkeursvectoren ($\omega$) worden dynamisch aangepast: voorkeursgebieden die momenteel minder goed gedekte oplossingen hebben (sparsere gebieden in de doelruimte) krijgen een hogere sampling-kans.
   • Dit zorgt voor een uniformere verdeling van de uiteindelijke Pareto-set.

Belangrijkste Bijdragen

1. Eerste MOMARL methode voor Pareto-benadering: MO-MIX is, voor zover bekend, de eerste multi-objective RL-methode die specifiek is ontworpen voor multi-agent systemen en een dichte, hoogwaardige benadering van de Pareto-set genereert met één enkel model.
2. Conditioned Netwerk Architectuur: Door voorkeursvectoren als conditionele input te gebruiken, kan het model generaliseren over de hele voorkeursruimte zonder opnieuw getraind te hoeven worden voor elke nieuwe doelstelling.
3. Parallelle Mixing Network: De introductie van een parallelle mixing network (MOMN) die de monotoniteitsbeperking respecteert voor meerdere doelen tegelijkertijd, waardoor credit assignment effectief blijft in multi-agent settings.
4. Verbeterde Uniformiteit: De exploratiegids verbetert de uniformiteit van de gevonden oplossingen, wat resulteert in een beter gedekte Pareto-front.

Resultaten

De methode is getest in twee omgevingen: OpenAI's Multi-Agent Particle Environment (MPE) en StarCraft Multi-Agent Challenge (SMAC). Als baseline werd een "outer-loop QMIX" methode gebruikt, waarbij QMIX herhaaldelijk wordt getraind voor verschillende gewichten.

Kernresultaten:

• Kwaliteit van de Pareto-set: MO-MIX presteerde significant beter dan de baseline op alle vier evaluatiemetrics:
  • Hypervolume (HV): 17,27% hoger in MPE, wat aangeeft een betere algehele prestatie en dekking van de doelruimte.
  • Diversiteit: MO-MIX vond veel meer niet-gedomineerde oplossingen (40,40 vs 17,00 in MPE).
  • Spacing & Sparsity: MO-MIX leverde een veel uniformere en dichter bevolkte set oplossingen op (lagere waarden zijn beter).
• Efficiëntie: MO-MIX is aanzienlijk efficiënter. In de MPE-experimenten had MO-MIX 75.000 episodes nodig, terwijl de baseline 1.025.000 episodes nodig had (een factor 13 meer) om vergelijkbare resultaten te bereiken. Zelfs met een hogere sampling-dichtheid voor de baseline verbeterde de prestatie nauwelijks, terwijl de rekentijd explodeerde.
• Ablatie-studie: Het verwijderen van de "Exploration Guide" component leidde tot een duidelijke daling in alle metrics, wat de effectiviteit van deze component bevestigt.

Betekenis en Conclusie

Dit paper is een belangrijke stap in de evolutie van Reinforcement Learning voor complexe real-world toepassingen. Het overbrugt de kloof tussen multi-agent samenwerking en multi-objective optimalisatie.

• Praktische toepasbaarheid: Het stelt systemen in staat om flexibel te reageren op veranderende eisen (bijv. "prioriteit aan snelheid" vs. "prioriteit aan energiebesparing") zonder het model opnieuw te hoeven trainen.
• Wetenschappelijke impact: Het bewijst dat het CTDE-kader kan worden uitgebreid naar multi-objective settings met behoud van stabiliteit en credit assignment, en introduceert een efficiëntere manier om de Pareto-set te benaderen dan het traditionele "outer-loop" benadering.
• Toekomstperspectief: Hoewel het paper zich richt op twee doelen, is de architectuur theoretisch uitbreidbaar naar meer doelen. Toekomstig werk zal zich richten op nog complexere taken en een grotere diversiteit aan doelen.

Kortom, MO-MIX biedt een robuust, efficiënt en flexibel raamwerk voor coöperatieve multi-agent systemen in omgevingen met meerdere, conflicterende doelen.