🤖 machine learning

Fluid-Agent Reinforcement Learning

Deze paper introduceert het 'Fluid-Agent Reinforcement Learning'-kader, waarin agenten dynamisch nieuwe agenten kunnen creëren, en toont aan dat dit leidt tot teams die hun omvang aanpassen aan de eisen van de omgeving.

Oorspronkelijke auteurs: Shishir Sharma, Doina Precup, Theodore J. Perkins

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shishir Sharma, Doina Precup, Theodore J. Perkins

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team leidt dat een moeilijke klus moet klaren, zoals het opruimen van een rommelige kamer of het vangen van vlinders in een park. In de traditionele wereld van kunstmatige intelligentie (AI) is het aantal mensen in je team altijd vast. Je begint met drie personen, en je blijft met drie personen. Als de klus te groot is, moeten die drie harder werken. Als de klus klein is, staan twee van hen misschien alleen maar te wachten.

Dit nieuwe onderzoek, getiteld "Fluid-Agent Reinforcement Learning" (Vloeibare Agenten-Leren), breekt met die regel. Het stelt een heel nieuw idee voor: teams die kunnen groeien en krimpen, net als een levend organisme.

Hier is een uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Grote Idee: Van een Vaste Club naar een Zwerm

Stel je voor dat je een team hebt dat een spelletje speelt. Normaal gesproken is dat een vast team van 5 spelers. Maar in de echte wereld (en in dit nieuwe systeem) kunnen teamleden beslissingen nemen om nieuwe teamleden te creëren.

De Analogie: Denk aan een bijenkorf. Als er veel bloemen zijn (veel werk), kunnen de bijen nieuwe bijen "spawnen" (laten ontstaan) om meer bloemen te plukken. Als er weinig bloemen zijn, stoppen ze met het maken van nieuwe bijen om energie te besparen.
In dit onderzoek leren de AI-agenten precies dit: "Moet ik nu een nieuwe vriendje maken om de klus sneller te klaren, of kost dat te veel energie en is het beter om met z'n tweeën te blijven?"

2. De Drie Spelletjes die ze hebben getest

De onderzoekers hebben drie verschillende spelletjes bedacht om dit te testen:

Jagers en Prooi (Predator-Prey):
- Het scenario: Blauwe cirkels (jagers) moeten rode cirkels (prooi) vangen. Een prooi kan alleen worden gevangen als twee jagers tegelijkertijd erbij zijn.
- De vloeibare twist: Als er heel veel prooi is, leren de jagers: "Wacht, we zijn met te weinig! Laten we nieuwe jagers spawnen om alles in één keer te vangen." Als er weinig prooi is, spawnen ze niets, want dat kost te veel energie. Ze passen hun teamgrootte dus automatisch aan aan de hoeveelheid werk.
Verzamelen op Niveau (Level-Based Foraging):
- Het scenario: Agenten moeten appels verzamelen. Sommige appels zijn zwaar (hoog niveau) en hebben een heel team nodig om ze te tillen.
- De vloeibare twist: Hier kunnen agenten niet alleen beslissen hoeveel nieuwe teamleden ze maken, maar ook wat voor soort. Als je een sterke agent (nivo 2) bent, kun je een nieuwe sterke agent spawnen. Zo bouwen ze precies het juiste team samen om de zwaarste appels te pakken, zonder onnodige leden.
PuddleBridge (Het Moerasbruggetje):
- Het scenario: Agenten moeten van de ene kant van een muur naar de andere. Soms is de poort open (makkelijk), soms dicht (moeilijk). Als de poort dicht is, moeten ze over een moeras.
- De vloeibare twist: Om over het moeras te komen, moet één agent op een ander springen (stapelen) zodat de bovenste agent kan oversteken. Dit is een fysieke samenwerking. De agenten leren: "Als de poort dicht is, spawnen we een tweede agent en bouwen we een brug. Als de poort open is, lopen we alleen door." Ze wisselen dus slim tussen "alleen doen" en "samenwerken".

3. Waarom is dit zo moeilijk? (De Uitdaging)

Het is lastig voor een computer om dit te leren. Waarom?
Stel je voor dat je een team leidt en je moet beslissen of je iemand inhuurt.

Als je te veel mensen huurt, betalen ze allemaal een salaris (dit is de kosten in het spel).
Als je te weinig mensen hebt, wordt het werk niet gedaan.
De AI moet leren: "Is het de moeite waard om die extra persoon te betalen, of is het beter om het zelf te doen?"

De onderzoekers hebben ontdekt dat sommige AI-methoden dit heel goed leren (ze worden slimme teammanagers), terwijl andere methoden vastlopen in de verkeerde strategieën (bijvoorbeeld: te veel mensen maken die alleen maar kosten, of te weinig mensen die het werk niet afmaken).

4. Wat betekent dit voor de toekomst?

Dit onderzoek is een grote stap vooruit omdat het dichter bij de echte wereld ligt.

In de echte wereld: Bedrijven kunnen afdelingen openen of sluiten. Cellen in je lichaam delen zich of sterven af. Straatverlichting kan extra lampen toevoegen als het drukker wordt.
De conclusie: Met deze nieuwe methode kunnen we AI-systemen bouwen die niet star zijn, maar flexibel. Ze kunnen hun eigen teamgrootte aanpassen aan de situatie. Ze worden niet langer beperkt door een vast aantal "robots", maar kunnen dynamisch groeien als dat nodig is.

Kort samengevat:
Deze paper zegt: "Vergeet die statische teams. Laten we AI-agenten leren die net als een levend organisme kunnen groeien, krimpen en zich aanpassen aan de hoeveelheid werk die er is. Het is alsof je een team leidt dat zichzelf kan rekruteren, maar alleen als het echt nodig is en het de moeite waard is."

Titel: Fluid-Agent Reinforcement Learning (Vloeibare Agenten Versterkende Leer)

Auteurs: Shishir Sharma, Doina Precup, Theodore J. Perkins
Instituut: Mila – Quebec Artificial Intelligence Institute, McGill University, Ottawa Hospital Research Institute

1. Probleemstelling

Traditioneel richt Multi-Agent Reinforcement Learning (MARL) zich op scenario's met een vast aantal agenten dat vooraf bekend is en gedurende de interactie niet verandert. Hoewel dit wiskundig eenvoudig is om te modelleren, is het beperkend voor real-world toepassingen. In de echte wereld fluctueert het aantal agenten vaak:

Agenten kunnen besluiten nieuwe agenten te creëren (bijv. celdeling, het oprichten van een dochteronderneming).
Agenten kunnen verdwijnen of vernietigd worden.
De interactie tussen agenten is een dynamisch mengsel van samenwerking en competitie, waarbij de populatie zelf een gevolg is van de strategische keuzes van de agenten.

De huidige MARL-frameworks kunnen deze vloeibare (fluid) populatiedynamiek niet adequaat modelleren, omdat ze uitgaan van een statische agentenpopulatie.

2. Methodologie en Framework

De auteurs introduceren een nieuw kader genaamd Fluid-Agent Reinforcement Learning, met als kern de definitie van Partially Observable Fluid Stochastic Games (POFSG).

A. Het POFSG Model

Het POFSG is een uitbreiding van het bestaande POSG-model (Partially Observable Stochastic Game) met de volgende wijzigingen:

Variabele Populatie: Het aantal levende agenten $|L(s)|$ verandert per staat $s$ .
Spawning Actie: Agenten hebben een speciale actie "spawnen" waarmee ze nieuwe agenten toevoegen aan de omgeving.
Dynamische Actieruimte: Omdat het aantal agenten verandert, verandert ook de gezamenlijke actieruimte (joint action set) dynamisch.
Beperkingen: Er is een maximale populatiegrootte ( $N$ ). Als de limiet wordt bereikt, heeft het spawnen geen effect.

B. Theoretische Grondslagen

De auteurs bewijzen de existentie van evenwichten in dit nieuwe kader:

Nash-evenwicht (NE): Er bestaat een stationair gemengd-strategie Nash-evenwicht voor elke POFSG. Dit wordt bewezen door het spel te transformeren naar een spel met een vast aantal spelers, waarbij "ongeboren" agenten een "doen-niets" actie hebben.
Subgame-Perfect Nash-evenwicht (SPNE): Voor eindige horizonten met publiek waargenomen gezamenlijke acties en perfect geheugen, bestaat er een SPNE. Dit garandeert rationeel gedrag op elk beslispunt, zelfs wanneer de populatie verandert.

C. Experimentele Omgevingen

Drie omgevingen werden aangepast of ontwikkeld om vloeibaarheid te testen:

Fluid Predator-Prey: Roofdieren moeten samenwerken om prooien te vangen. Agenten kunnen spawnen, maar er zijn kosten verbonden aan het spawnen en het onderhouden van agenten.
Fluid Level-Based Foraging (LBF): Agenten moeten voedsel verzamelen dat een bepaald niveau vereist. Nieuwe agenten erven het niveau van hun ouder, waardoor agenten kunnen leren welk type agent ze moeten spawnen.
PuddleBridge: Een nieuwe omgeving waar agenten een brug moeten vormen over een modderpoel door op elkaar te stapelen. Dit vereist coördinatie en het dynamisch wisselen tussen strategieën met één of meerdere agenten, afhankelijk van of een poort open of gesloten is.

D. Leerstrategieën en Exploratie

Algoritmen: Er werden verschillende MARL-algoritmen getest: IQL, VDN, PPO en MAPPO (zowel met geconcateneerde observaties als met globale state).
Exploratie: Om agents te helpen de optimale populatiegrootte te vinden, werd een curriculum-achtige aanpak gebruikt met een specifieke $\epsilon_{spawn}$ parameter die tijdens het trainen lineair toeneemt. Ook werd de initiële populatie en de populatieplafond randomisatie toegepast om agents bloot te stellen aan verschillende schalen.

3. Belangrijkste Resultaten

De experimenten leverden de volgende inzichten op:

Invloed van Beloningsstructuur:
- Bij een grootte-omgekeerde beloning (Size-Inverse Payoff, waarbij de totale beloning wordt gedeeld door het aantal agenten), worden algoritmen die per-agent optimaliseren (zoals IQL) afgeschrikt van het spawnen, zelfs als het gezamenlijk rendement stijgt. Algoritmen die gezamenlijk rendement optimaliseren (zoals VDN) vinden echter een balans en spawnen een optimaal aantal agenten (bijv. ~6 in Predator-Prey).
- Bij een grootte-constante beloning (Size-Constant Payoff), is er een sterke prikkel om te spawnen. Hierin presteren CTDE-methoden (Centralized Training, Decentralized Execution) zoals VDN en MAPPO beter dan DTDE-methoden (zoals IQL en PPO), omdat ze de externe effecten van spawnen beter kunnen internaliseren.
Adaptatie aan Taakvariabiliteit:
- In Predator-Prey, waar het aantal prooien varieert, leert het vloeibare team zijn populatiegrootte dynamisch aan te passen. Bij weinig prooien houden ze een kleine populatie om kosten te besparen; bij veel prooien vergroten ze de populatie om meer prooien te vangen. Vaste teams presteren suboptimaal omdat ze niet kunnen schalen.
Optimalisatie van Samenstelling:
- In LBF leerden agents niet alleen hoeveel agenten te spawnen, maar ook welk type. Ze leerden specifiek een level-2 agent te spawnen om de kosten te minimaliseren terwijl ze toch in staat waren het hoogste niveau voedsel te verzamelen.
Rijkere Beleidsruimte (PuddleBridge):
- Agents leerden om te schakelen tussen vloeibare en niet-vloeibare strategieën. Als de poort open was, gebruikten ze één agent (vloeibaar gedrag: niet spawnen). Als de poort gesloten was, spawnden ze een tweede agent om de modderpoel over te steken. Dit toont aan dat vloeibaarheid toegang geeft tot strategieën die in vaste populaties onmogelijk zijn.

4. Bijdragen en Significantie

Primaire Bijdragen:

Formalisatie: De eerste formele definitie van een "Fluid-Agent Environment" via het POFSG-model, inclusief bewijzen voor de existentie van NE en SPNE.
Framework: Een nieuw paradigma waarin agents zelf beslissen over de samenstelling van hun team, wat leidt tot endogene populatiedynamiek.
Benchmarks: Introductie van nieuwe varianten van bestaande benchmarks en een nieuwe omgeving (PuddleBridge) om deze dynamiek te evalueren.
Empirisch Bewijs: Aantonen dat MARL-algoritmen kunnen leren om teamgroottes dynamisch aan te passen aan omgevingsbehoeften en dat dit leidt tot superieure prestaties vergeleken met vaste populaties.

Significantie:
Dit werk is van groot belang voor het modelleren van complexe real-world systemen zoals biologische ecosystemen (celverdeling), economische netwerken (bedrijfsoprichting/overnames) en robotica-zwermen. Het toont aan dat het aannemen van een vast aantal agenten een beperkende factor is en dat het toestaan van dynamische populatieveranderingen leidt tot robuustere en efficiëntere multi-agent systemen die zich kunnen aanpassen aan onzekere en veranderende omstandigheden.

Toekomstig Werk:
De auteurs suggereren uitbreiding naar scenario's waarin agenten ook kunnen "sterven" (niet alleen spawnen) en het verder onderzoeken van de theoretische eigenschappen, zoals convergentievoorwaarden en sample-complexiteit in vloeibare systemen.