In het uitgestrekte landschap van kunstmatige intelligentie is er een specifieke hoek gewijd aan het leren van machines hoe ze met elkaar kunnen interageren. Dit vakgebied, bekend als multi-agent reinforcement learning, stelt een eenvoudige maar diepgaande vraag: hoe krijgen we meerdere intelligente systemen om samen te leren zonder elkaar gek te maken? Stel je een kamer vol studenten voor die tegelijkertijd een wiskundig probleem proberen op te lossen. Als elke student elke seconde zijn strategie verandert op basis van wat anderen doen, wordt het klaslokaal een chaotisch bewegend doelwit. Niemand kan een stabiel antwoord vinden omdat de grond onder hun voeten voortdurend verschuift. In de speltheorie is het doel om een staat van evenwicht te bereiken waarin geen enkele speler een prikkel heeft om zijn zet te veranderen, een concept dat bekend staat als een Nash-evenwicht. Echter, wanneer de acties die beschikbaar zijn voor deze spelers niet slechts een paar eenvoudige keuzes zijn, maar een continue stroom van mogelijkheden — zoals beslissen over exact hoeveel men moet produceren of hoeveel geld men moet uitgeven — wordt de wiskunde ongelooflijk moeilijk. Standaardmethoden falen hier vaak, waardoor de agenten wild oscilleren of vastlopen in lussen, waarbij ze nooit dat stabiele punt van overeenstemming vinden.

Een onderzoeker genaamd Marvin Bongiovi van de Technische Universiteit van Dortmund heeft een nieuwe manier voorgesteld om door deze chaos te navigeren. In een studie gepubliceerd aan het eind van 2026, introduceert hij een algoritme genaamd Deep Regret Actor-Critic, of DRAC. In plaats van te proberen de onmiddellijke beloning voor elke agent te maximaliseren, wat vaak tot instabiliteit leidt, leert deze nieuwe methode de agenten om hun "regret" (spijt) te minimaliseren. In gewone taal is regret het gevoel dat je een betere uitkomst hebt gemist omdat je voor een andere actie hebt gekozen. Door het systeem te trainen om ervoor te zorgen dat geen enkele speler aanzienlijk beter had kunnen presteren door alleen van gedachten te veranderen, begeleidt het algoritme de groep naar een stabiel, onuitbuitbaar evenwicht. De resultaten zijn opmerkelijk: in complexe economische simulaties met continue beslissingen vond deze nieuwe aanpak consequent de exacte wiskundige oplossing waar oudere methoden moeite mee hadden, wat bewijst dat focussen op wat gemist is een betrouwbaardere weg naar overeenstemming is dan focussen op wat gewonnen is.

Om te begrijpen waarom dit ertoe doet, moet men eerst de aard van het probleem begrijpen waar deze agenten voor staan. In veel scenario's uit de echte wereld, van markten tot wedstrijden, nemen spelers beslissingen in een sequentie, en de beste zet hangt volledig af van wat anderen doen. Als een agent probeert te leren door simpelweg te reageren op de huidige beloningen, is dat als het proberen te raken van een bewegend doelwit terwijl het doelwit ook probeert te ontwijken. De omgeving is niet-stationair, wat betekent dat deze verandert naarmate de leraren veranderen. Traditionele algoritmen falen vaak omdat ze de andere spelers behandelen als onderdeel van de statische omgeving, om vervolgens verrast te worden wanneer die spelers hun strategieën bijwerken. Dit leidt tot een cyclus van adaptatie waarbij niemand zich ooit echt neerlegt. Hoewel sommige eerdere methoden hebben geprobeerd dit op te lossen door naar de gehele spelboom te kijken of door complexe potentiaalfuncties te gebruiken, worstelen zij vaak met de enorme schaal van continue acties of vereisen zij gespecialiseerde training die niet goed schaalbaar is.

Bongiovi's oplossing, DRAC, hanteert een andere structurele aanpak. Het opereert onder een raamwerk waarbij de agenten gezamenlijk worden getraind op een gecentraliseerde manier, maar nog steeds onafhankelijk kunnen handelen. De kerninnovatie ligt in de manier waarop het succes evalueert. In plaats van te vragen: "Heb ik een hoge score behaald?", vraagt het systeem: "Had ik het beter kunnen doen als ik anders had gekozen, terwijl iedereen precies hetzelfde deed als voorheen?" Om dit te beantwoorden, gebruikt het algoritme een slimme truc. Het bevriest de acties van alle andere spelers en beproeft vervolgens een breed scala aan alternatieve zetten voor de individuele agent in kwestie. Het berekent wat de beloning zou zijn geweest voor elk van deze hypothetische alternatieven. Door de werkelijke uitkomst te vergelijken met de best mogelijke uitkomst uit deze steekproeven, berekent het systeem een precieze maatstaf van regret. Dit proces creëert een stabiel doelwit voor het leeralgoritme om naar te streven, omdat de "best mogelijke uitkomst" wordt berekend tegenover een vaste set acties van tegenstanders, waardoor het probleem van het bewegende doelwit wordt weggenomen.

Het algoritme gebruikt een duaal-hoofd neuraal netwerk om deze taak uit te voeren. Eén deel van het netwerk voorspelt de best mogelijke nut die een agent kan bereiken tegen de vaste acties van anderen, terwijl het andere deel het werkelijke nut van de uitgevoerde actie voorspelt. Het verschil tussen deze twee voorspellingen is de regret. Het systeem past vervolgens de strategie van de agent aan om deze regret te minimaliseren. Als de regret hoog is, betekent dit dat de agent een betere kans heeft gemist, en de strategie wordt bijgesteld om die fout de volgende keer te vermijden. Als de regret nul is, betekent dit dat de agent optimaal speelt gegeven wat iedereen anders doet. Door deze regret over alle agenten tegelijkertijd te minimaliseren, convergeert het systeem van nature naar een staat waarin niemand zijn strategie wil veranderen, wat de definitie is van een Nash-evenwicht.

Om dit idee te testen, liet de onderzoeker twee verschillende simulaties draaien. De eerste was een sequentiële Cournot-oligopolie, een klassiek economisch model waarbij meerdere bedrijven concurreren door te beslissen hoeveel van een product ze produceren. In dit scenario hangt de marktprijs af van de totale hoeveelheid die door alle bedrijven wordt geproduceerd. De onderzoekers zetten een markt op met drie bedrijven die concurreerden over vijf ronden, met de mogelijkheid om elke hoeveelheid binnen een continu bereik te produceren. Ze vergeleken het nieuwe DRAC-algoritme met een gevestigde methode genaamd MADDPG. De resultaten toonden aan dat DRAC superieur was. Na 200.000 trainingscycli week de strategie van het DRAC-algoritme slechts ongeveer 1,1 procent af van de perfecte theoretische oplossing. In contrast week de oudere methode bijna 2 procent af. Belangrijker nog, de maatstaf van "exploitability" — hoeveel een speler kan winnen door zijn strategie te veranderen — was aanzienlijk lager voor DRAC, rond de 0,000137, vergeleken met 0,000427 voor de andere methode. Dit geeft aan dat het nieuwe algoritme niet alleen het juiste antwoord vond, maar dit ook met een veel hogere mate van stabiliteit deed.

Het tweede experiment betrof een sequentiële proportionele prijswedstrijd, een dynamisch probleem van middelenallocatie. Hierin concurreren twee spelers over meerdere ronden om een prijs te winnen, maar ze moeten een deel van hun budget uitgeven om dit te doen. De prijs wordt verdeeld op basis van hoeveel elke speler uitgeeft relatief aan het totaal. Deze opzet vereist dat spelers vooruitdenken, waarbij ze een balans zoeken tussen hoeveel ze nu uitgeven en hoeveel ze later in de ronden moeten bewaren. De onderzoekers simuleerden deze wedstrijd over vijf stadia met een specifieke regel voor hoe het budget slinkt. Opnieuw werd het DRAC-algoritme afgezet tegen de standaardmethode. De resultaten waren consistent met het eerste experiment. DRAC bereikte een afwijking van de theoretische perfecte strategie van slechts 3,0 procent, terwijl de standaardmethode achterbleef op 6,3 procent. De exploitability voor DRAC was ook veel lager, namelijk 0,000745 vergeleken met 0,00248 voor de concurrent. Deze cijfers bevestigen dat de regret-minimalisatie aanpak effectief is, zelfs in dynamische, meerfasige spellen waarbij spelers voor de toekomst moeten plannen.

Het succes van deze aanpak berust op een specifiek inzicht: door de focus te verleggen van het maximaliseren van beloningen naar het minimaliseren van regret, omzeilt het algoritme de instabiliteit die andere methoden teistert. In standaard multi-agent learning kan het als één agent een fout maakt, de leerprocessen van alle anderen ontregelen, wat een cascade van fouten creëert. DRAC vermijdt dit door de "wat als"-scenario's te berekenen tegenover de vaste acties van tegenstanders. Dit ontkoppelt de evaluatie van de chaotische updates van de andere spelers, wat een kalm, stationair landschap creëert voor het leerproces. Het algoritme zegt in essentie: "Negeer wat de anderen op dit moment doen; kijk alleen naar wat je beter had kunnen doen tegenover wat zij deden." Deze eenvoudige verschuiving stelt het systeem in staat om zijn updates te coördineren zonder in de valstrik van collusie te vallen, waarbij agenten per ongeluk kunnen leren samenwerken op een manier die het algemene evenwicht schaadt.

Hoewel de resultaten indrukwekkend zijn, erkent het artikel bepaalde beperkingen. De methode vertrouwt op sampling om de best mogelijke alternatieve acties te vinden. In de vloeiende, voorspelbare omgevingen van de Cournot-markt en de prijswedstrijd werkte dit perfect. Echter, in spellen met zeer complexe of grillige beloningslandschappen, kan de sampling de werkelijk beste zet missen. Daarnaast vereist het algoritme een model van de omgeving om deze hypothetische uitkomsten te simuleren. In een videogame of een simulatie is dit eenvoudig, maar in een real-world "black box"-situatie waar de regels onbekend zijn, zou het systeem een manier nodig hebben om de resultaten van acties te voorspellen die het nog niet heeft uitgevoerd. Ondanks deze beperkingen toont de studie een belangrijke stap voorwaarts. Het laat zien dat continue, multi-agent spellen met hoge precisie kunnen worden opgelost door agenten te leren achterom te kijken naar hun gemiste kansen in plaats van vooruit naar hun potentiële winsten.

De implicaties van dit werk reiken verder dan de specifieke spellen die zijn getest. Het vermogen om een Subgame-Perfect Nash-evenwicht te benaderen — een staat waarin spelers optimale beslissingen nemen in elke fase van een spel, en niet alleen aan het begin — is een grote hindernis in kunstmatige intelligentie. Door te bewijzen dat regret-minimalisatie het leren kan stabiliseren, opent dit onderzoek de deur naar robuustere multi-agent systemen in economie, verkeersmanagement en middelenverdeling. De auteur suggereert dat dit raamwerk uiteindelijk kan worden aangepast voor spellen met imperfecte informatie, waarbij spelers niet alles weten over de staat van de wereld, en voor discrete spellen waarbij spelers kiezen uit een reeks afzonderlijke opties. Voor nu staat de studie als een duidelijk bewijs dat soms de beste manier om vooruit te gaan, is door zorgvuldig te analyseren wat je anders had kunnen doen.