In de wereld van kunstmatige intelligentie is er een duidelijk onderscheid tussen een enkele briljante geest en een gecoördineerd team. Decennialang richtten onderzoekers zich op het aanleren aan één computer om een probleem op te lossen, zoals een grootmeester die schaak speelt of een robot die door een doolhof navigeert. Deze systemen leerden door middel van vallen en opstaan, waarbij ze hun acties aanpasten op basis van beloningen of straffen totdat ze een specifieke taak beheersten. De echte wereld presenteert echter zelden problemen die door een enkele actor in isolatie kunnen worden opgelost. Verkeersstromen, reddingsmissies en fabrieksvloeren omvatten vele onafhankelijke actoren die tegelijkertijd bewegen, waarbij elke beslissing de anderen beïnvloedt. Dit is het domein van multi-agent-systemen, waar het doel niet alleen individuele intelligentie is, maar collectieve samenwerking. De uitdaging ligt in het krijgen van deze onafhankelijke entiteiten om samen te werken zonder een centrale commandant die elke beweging dicteert, vooral wanneer de omgeving chaotisch is, de regels onduidelijk zijn en de belangen groot zijn.

Een nieuwe uitgebreide survey door onderzoekers Weiqiang Jin, Hongyang Du, Shixiang Tang, Biao Zhao en Guang Yang brengt het huidige landschap van dit complexe veld in kaart. De auteurs hebben de belangrijkste methoden verzameld en geanalyseerd die worden gebruikt om groepen kunstmatige agenten te leren hoe ze moeten samenwerken, variërend van rigide regelboeken tot flexibele, op leren gebaseerde strategieën. Hun werk dient als een gids door de verschillende instrumenten en omgevingen die wetenschappers gebruiken om deze ideeën te testen, van videogamesimulaties tot real-world toepassingen in autonoom rijden en rampenbestrijding. De survey benadrukt een significante verschuiving in de manier waarop deze systemen worden gebouwd. Terwijl oudere methoden vertrouwden op vooraf geprogrammeerde instructies of wiskundige modellen van competitie, omvatten de meest veelbelovende benaderingen nu agenten die leren van ervaring en, recenter nog, agenten die geavanceerde taalmodellen gebruiken om te redeneren en te communiceren zoals mensen dat doen.

De onderzoekers begonnen met het catalogiseren van de verschillende manieren waarop deze systemen zijn ontworpen. Ze identificeerden vijf hoofdcategorieën van besluitvorming. De eerste vertrouwt op vaste regels, waarbij agenten een strikte set instructies volgen, vergelijkbaar met een verkeerslicht dat op een tijdklok van kleur verandert. De tweede gebruikt speltheorie, waarbij interacties worden behandeld als strategische zetten waarbij agenten proberen de ander te slim af te zijn of samen te werken om tot een stabiele uitkomst te komen. De derde categorie maakt gebruik van evolutionaire algoritmen, die natuurlijke selectie nabootsen door veel variaties van een strategie te testen en de beste te behouden. Hoewel deze traditionele methoden nuttig zijn, stelt de survey vast dat ze vaak moeite hebben wanneer de omgeving snel verandert of wanneer het aantal agenten zeer groot wordt. Ze zijn als een rigide script dat niet kan aanpassen als de acteurs hun tekst vergeten of als het podium onverwacht verandert.

In contrast hiermee legt de survey de grootste nadruk op twee nieuwere, meer dynamische benaderingen: Multi-Agent Reinforcement Learning en Large Language Models. In Multi-Agent Reinforcement Learning leren agenten door te interageren met elkaar en hun omgeving. Ze beginnen niet met een handleiding; in plaats daarvan ontdekken ze effectieve strategieën door herhaalde pogingen, waarbij ze feedback krijgen of hun acties de groep hebben geholpen te slagen. De auteurs leggen uit hoe deze systemen worden getraind, vaak met een methode waarbij agenten samen oefenen in een centrale hub om de beste strategieën te leren, maar vervolgens onafhankelijk opereren in de echte wereld, waarbij ze alleen vertrouwen op wat ze kunnen zien en horen. Dit stelt hen in staat om te coördineren zonder een constante verbinding met een centraal brein nodig te hebben.

De tweede grote focus ligt op systemen die worden aangedreven door Large Language Models, dezelfde technologie achter moderne chatbots. Deze agenten gebruiken natuurlijke taal om taken te begrijpen, stappen te plannen en met elkaar te praten. In plaats van alleen te reageren op onmiddellijke beloningen, kunnen ze een complexe instructie lezen, deze opdelen in kleinere doelen en met hun teamgenoten overleggen over de beste manier om verder te gaan. De survey merkt op dat deze benadering bijzonder goed is in het afhandelen van taken die redeneren of begrip van context vereisen, zoals een team robots dat samenwerkt om een structuur te bous en een groep virtuele personages die een sociaal scenario uitspelen. De auteurs wijzen er echter ook op dat deze taalgebaseerde systemen nog in ontwikkeling zijn en voor uitdagingen staan bij het opschalen naar grote groepen zonder verward of inefficiënt te worden.

Om deze ideeën te testen, vertrouwen onderzoekers zwaar op simulatieomgevingen, die fungeren als digitale trainingsgronden. De survey beoordeelt de meest populaire van deze platforms, die variëren van eenvoudige deeltjessimulaties waarbij puntjes over een scherm bewegen tot complexe, realistische omgevingen zoals StarCraft II, een real-time strategisch spel dat wordt gebruikt om militaire coördinatie te testen. Deze omgevingen stellen wetenschappers in staat om scenario's te creëren die te gevaarlijk, te duur of te traag zouden zijn om in de echte wereld te testen. De auteurs benadrukken dat de keuze van de simulatie cruciaal is; een systeem dat goed werkt in een eenvoudige, gecontroleerde game, kan volledig falen in een rommelige, onvoorspelbare werkelijkheid. Ze benadrukken ook nieuwe platforms die specifiek zijn ontworft voor taalgebaseerde agenten, waar de focus ligt op communicatie en sociale interactie in plaats van alleen fysieke beweging.

Het artikel gaat vervolgens over praktische toepassingen, waarbij wordt getoond hoe deze theorieën worden toegepast op echte problemen. Bij autonoom rijden helpen multi-agent-systemen auto's om kruispunten te navigeren en snelwegen op te rijden door de acties van andere voertuigen te voorspellen. Bij rampenbestrijding kunnen teams van drones coördineren om grote gebieden af te zoeken naar overlevenden, waarbij ze informatie delen om het terrein efficiënter te dekken dan een enkele drone zou kunnen. In de landbouw kunnen robots samenwerken om gewassen te monitoren en middelen te beheren. De survey kijkt ook naar hoe deze systemen worden gebruikt in gaming en sociale simulaties, waar virtuele personages op een natuurlijke en responsieve manier met elkaar en met menselijke spelers interageren.

Ondanks deze vooruitgang identificeren de onderzoekers aanzienlijke hindernissen die blijven bestaan. Een grote uitdaging is het "niet-stationaire" karakter van multi-agent-omgevingen. Omdat elke agent tegelijkertijd leert en zijn gedrag verandert, is de omgeving voortdurend in beweging, wat het moeilijk maakt voor een enkele agent om te voorspellen wat er hierna zal gebeuren. Dit is als het leren van een dansroutine waarbij elke partner ter plekke nieuwe passen verzint. Een ander probleem is het "credit assignment"-probleem: wanneer een team slaagt of faalt, is het moeilijk te zeggen welke specifieke agent het meest heeft bijgedragen aan de uitkomst. Dit maakt het moeilijk om te weten welke gedragingen gestimuleerd en welke ontmoedigd moeten worden. Bovendien neemt de complexiteit van het coördineren van agenten exponentieel toe naarmate het aantal agenten groeit, wat de huidige rekenkracht vaak overbelast.

De survey behandelt ook de beperkingen van de nieuwe taalgebaseerde benaderingen. Hoewel deze agenten uitstekend zijn in redeneren en communicatie, kunnen ze soms "hallucineren", waarbij ze valse informatie genereren die zich door de groep verspreidt en leidt tot slechte beslissingen. Ze hebben ook moeite met taken die een nauwkeurig ruimtelijk bewustzijn of snelle fysieke reacties vereisen, gebieden waar traditionele leermethoden nog steeds uitblinken. De auteurs suggereren dat de toekomst ligt in het combineren van deze verschillende sterktes. Door het redeneervermogen van taalmodellen te integreren met het aanpassingsvermogen van reinforcement learning, hopen onderzoekers systemen te creëren die zowel slim als robuust zijn.

Vooruitblikkend schetsen de auteurs verschillende veelbelovende richtingen voor toekomstig onderzoek. Ze suggereren dat de volgende generatie multi-agent-systemen waarschijnlijk verschillende technieken zal mengen, waarbij taalmodellen worden gebruikt om agenten te helpen complexe instructies te begrijpen en langetermijndoelen te plannen, terwijl reinforcement learning wordt gebruikt om die plannen efficiënt uit te voeren. Ze zien ook een behoefte aan betere manieren om deze systemen te evalueren, waarbij de focus verschuift van eenvoudige succespercentages naar het meten van hoe goed agenten samenwerken, communiceren en zich aanpassen aan nieuwe situaties. Ten slotte raken ze aan de ethische overwegingen, waarbij ze opmerken dat naarmate deze systemen meer geïntegreerd raken in de samenleving, het waarborgen dat ze veilig, transparant en eerlijk zijn even belangrijk zal zijn als het maken van ze slim.

Deze survey beweert niet de problemen van multi-agent samenwerking te hebben opgelost. In plaats daarvan biedt het een heldere en gedetailleerde kaart van waar het veld zich vandaag de dag bevindt. Het laat zien dat hoewel we enorme vooruitgang hebben geboekt in het leren aan machines om samen te werken, er nog veel moet worden geleerd over hoe we deze teams betrouwbaar, schaalbaar en effectief kunnen maken in de rommelige realiteit van de menselijke wereld. Door de nieuwste methoden, omgevingen en toepassingen samen te brengen, bieden de auteurs een fundament voor de volgende golf van ontdekkingen, waarbij ze onderzoekers leiden naar een toekomst waarin kunstmatige agenten naadloos kunnen samenwerken om de complexe uitdagingen van onze tijd op te lossen.