In de nabije toekomst zullen de robots die we in onze huizen zien waarschijnlijk geen eenzame werkers zijn, maar teams. Net zoals mensen samenwerken om meubels te verplaatsen, een maaltijd te bereiden of een groot huis schoon te maken, zullen toekomstige kunstmatige intelligentiesystemen hun acties moeten coördineren om gezamenlijke doelen te bereiken. Dit vakgebied, bekend als embodied multi-agent planning, stelt een fundamentele vraag: hoe leren we machines om samen te werken zonder elkaar in de weg te zitten? Hoewel recente vooruitgang ervoor heeft gezorgd dat individuele robots afbeeldingen kunnen begrijpen en eenvoudige taken kunnen uitvoeren, introduceert de stap naar een groep robots die in dezelfde fysieke ruimte opereren een nieuwe laag van complexiteit. Het is niet genoeg dat elke robot weet wat hij moet doen; ze moeten ook weten wanneer ze het moeten doen, wie het moet doen en hoe ze objecten moeten overhandigen zonder een botsing of vertraging te veroorzaken.

Onderzoekers worstelen al lang met het meten van dit vermogen tot samenwerking. Bestaande tests richten zich vaak op de vraag of een team uiteindelijk een taak voltooit, waarbij het eindresultaat als de enige relevante metriek wordt beschouwd. Deze aanpak verbergt echter de rommelige realiteit van hoe het werk werd uitgevoerd. Een team kan per ongeluk slagen, of ze kunnen het doel bereiken nadat ze tijd hebben verspild, dezelfde acties hebben herhaald of de regels van de omgeving hebben genegeerd. Om dit op te lossen, heeft een team van wetenschappers van Nanjing University, AgiBot en Tsinghua University een nieuwe testomgeving geïntroduceerd genaamd CoCoBench. In plaats van alleen te vragen of een team een taak heeft voltooid, ontleedt deze benchmark de specifieke manieren waarop robots moeten coördineren, waarbij de kwaliteit van hun teamwork stap voor stap wordt gemeten.

De onderzoekers bouwden hun test binnen een geavanceerde computersimulatie van een huishouden, een digitale omgeving waar virtuele robots laden kunnen openen, objecten kunnen oppakken en rond kunnen bewegen. Ze creëerden bijna negenhonderd verschillende scenario's, elk ontworpen om de robots te dwingen te vertrouwen op een van vier specifieke soorten samenwerking. Het eerste type is taakallocatie, waarbij een groep moet beslissen hoe ze onafhankelijke taken verdelen, zoals één robot die kopjes sorteert terwijl een andere borden sorteert. Het tweede is sequentiële ordening, wat vereist dat robots een strikte tijdlijn volgen, zoals een kast openen voordat er items in worden geplaatst en de kast pas sluiten nadat alles is geplaatst. Het derde is wederzijdse uitsluiting, een scenario waarin meerdere robots een enkel gedeeld hulpmiddel moeten gebruiken, zoals een mes, waardoor ze om de beurt moeten werken. Het vierde is handoff-coördinatie, waarbij een robot een object aan een ander moet doorgeven via een tussenpunt, zoals een tafel, wat vereist dat ze hun bewegingen timen zodat de ontvanger klaar is wanneer het item arriveert.

Voor elk van deze scenario's hebben de onderzoekers niet simpelweg geregistreerd of de robots slaagden. Ze maten ook hoe goed de robots coördineerden. Ze volgden of het team tijd verspilde door twee keer hetzelfde werk te doen, of ze de noodzakelijke volgorde van stappen overtraden, of ze vochten om het gedeelde hulpmiddel, of ze elkaar lieten wachten. Dit stelde hen in staat om een succesvolle uitkomst te scheiden van een goed gecoördineerd proces. Een team kon de taak voltooien maar nog steeds een lage score krijgen als ze dat deden door de regels te negeren of door inefficiënt te werken.

Toen de onderzoekers elf van de meest geavanceerde kunstmatige intelligentiemodellen van vandaag testten, onthulde de resultaten een verrassende waarheid over machine-teamwork. De modellen die over het algemeen het beste presteerden, blonken niet noodzakelijkerwijs uit in elk type samenwerking. Sommige modellen waren uitstekend in het verdelen van taken, maar hadden grote moeite met het afwachten bij een gedeeld hulpmiddel. Anderen waren goed in het volgen van een reeks stappen, maar faalden wanneer ze een object aan een partner moesten doorgeven. Dit suggereert dat het vermogen om te coördineren geen enkele, algemene vaardigheid is die een robot wel of niet heeft; in plaats daarvan is het een verzameling van verschillende vaardigheden die apart ontwikkeld moeten worden.

De studie onderzocht ook hoe de robots communiceerden. Wanneer de onderzoekers de robots een centrale planner gaven die alles kon zien en het team kon aansturen, waren de resultaten aanzienlijk beter dan wanneer de robots beslissingen moesten nemen op basis van alleen wat ze zelf konden zien. Het toevoegen van een eenvoudig communicatiekanaal hielp de onafhankelijke robots, maar het sloof de kloof met de centrale planner niet volledig. Dit geeft aan dat de belangrijkste moeilijkheid voor deze systemen niet het zien van de wereld is, maar eerder het logisch plannen van de groepsacties. Sterker nog, toen de onderzoekers de visuele beelden uit de test verwijderden en de robots alleen tekstuele beschrijvingen van de situatie gaven, daalde hun prestatie niet veel. Dit suggere-ert dat de bottleneck niet ligt in het herkennen van objecten, maar in de hoogwaardige logica van het beheren van een team.

Toen de onderzoekers het aantal robots in een team vergrootten van twee naar drie en vervolgens naar vier, nam de moeilijkheid van de taak toe. Het succespercentage van de teams daalde naarmate er meer agenten werden toegevoegd, met name voor de kleinere, minder krachtige modellen. Dit laat zien dat het toevoegen van meer werkers een taak niet automatisch makkelijker maakt; het verhoogt de complexiteit van de vereiste coördinatie. De onderzoekers ontdekten dat hoewel de meest geavanceerde modellen relatief stabiel bleven, de zwakkere modellen aanzienlijk worstelden naarmate de teamgrootte groeide, waarbij ze vaak er niet in slaagden de planning binnen de toegestane tijd te voltooien of de regels van de simulatie te overtreden.

Misschien wel de meest cruciale bevinding was dat kijken naar enkel of een taak is voltooid, misleidend is. De onderzoekers ontdekten dat sommige modellen een hoog succespercentage behaalden door af te korten door de regels van coördinatie te schenden, zoals het grijpen van een hulpmiddel terwijl een andere robot het nog aan het gebruiken was, of het plaatsen van een object voordat de container open was. Deze teams bereikten het doel, maar deden dat door chaotisch en illegaal gedrag. Door een score te introduceren die de legaliteit en kwaliteit van de coördinatie mat, lieten de onderzoekers zien dat een team het spel kan "winnen" terwijl ze het slecht spelen. Dit onderscheid is essentieel voor het ontwikkelen van robots die veilig en efficiënt in echte huizen kunnen werken, waar het volgen van de regels van interactie even belangrijk is als het voltooien van de klus.

Het werk gepresenteerd in dit artikel beweert het probleem van robot-teamwork niet te hebben opgelost. In plaats daarvan biedt het een veel duidelijkere manier om te zien waar huidige systemen slagen en waar ze falen. Door coördinatie onder te verdelen in specifieke, meetbare delen, hebben de onderzoekers aangetoond dat het bouwen van een team van robots meer vereist dan alleen het slimmer maken van individuele agenten. Het vereist het ontwerpen van systemen die de specifieke eisen van het delen van ruimte, tijd en hulpmiddelen kunnen aan kunnen. Terwijl we bewegen naar een toekomst waarin machines naast ons werken, zal het begrijpen van deze nuances van samenwerking essentieel zijn om ervoor te zorgen dat ze dat doen zonder verwarring of conflict.