SyncPlan: Long-Horizon LLM Coordination with Explicit Synchronization and Adaptive Correction

Stel je een groep vrienden voor die samen een enorme, chaotische puzzel proberen op te lossen in een videogame. Ze hebben een gezamenlijk doel, zoals het verslaan van een baas of het bereiden van een complexe maaltijd, maar de spelwereld is onvoorspelbaar: vijanden duiken op, voorwerpen verdwijnen en teamgenoten kunnen vast komen te zitten. Om te slagen, moeten ze perfect coördineren. Dit is de wereld van Multi-Agent Coördinatie, een vakgebied waar computerwetenschappers kunstmatige intelligentie (AI)-agenten leren om als een team samen te werken.

Traditioneelely vertrouwen deze teams op twee hoofdstrategieën. De eerste is Reinforcement Learning (RL), waarbij agenten leren door middel van vallen en opstaan, zoals een hond die trucjes leert met beloningen. Het is snel en efficiënt, maar vereist vaak enorme hoeveelheden specifieke training voor slechts één spel, wat het moeilijk maakt om zich aan te passen aan nieuwe situaties. De tweede strategie maakt gebruik van Large Language Models (LLMs), dezelfde "breinachtige" AI die gedichten kan schrijven of met je kan chatten. Deze modellen zijn geweldig in het begrijpen van complexe instructies en het plannen, maar ze zijn traag. Een superintelligente AI vragen om over elke enkele beweging na te denken in real-time is alsof je een geniale chef-kok vraagt om voor elke snede met een mes een nieuw recept te schrijven — het duurt te lang, en tegen de tijd dat het recept geschreven is, is de ingrediënten al verbrand.

De grote vraag die onderzoekers proberen te beantwoorden is: Hoe krijgen we de slimme, flexibele planning van een taalmodel zonder de trage, logge snelheid die het nutteloos maakt in razendsnelle games?

Maak kennis met SyncPlan, een nieuw framework voorgesteld door onderzoekers van de City University of Hong Kong, Tencent en anderen. Denk aan SyncPlan als een "Plan-Execute-Correct"-systeem dat ontworpen is om de ultieme teamkapitein voor AI-agenten te zijn. In plaats van de AI constant te laten nadenken, vraagt SyncPlan de AI om in één keer een lang, gedetailleerd script (een "gezamenlijk plan") voor het hele team te schrijven. Dit script vertelt elke agent precies wat hij moet doen, wanneer hij moet bewegen en, cruciaal, wanneer hij moet wachten.

Hier wordt het slim. In het verleden, als een AI-team van plan was om "samen de baas aan te vallen", kon de ene agent er al in stormen terwijl de andere nog aan het lopen was, wat tot een ramp leidde. SyncPlan lost dit op met Expliciete Synchronisatie. Het gebruikt speciale "wacht"-commando's, zoals een verkeerslicht, die een agent dwingen te pauzeren totdat een teamgenoot arriveert of een vijand op de juiste plek staat. Dit verandert vage ideeën zoals "samenwerken" in strikte, machineleesbare regels die voorkomen dat het team over elkaar struikelt.

Maar wat als het spel verandert? Wat als de baas plotseling wegrent? Als het team blindelings het oude script volgt, falen ze. SyncPlan heeft een geheim wapen: een lichtgewicht Plan Staleness Detector (PSD). Stel je een waakzame spotter voor die aan de zijlijn staat. Deze spotter controleert constant de spelstatus tegenover het huidige plan. Als de spotter ziet dat het plan niet langer geldig is (bijv. de baas is weg), signaleert het onmiddellijk de "kapitein" (de LLM) om een nieuw script te schrijven. Als het plan nog steeds goed is, blijft de spotter stil en blijft het team zonder onderbreking doorgaan. Dit betekent dat het systeem alleen de trage, denkende AI oproept wanneer dat absoluut noodzakelijk is, wat enorme hoeveelheden tijd bespaart.

De onderzoekers testten dit systeem in twee zeer verschillende werelden: Overcooked, een chaotisch kookspel waarbij twee agenten soep moeten bereiden, en Honor of Kings, een complexe 5-tegen-5 battle arena game. De resultaten waren indrukwekkend. In het kookspel slaagde SyncPlan vaker in taken dan eerdere methoden, terwijl het minder dan 0,05% van de tijd gebruikte die die andere methoden nodig hadden. In de battle arena behaalde het een succespercentage van 86,3%, waarmee het de op één na beste methode met een ruime marge versloeg en 26 keer sneller was.

Het artikel suggereert dat deze aanpak werkt omdat het het zware denken (plannen) scheidt van de snelle actie (uitvoeren). Door gebruik te maken van Supervised Fine-Tuning (SFT) om de AI te leren hoe ze deze gestructureerde scripts schrijft en Reinforcement Learning (RL) om ze te verfijnen op basis van feedback uit het echte spel, leert het systeem zowel slim als snel te zijn. De auteurs ontdekten dat zonder de "spotter" (de PSD), het team vaak vastliep of slechte plannen volgde, en zonder de "wacht"-commando's, ze tegen elkaar aan botsten en faalden.

Kortom, SyncPlan probeert de AI niet sneller te laten denken; het laat de AI slimmer denken door vooruit te plannen, te wachten op het juiste moment en alleen opnieuw te denken wanneer de wereld verandert. Het is een verschuiving van constant vragen "Wat moet ik doen?" naar "Hier is het plan, en hier is precies wanneer ik het moet veranderen," waardoor een groep trage, slimme denkers verandert in een snel, gesynchroniseerd team.