Parallelized Planning-Acting for Efficient LLM-based Multi-Agent Systems in Minecraft

Dit artikel introduceert een nieuw raamwerk voor LLM-gestuurde multi-agent systemen in Minecraft dat door middel van een parallelle planning-actie-architectuur met onderbrekbare uitvoering de beperkingen van traditionele seriële methoden overwint en zo de real-time responsiviteit in dynamische omgevingen aanzienlijk verbetert.

De kern

Stel je voor dat je een groep vrienden hebt die samen een enorme, levende wereld in een computerspel (Minecraft) moeten verkennen en bouwen. In het verleden deden deze 'AI-vrienden' (robots die door een slimme taalcomputer worden aangestuurd) alles heel langzaam en stap-voor-stap.

Het oude probleem: De "Wacht-lijst"
Vroeger moest een robot eerst denken (plannen), dan wachten tot het denken klaar was, en pas daarna doen (handelen).

• Analogie: Stel je voor dat je een kok bent die een groot diner moet maken. Maar je mag pas beginnen met snijden als je de hele receptuur uit je hoofd hebt opgeschreven. En terwijl je wacht, staat de pan met water al aan het koken en verdampt het water! Als er plotseling een gast binnenkomt die een andere taak vraagt, kun je niet snel reageren omdat je vastzit aan je "denkproces". In een dynamische wereld als Minecraft, waar monsters aanvallen en de omgeving verandert, is dit veel te traag.

De nieuwe oplossing: "Twee hersenen, één lichaam"
De auteurs van dit paper hebben een slimme truc bedacht: Parallel Planning-Acting. Ze hebben het systeem opgesplitst in twee aparte "draden" (threads) die tegelijkertijd werken, net als een mens die kan lopen en tegelijkertijd nadenken over waar hij naartoe gaat.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Twee Draden (Het Brein en de Spieren)

Het systeem heeft nu twee teams die samenwerken:

• Het Denk-team (Planning Thread): Dit is de strateeg. Hij kijkt continu naar de wereld, leest wat de anderen zeggen en bedenkt nieuwe plannen. Hij werkt als een chef die voortdurend de recepten aanpast. Als hij ziet dat een monster naderbij komt, schreeuwt hij direct: "Stop met bouwen, ga vechten!"
• Het Doen-team (Acting Thread): Dit is de uitvoerder. Hij heeft een enorme gereedschapskist vol met vaardigheden (zoals "hout hakken", "zwaard zwaaien", "koken"). Hij voert de taken uit die het Denk-team heeft opgegeven.

De magische knop: De "Interrupt" (Onderbreking)
Dit is het belangrijkste nieuwe idee. In het oude systeem moest een robot een taak afmaken voordat hij kon stoppen. In dit nieuwe systeem kan het Denk-team op elk moment een rode knop indrukken.

• Analogie: Stel je voor dat je een auto rijdt (het Doen-team) en je navigatie (het Denk-team) ziet plotseling een ongeluk op de route. In het oude systeem zou de auto eerst de hele route moeten afleggen voordat hij stopte. In dit nieuwe systeem schreeuwt de navigatie: "STOP NU!" en de auto remt direct af en slaat een andere kant op, terwijl de motor nog draait.

2. De Centrale Geheugenbank (Het Gemeenschappelijk Notitieblok)

Alle robots schrijven hun gedachten en wat ze zien in één groot, gedeeld notitieblok (Centraal Geheugen).

• Vroeger: Als robot A iets zag, wist robot B dat pas nadat robot A zijn hele taak had afgerond. Dat was te laat.
• Nu: Robot A schrijft direct in het notitieblok: "Ik zie een draak!" Robot B leest dit direct mee en kan direct zijn plan aanpassen. Het is alsof een hele groep vrienden in één kamer zit en direct kan roepen wat ze zien, in plaats van brieven te schrijven die dagen duren om aan te komen.

3. De Slimme Gereedschapskist (Recursieve Taakopdeling)

De robots hebben een enorme lijst met vaardigheden. Maar het slimme is dat ze niet elke kleine stap hoeven te plannen.

• Analogie: Als je zegt "Maak een diamanten zwaard", hoeft de robot niet te denken: "Eerst gras maaien, dan steen hakken, dan ijzer smeden...".
• De robot heeft een automatische instructieboekje. Hij weet: "Om een diamanten zwaard te maken, heb ik eerst een diamanten hamer nodig. Om die te maken, heb ik diamanten nodig..." Hij breekt de grote taak automatisch op in kleine stukjes, zonder dat de "Denk-robot" elke stap hoeft te bedenken. Dit bespaart enorm veel tijd.

Waarom is dit belangrijk?

In de test met Minecraft (een spel met een wereld die nooit stilstaat) bleek dit systeem veel beter te zijn dan de oude methoden:

• Sneller: Ze kunnen tegelijk denken en doen.
• Flexibeler: Als er iets onverwachts gebeurt (een aanval, een val), kunnen ze direct stoppen met wat ze deden en een nieuwe strategie kiezen.
• Beter samenwerken: Omdat ze alles direct delen, werken ze als één goed geoliede machine in plaats van als losse, trage eenheden.

Kort samengevat:
De auteurs hebben een manier bedacht om AI-agenten te laten werken zoals een goed getraind sportteam: ze denken en bewegen tegelijkertijd, reageren direct op de situatie, en delen informatie direct met elkaar. Geen wachten meer, maar direct actie!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Parallelized Planning-Acting for Multi-Agent LLM Systems in Minecraft", vertaald en samengevat in het Nederlands.

Titel: Parallelized Planning-Acting voor Multi-Agent LLM-systemen in Minecraft

Auteurs: Yaoru Li, Shunyu Liu, Tongya Zheng, Li Sun, Mingli Song (Zhejiang University, Nanyang Technological University, Hangzhou City University).

---

1. Het Probleem

Bestaande frameworks voor Multi-Agent Systemen (MAS) gebaseerd op Large Language Models (LLM's) lijden onder fundamentele beperkingen in dynamische omgevingen zoals Minecraft:

• Gesequencialiseerde Executie: De meeste systemen volgen een "plannen-voordat-acteren"-paradigma. Agenten moeten wachten tot de LLM een volledig plan heeft gegenereerd voordat ze een actie uitvoeren. Dit creëert een bottleneck voor real-time responsiviteit.
• Gebrek aan Adaptiviteit: Omdat agenten vaak een actie tot voltooiing uitvoeren zonder onderbreking, kunnen ze niet snel reageren op onverwachte veranderingen in de omgeving of nieuwe informatie van andere agenten.
• Vertraging in Geheugendeling: Updates van waarnemingen en teamcommunicatie worden vaak pas verwerkt nadat een actie voltooid is. Dit leidt tot het werken met verouderde informatie, wat de coördinatie binnen het team belemmert.
• Onhaalbaarheid in Real-time: In een echte dynamische omgeving (waar andere agenten blijven handelen) is het niet mogelijk om de game-server te pauzeren tijdens het plannen, zoals sommige eerdere methoden (bijv. Voyager) deden.

2. Methodologie

De auteurs stellen een nieuw geparalleldiseerde plannen-acteren framework voor met een dual-thread architectuur (twee draden) en een onderbreekbaar uitvoeringsmechanisme.

A. Dual-Thread Architectuur

Het systeem splitst de taken van elke agent op in twee onafhankelijke, asynchrone draden die via een gedeelde actiebuffer communiceren:

1. Planning Thread (LLM-gedreven):
   • Monitort continu de omgeving en teamcommunicatie.
   • Genereert nieuwe actievoorstellen op basis van observaties, chatlogs en de huidige actie.
   • Kan een onderbrekingsvlag (interrupt flag) meegeven. Als deze vlag actief is, wordt de huidige actie van de acting thread onmiddellijk stopgezet en vervangen door het nieuwe plan.
   • Dit zorgt voor hoge frequentie van herplanning zonder de uitvoering te blokkeren.
2. Acting Thread (Vaardigheids-gedreven):
   • Voert acties uit via een uitgebreide vaardigheidsbibliotheek.
   • Controleert periodiek de actiebuffer. Als er een nieuwe actie is (of een onderbrekingssignaal), wordt de huidige taak gestopt en de nieuwe uitgevoerd.
   • Dit zorgt voor reactief gedrag in plaats van starre uitvoering.

B. Gecentraliseerd Geheugensysteem

Om coördinatie te verbeteren, wordt een centraal geheugen gebruikt dat drie componenten bevat:

• Observatie Records: Wordt elke seconde geüpdatet (polling) met de status van alle agenten en de omgeving.
• Chat Logs: Bevat zowel passieve updates (geautomatiseerd na plannen) als actieve berichten (door agenten gestuurd tijdens acties).
• Actiegeschiedenis: Houdt bij wat elke agent doet, zodat de planner kan beslissen of een actie moet worden onderbroken.
  Dit systeem minimaliseert de latentie bij het delen van informatie, zodat agenten altijd werken met de meest recente teamkennis.

C. Uitgebreide Vaardigheidsbibliotheek met Recursieve Taakdecompositie

De acting thread maakt gebruik van een bibliotheek gebaseerd op Mineflayer, die een recursieve taakdecompositie implementeert:

• Complexe taken (bijv. "maak diamanten harnas") worden automatisch ontbonden in een gericht acyclisch graf (DAG) van voorwaardelijke taken (bijv. "min erts" -> "smelt" -> "maak gereedschap").
• De LLM hoeft alleen de hoogste niveau-taak te specificeren; het systeem lost automatisch alle prerequisite-afhankelijkheden op.
• Dit vermindert het aantal LLM-aanroepen aanzienlijk en verhoogt de efficiëntie.

3. Belangrijkste Bijdragen

1. Geparalleldiseerde Planning-Acting Framework: Een architectuur die plannen en acteren ontkoppelt in twee draden met onderbreekbare uitvoering, wat een paradigmaverschuiving is van gesequencialiseerde deliberatie naar parallelle interactie.
2. Gecentraliseerd Geheugen: Een systeem dat real-time updates van observaties en communicatie garandeert, waardoor agenten kunnen reageren op dynamische veranderingen zonder vertraging.
3. Recursieve Taakdecompositie: Een geautomatiseerd mechanisme dat complexe taken ontbindt via een DAG, waardoor agenten duizenden items kunnen verzamelen en maken zonder dat de LLM elke stap handmatig moet plannen.
4. Empirische Validatie: Uitgebreide experimenten in Minecraft tonen aan dat dit framework superieur is aan bestaande methoden in termen van efficiëntie, coördinatie en aanpassingsvermogen.

4. Resultaten

De auteurs testten het framework op drie soorten taken in Minecraft:

• Resource Collection (Hulpbronnen verzamelen):
  • De multi-agent systemen (3 agenten) waren aanzienlijk sneller dan single-agent baselines bij het verzamelen van complexe items (zoals diamanten harnas en redstone-apparatuur).
  • De recursieve decompositie bleek essentieel; zonder deze konden agenten complexe taken niet voltooien.
• Boss Combat (Baasgevechten):
  • Het framework slaagde erin om krachtige bossen (Elder Guardian, Wither, Ender Dragon) te verslaan met hoge succespercentages.
  • Agenten konden dynamisch strategieën aanpassen (bijv. stoppen met aanvallen als de Wither immuun werd voor afstandsaanvallen).
• Adversarial PVP (PvP):
  • In directe gevechten (2v2, 3v3) presteerde het geparalleldiseerde framework significant beter dan een gesequencialiseerd framework.
  • De onderbrekingsmechanisme bleek cruciaal: agenten konden direct van doel wisselen of prioriteit geven aan gezondheidsherstel, wat leidde tot een hogere overwinningsscore.
• Ablatie Studies:
  • Het verwijderen van de parallelle architectuur of het centrale geheugen resulteerde in een drastische daling van de prestaties.
  • Het systeem bleek robuust voor schaalvergroting (tot 50 agenten) en verschillende modaliiteiten (tekst vs. visueel), hoewel visuele input iets meer latentie introduceerde.

5. Betekenis en Conclusie

Dit paper presenteert een doorbraak in het veld van LLM-gestuurde Multi-Agent Systemen voor dynamische omgevingen.

• Real-time Responsiviteit: Door plannen en acteren te paralleliseren, overwint het systeem de latentieproblemen van traditionele LLM-agenten.
• Schaalbaarheid en Efficiëntie: De recursieve taakdecompositie verlaagt de kosten van LLM-aanroepen en maakt complexe, langdurige taken haalbaar.
• Toepasbaarheid: Hoewel getest in Minecraft, is de architectuur (dual-thread, onderbrekbare uitvoering, DAG-gebaseerde decompositie) generaliseerbaar naar andere complexe, dynamische domeinen waar snelle reactie en samenwerking essentieel zijn.

De studie bewijst dat het loskoppelen van "denken" (planning) en "doen" (actie) in combinatie met een gedeeld, real-time geheugen de sleutel is tot succesvolle autonome agenten in open werelden.