EmCoop: A Framework and Benchmark for Embodied Cooperation Among LLM Agents

Probleemstelling

De realiteit vereist steeds vaker dat meerdere geëmbodide agenten (robots of software-agenten met een fysieke of virtuele aanwezigheid) samenwerken in dynamische omgevingen. Veel taken overstijgen de capaciteiten van een enkele agent en vereisen communicatie en coördinatie onder beperkingen zoals gedeeltelijke waarneembaarheid, beperkte middelen en asynchrone uitvoering.

Hoewel Large Language Models (LLM's) krachtige cognitieve vaardigheden bieden voor redeneren en plannen, ontbreekt het aan systematische methoden om te analyseren hoe samenwerking tot stand komt, hoe deze zich ontvouwt en waarom deze faalt in geëmbodide multi-agent systemen (MAS). Bestaande benchmarks focussen vaak op:

1. Enkel-agent taken.
2. Vereenvoudigde multi-agent settings die de realistische dynamiek van samenwerking missen.
3. Resultaatgerichte evaluatie (slaagde de taak wel of niet?), in plaats van het analyseren van het proces van samenwerking zelf.

De kernuitdagingen zijn:

• Cognitief-geëmbodide gronding: Hoe koppelt men hoog-niveau cognitieve beslissingen (plannen, communicatie) aan laag-niveau fysieke uitvoering?
• Zichtbaarheid van samenwerking: Hoe maakt men samenwerking transparant, interpreteerbaar en kwantificeerbaar, los van het uiteindelijke succes?

Methodologie: Het EmCoop Framework

EmCoop introduceert een unificerend raamwerk dat samenwerking in LLM-gebaseerde geëmbodide systemen analyseert door een strikte scheiding en koppeling tussen twee lagen te maken:

1. Dual-Layer Interface (Twee-laags interface):

   • Cognitieve Laag (High-level): Hier voeren LLM-agenten symbolisch redeneren, plannen en communicatie uit. Ze opereren op een "cognitieve klok" ($\hat{t}$) die asynchroon is.
   • Geëmbodide Laag (Low-level): Hier worden primitieve acties uitgevoerd in de omgeving onder fysieke en temporele beperkingen. Dit volgt een "omgevingsklok" ($t$).
   • Multi-Agent Environment Interaction Loop (MAEIL): Dit is het mechanisme dat deze twee lagen koppelt. Agenten wisselen tussen staten zoals Reasoning (R), Execution (X), Waiting (W) en Interrupted (I). De loop zorgt ervoor dat cognitieve plannen worden "gegronden" in sequenties van primitieve acties die de omgeving veranderen.

2. Coöperatieve Taakontwerp:
   Taken worden gedefinieerd als tijdsverlengde processen waarbij voortgang afhangt van gezamenlijke constraint-satisfactie. De auteurs definiëren specifieke coöperatieve constraints:

   • Temporeel ($C_{\Delta t}$): Taken moeten binnen een tijdvenster worden voltooid.
   • Ruimtelijk ($C_{\Delta \ell}$): Agenten moeten zich op specifieke locaties bevinden.
   • Deelname ($C_n$): Een minimumaantal agenten met specifieke vaardigheden moet betrokken zijn.
   • Afhankelijkheid ($C_d$): Voorwaarde voor andere taken of omgevingscondities.

3. Procesniveau-metrics:
   In plaats van alleen te kijken naar taakslagen, introduceert EmCoop metrics om de kwaliteit van samenwerking te meten:

   • Beslissingskosten (Decision Overhead): Hoeveel cognitieve inspanning en wachttijd is nodig?
   • Communicatielast: Aantal berichten en efficiëntie van uitwisseling.
   • Planningsdynamiek: Stabiliteit van plannen, frequentie van onderbrekingen en replanning.
   • Constraint-satisfactie: Welke specifieke coöperatieve constraints worden geschonden en wanneer?

Belangrijkste Bijdragen

1. Het EmCoop Benchmark Framework: Een modelvrij, schaalbaar systeem dat samenwerking in twee verschillende omgevingen implementeert: MA-Crafter (een uitbreiding van Crafter voor multi-agent resource gathering) en CUBE (een omgeving voor het gezamenlijk duwen van blokken).
2. Formalisatie van de Interactie: Een formele specificatie van de MAEIL die cognitieve traces koppelt aan geëmbodide uitkomsten, waardoor attributie van fouten mogelijk wordt.
3. Gedetailleerde Metrics Suite: Een set van metrics die samenwerking diagnoseert op basis van communicatie-efficiëntie, coördinatiestructuur en faalmodi, onafhankelijk van het specifieke LLM-model.
4. Empirische Analyse: Uitgebreide experimenten die inzicht geven in hoe communicatietopologieën (Individueel, Debate, Gecentraliseerd, Gedecentraliseerd) en teamgroottes de samenwerking beïnvloeden.

Resultaten en Experimentele Bevindingen

De auteurs hebben experimenten uitgevoerd met verschillende LLM's (GPT-5.2 en DeepSeek-V3.2) en teamgroottes (2 en 3 agenten) onder verschillende moeilijkheidsgraden.

• Invloed van Communicatietopologie:
  • Gecentraliseerd (Centralized): Bereikt over het algemeen de hoogste plancoherentie (agenten zijn beter op elkaar afgestemd), maar kan leiden tot redundantie en hogere communicatiekosten.
  • Individueel (Individual): Toont de hoogste planstabiliteit en de laagste beslissingskosten omdat er geen communicatie is, maar faalt vaak bij complexe taken die samenwerking vereisen.
  • Gedecentraliseerd (Decentralized) & Debate: Deze topologieën leiden tot de hoogste communicatielast en vaak lagere coherentie, omdat agenten elkaar vaak tegenspreken of verschillende plannen volgen.
• Falen van Samenwerking (RQ2):
  • Bij toenemende taakmoeilijkheid (Hard) breken coöperatieve constraints vaker. Agenten slagen er vaak niet in om de deelnemingsconstraints (voldoende agenten op de juiste plek) te vervullen.
  • Fouten treden vaak op door ruimtelijk-temporele misalignement: agenten arriveren op verschillende tijdstippen of voeren incompatibele acties uit.
• Feedback (RQ3):
  • Het introduceren van expliciete feedback over geschonden constraints (bijv. "je hebt niet genoeg agenten") helpt agenten om hun plannen aan te passen en verbetert de prestaties aanzienlijk in moeilijke settings.
• Schaalbaarheid: Het framework schaalbaar naar willekeurige aantallen agenten en toont aan dat samenwerking dynamieken niet lineair zijn; wat werkt voor 2 agenten, faalt vaak bij 3 zonder aanpassing van de communicatiestrategie.

Betekenis en Impact

EmCoop is een mijlpaal in het onderzoek naar multi-agent systemen omdat het de focus verschuift van "wat is het resultaat?" naar "hoe werkt de samenwerking?".

• Transparantie: Het maakt het "black box"-gedrag van LLM-agenten in samenwerking zichtbaar en auditabel.
• Diagnostiek: Het stelt onderzoekers in staat om precies te identificeren waar en waarom samenwerking faalt (bijv. communicatiebottlenecks vs. fysieke onmogelijkheden).
• Toekomstige Ontwikkeling: Het biedt een gestandaardiseerde basis voor het ontwikkelen van betere coördinatiestrategieën, robuustere LLM-agenten en systemen die beter kunnen omgaan met complexe, real-world samenwerkingsscenario's zoals robotteams, verkeerssystemen en mens-AI samenwerking.

Kortom, EmCoop biedt de eerste uitgebreide, procesgerichte benchmark om de dynamiek van samenwerking tussen geëmbodide LLM-agenten systematisch te bestuderen, evalueren en verbeteren.