SocialGrid: A Benchmark for Planning and Social Reasoning in Embodied Multi-Agent Systems

Probleemstelling

De huidige evaluatiekaders voor Large Language Models (LLMs) als autonome agenten blijven vaak achter bij de snelle ontwikkeling van deze modellen. Bestaande benchmarks evalueren vaak ruimtelijke planning (in single-agent omgevingen) en sociale redenering (in losgekoppelde tekstsimulaties) in silo's. Er is een gebrek aan een geïntegreerde omgeving die agenten test in een embodied multi-agent setting, waar ze tegelijkertijd fysiek moeten navigeren, taken moeten uitvoeren en sociale inferenties (zoals het opsporen van bedrog) moeten maken.

De auteurs stellen dat het samenvoegen van ruimtelijke planning en sociale redenering de volgende frontier is voor embodied intelligence. Echter, als agenten vastlopen in navigatieproblemen, kan dit de evaluatie van hun sociale intelligentie verstoren (confounding).

Methodologie: SocialGrid

De auteurs introduceren SocialGrid, een aanpasbare, embodied multi-agent benchmark geïntpireerd door het sociale deductiespel Among Us.

1. Omgeving:

   • Gebaseerd op het GridWorld-framework.
   • Agenten opereren in een rasteromgeving met meerdere kamers en deuren.
   • Er zijn twee rollen: Crewmates (moeten taken voltooien en impostors vinden) en Impostors (moeten crewmates elimineren en taken saboteren).
   • De omgeving is gedeeltelijk waarneembaar (beperkt gezichtsveld), wat agenten dwingt een mentaal model van de kaart te bouwen.

2. Fases:

   • Task-fase: Agenten navigeren en voer taken uit (toggle-acties). Impostors kunnen crewmates elimineren.
   • Voting-fase: Agenten stemmen op basis van hun waarnemingsgeschiedenis om een impostor te verwijderen. Er is geen expliciete communicatie (geen discussie-fase), zodat sociale redenering puur op gedragsinferentie moet worden gebaseerd.

3. De Planning Oracle (Cruciaal Element):

   • Om het probleem van slechte navigatie te isoleren van sociale redenering, biedt SocialGrid een optionele Planning Oracle.
   • Dit is een symbolische module (gebaseerd op A*-pathfinding) die de agenten optimale paden en acties suggereert.
   • Door de Oracle in te schakelen, kunnen onderzoekers kijken hoe agenten presteren als de "fysieke" last van navigatie wordt weggenomen, waardoor de focus puur op sociale redenering ligt.

4. Evaluatiemetrics:

   • Taakprestatie (TP): Percentage voltooide taken.
   • Planning Succes Rate (PSR): Percentage bereikte taken.
   • Planning Performance (PP): Efficiëntie van het genomen pad vergeleken met het optimum.
   • Sociale Redenering:
     • Detectie Nauwkeurigheid (DA): Hoe goed crewmates impostors identificeren.
     • Trust Calibration: Brier Score en Volatiliteit van vertrouwensscores die agenten toekennen aan anderen.
   • Foutanalyse: Automatische detectie van patronen zoals "position ping-pong" ( heen-en-weer lopen), "door spam" en "task fixation".

Belangrijkste Bijdragen

1. SocialGrid Benchmark: Een controllable, embodied framework dat ruimtelijke planning, taakuitvoering en adversariale sociale redenering unificeert.
2. Kwantificering van Defecten: Het paper toont aan dat zelfs de sterkste open modellen (tot 120B parameters) worstelen met basisnavigatie en dat sociale redenering niet schaalt met modelgrootte.
3. Planning Oracle: Een instrument om navigatieproblemen te isoleren, wat onthult dat sociale redenering een fundamenteel bottleneck blijft, zelfs wanneer navigatie perfect wordt.
4. Leaderboard: Een gestandaardiseerde ranglijst gebaseerd op Elo-ratings uit adversariale competitiewedstrijden.

Resultaten

De auteurs hebben experimenten uitgevoerd met 8 modellen (van 14B tot 120B parameters, waaronder GPT-OSS-120B, Llama3.1-70B, DeepSeek-R1, Qwen3, etc.).

1. Ruimtelijke Planning & Navigatie:

   • Zonder hulp presteren zelfs de beste modellen (GPT-OSS-120B) slecht: <60% succes in taakvoltooiing en navigatie. Ze raken vaak vast in repetitief gedrag of kunnen geen obstakels omzeilen.
   • Met de Planning Oracle verbetert de taakvoltooiing aanzienlijk, maar de pad-efficiëntie blijft vaak onder de 0.5, wat aangeeft dat modellen moeite hebben om optimale suggesties om te zetten in betrouwbare uitvoering.

2. Sociale Redenering (De Kernbevinding):

   • Detectie van Bedrog: Ongeacht de modelgrootte (14B tot 120B) presteren agenten bij het opsporen van impostors bijna willekeurig (rond de 30-33%, de kans van een willekeurige gok).
   • Geen Schaalvoordeel: Grotere modellen worden niet beter in sociale redenering; de prestaties blijven stabiel laag.
   • Oorzaken van Falen: Kwalitatieve analyse toont drie hoofdfouten:
     • Gebrek aan bewijs: Agenten stemmen willekeurig als ze geen directe waarneming hebben.
     • Oppervlakkige heuristieken: Agenten vertrouwen op oppervlakkige signalen (bijv. "erratic movement") die niet betrouwbaar zijn.
     • Oververtrouwen: Crewmates geven impostors die zich goed gedragen een hoog vertrouwen, waardoor ze niet worden ontmaskerd.

3. Complexiteit:

   • Het verhogen van de ruimtelijke complexiteit (meer kamers) verslechtert de taakprestaties lineair, maar heeft geen invloed op de sociale redenering (die blijft laag, ongeacht de omgeving). Dit bevestigt dat sociale redenering een apart probleem is dat losstaat van navigatie.

4. Reinforcement Learning (RL):

   • Experimenten met PPO (Proximal Policy Optimization) op een kleiner model (Qwen3-4B) toonden aan dat RL-training geen significante verbetering opleverde in ruimtelijke planning of taakprestatie binnen de beschikbare trainingstijd. Dit suggereert dat fundamentele architecturale beperkingen bestaan die niet eenvoudig met RL kunnen worden opgelost.

Significantie en Conclusie

SocialGrid onthult een kritiek gat in de huidige staat van de kunst voor embodied LLM-agenten:

• Navigatie is een bottleneck: LLMs vertalen hun redeneervermogen niet automatisch naar effectieve fysieke actie in complexe omgevingen.
• Sociale intelligentie is fundamenteel zwak: Zelfs met perfecte navigatie (via de Oracle) falen agenten om bedrog te detecteren. Ze vertrouwen op oppervlakkige heuristieken in plaats van bewijs te accumuleren over tijd.
• Toekomstige richting: Het paper concludeert dat het simpelweg schalen van modelgrootte niet voldoende is. Er is behoefte aan fundamenteel nieuwe architecturale benaderingen en trainingsmethodes om betrouwbare sociale gedragsredenering in embodied settings mogelijk te maken.

SocialGrid biedt de gemeenschap een noodzakelijk instrument om deze problemen systematisch te diagnosticeren en te adresseren, met een focus op het scheiden van fysieke beperkingen van cognitieve sociale capaciteiten.