StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simulations with Stardew Valley

Technische Samenvatting van StarDojo: Benchmarking van Open-Ended Gedragingen van Agentic Multimodale LLM's in Productie-Leefomgevingen met Stardew Valley

Probleemstelling
Autonome agenten die de menselijke samenleving willen navigeren, moeten een complex samenspel beheersen van "productie-leefsystemen", waarbij productieve activiteiten (bijv. landbouw, ambachten, grondstofgeneratie) en levende activiteiten (bijv. sociale interactie, relatieopbouw) elkaar wederzijds versterken maar tegelijkertijd beperkt worden door gedeelde middelen zoals tijd en energie. Bestaande benchmarks slagen er niet in om deze vaardigheden simultaan te evalueren. Traditionele interactieve benchmarks richten zich vaak ofwel op lage-niveau controle en strategische gameplay met minimale tekstuele rollen, ofwel op sociaal gesitueerde interacties die een gebrek hebben aan gestructureerde productiemechanismen en middelenbeperkingen. Bijgevolg is er een gebrek aan systematische beoordeling voor agenten die opereren binnen de gekoppelde, door beperkingen gestuurde structuren die kenmerkend zijn voor het dagelijks leven in de echte wereld.

Methodologie
Om dit gat te dichten, introduceren de auteurs StarDojo, een nieuwe omgeving en benchmark gebouwd op de open-ended simulatiegame Stardew Valley. De methodologie bestaat uit drie kerncomponenten:

1. Omgevingsarchitectuur: De auteurs hebben StarDojoMod ontwikkeld, een C#-extensie gebaseerd op de Stardew Modding API (SMAPI). Deze mod faciliteert een uniforme, gebruiksvriendelijke Python-interface waarmee agenten direct via sockets met de game-engine kunnen interageren. Deze architectuur elimineert de noodzaak voor handmatige schermopnames of toetsenbord/muis-emulatie, wat de extractie van interne spelstatussen (karakterstatus, tegelinformatie, globale tijd/weer) en de uitvoering van diverse actievaardigheden mogelijk maakt. Het systeem ondersteunt parallelle uitvoering van meerdere headless omgevingen op belangrijke besturingssystemen (Ubuntu, macOS, Windows).
2. Observatie- en Actieruimtes: De observatieruimte integreert visuele modaliteiten (gameplay-screenshots op 720p) met gestructureerde tekstuele data, inclusief karakterstatus (gezondheid, energie, inventaris), lokale tegelinformatie (7×7 raster) en globale context (tijd, weer, seizoen). De actieruimte abstraheert de kernmechanica van het spel naar tien fundamentele vaardigheden (bijv. move, use, interact, craft, choose_item), waarbij hoog-niveau shortcuts zoals navigate worden uitgesloten om ervoor te zorgen dat agenten realistische exploratiecapaciteiten demonstreren.
3. Taaksuite: De benchmark bestaat uit 1.000 zorgvuldig samengestelde taken over vijf domeinen: Landbouw, Ambacht, Exploratie, Gevechten en Sociale Interacties. Taken zijn gecategoriseerd op moeilijkheidsgraad (Easy, Medium, Hard) en vereisen variërende gradaties van middelenbeheer, langetermijnplanning en aanpassing aan dynamische omgevingsfactoren (tijd, uithoudingsvermogen, weer). Een subset van 100 representatieve taken, StarDojo-Lite, wordt aangeboden voor efficiënte evaluatie. Een geautomatiseerd evaluatiesysteem monitort incrementele statusveranderingen om taakvoltooiing vast te stellen.

Belangrijkste Bijdragen

• StarDojo Benchmark: De eerste benchmark die gelijktijdig productieve activiteiten en sociale interacties evalueert binnen een dynamische, door beperkingen gestuurde simulatie, waarmee de kloof tussen embodied AI en sociaal redeneren wordt overbrugd.
• Uniforme Interface: Een robuuste, cross-platform omgeving die parallelle, headless uitvoering en directe toegang tot interne statussen ondersteunt, wat de evaluatie-efficiëntie aanzienlijk verbetert vergeleken met schermgebaseerde of API-afhankelijke methoden.
• Omvattende Taakontwerp: Een diverse set van 1.000 taken die agenten vereist om tijd, energie en middelen in balans te houden terwijl ze betrokken zijn bij bidirectionele feedbackloops tussen productie (genereren van inkomen/items) en sociale progressie (ontgrendelen van recepten, kortingen en relaties).
• Open-Source Release: De auteurs publiceren de omgeving, installatie-instructies, evaluatiescripts en baseline-implementaties om verder onderzoek te faciliteren.

Experimentele Resultaten
De auteurs evalueerden zeven state-of-the-art Multimodale Large Language Models (MLLMs), waaronder GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet en verschillende open-source modellen (Llama 4, Qwen2.5-VL, Gemma 3), op de StarDojo-Lite suite.

• Prestaties: Zelfs het best presterende model, GPT-4.1, behaalde een succespercentage van slechts 12,7% op de Lite-taakset. Open-source modellen presteerden aanzienlijk slechter, met succespercentages onder de 8%.
• Moeilijkheidsgraad-schaling: Hoewel modellen enige bekwaamheid toonden op gemakkelijke taken (die <30 stappen vereisen), vertoonden ze een bijna nul succespercentage op medium en harde taken die langere actiesequenties en strategische planning vereisen.
• Foutanalyse: Een gedetailleerde analyse van de fouten van GPT-4.1 identificeerde vier primaire faalmodi:
  1. Visueel Begrip (42%): Moeite met het herkennen van kleine objecten (ongeveer 10x10 pixels) en het bepalen van hun exacte ruimtelijke relatie tot de agent.
  2. Multimodale Redenering (21%): Overmatige afhankelijkheid van visuele input ondanks beschikbare tekstuele statusinformatie, wat leidde tot hallucinaties of verwarring.
  3. Langetermijnplanning (21%): Onvermogen om consistente strategieën over lange horizonten te handhaven, waarbij plannen vaak voortijdig worden verlaten.
  4. Lage-niveau Controle (16%): Instabiliteit in het uitvoeren van fijnmazige acties, zoals het selecteren van onjuiste parameters of richtingen.
• Ablatie-studies: Experimenten waarbij de tekstuele input (Image Only) of de visuele input (Text Only) werd verwijderd, bevestigden dat beide modaliteiten cruciaal zijn. Bovendien toonden "Real-time" evaluaties (zonder de game te pauzeren tijdens inferentie) een significante prestatiedegradatie door inferentie-latentie, wat een bottleneck vormt voor API-gebaseerde agenten in dynamische omgevingen.

Betekenis
Het artikel stelt dat StarDojo dient als een kritieke testomgeving voor het bevorderen van agentic AI in complexe, de werkelijkheid nabootsende omgevingen. Door substantiële beperkingen van huidige MLLM's met betrekking tot visueel begrip, multimodale redenering, langetermijnplanning en real-time inferentie bloot te leggen, identificeert de benchmark specifieke gebieden die toekomstig onderzoek vereisen. De auteurs positioneren StarDojo niet als een oplossing voor onmiddellijke implementatie, maar als een fundamenteel instrument om de ontwikkeling van robuuste, open-ended agenten te faciliteren die in staat zijn tot levenslang leren en strategische besluitvorming binnen productie-leefsystemen. Het werk onderstreept de noodzaak om agenten te evalueren in interactieve omgevingen waar ruimtelijk en fysiek redeneren even essentieel zijn als taalvaardigheid.