StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simulations with Stardew Valley

Sintesi Tecnica di StarDojo: Benchmarking di Comportamenti Open-Ended di Agenti Multimodali LLM in Simulazioni di Produzione-Vita in Produzione con Stardew Valley

Problematica
Gli agenti autonomi che mirano a navigare nella società umana devono padroneggiare un complesso intreccio di "sistemi di produzione-vita", dove le attività produttive (ad es. agricoltura, artigianato, generazione di risorse) e le attività vitali (ad es. interazione sociale, costruzione di relazioni) sono mutuamente rinforzanti ma vincolate da risorse condivise come tempo ed energia. Gli existing benchmark non riescono a valutare simultaneamente queste abilità. I tradizionali benchmark interattivi si concentrano spesso o sul controllo di basso livello e sul gameplay strategico con ruoli testuali minimi, o su interazioni socialmente situate che mancano di meccanismi di produzione strutturati e vincoli di risorse. Di conseguenza, vi è una mancanza di valutazione sistematica per agenti che operano all'interno delle strutture accoppiate e vincolate che caratterizzano la vita quotidiana reale.

Metodologia
Per affrontare questa lacuna, gli autori introducono StarDojo, un nuovo ambiente e benchmark costruito sulla base del gioco di simulazione open-ended Stardew Valley. La metodologia prevede tre componenti principali:

1. Architettura dell'Ambiente: Gli autori hanno sviluppato StarDojoMod, un'estensione in C# basata sulla Stardew Modding API (SMAPI). Questa mod facilita un'interfaccia Python unificata e user-friendly che consente agli agenti di interagire direttamente con il motore di gioco tramite socket. Questa architettura elimina la necessità di catture dello schermo manuali o emulazione di tastiera/mouse, consentendo il recupero degli stati interni del gioco (stato del personaggio, informazioni sulle piastrelle, tempo globale/meteo) e l'esecuzione di diverse abilità d'azione. Il sistema supporta l'esecuzione parallela di molteplici istanze headless dell'ambiente su principali sistemi operativi (Ubuntu, macOS, Windows).
2. Spazi di Osservazione e Azione: Lo spazio di osservazione integra modalità visive (screenshot di gameplay a 720p) con dati testuali strutturati, inclusi lo stato del personaggio (salute, energia, inventario), informazioni sulle piastrelle locali (griglia 7×7) e contesto globale (tempo, meteo, stagione). Lo spazio di azione astrae le meccaniche principali del gioco in dieci abilità fondamentali (ad es. move, use, interact, craft, choose_item), escludendo scorciatoie di alto livello come navigate per garantire che gli agenti dimostrino capacità di esplorazione realistiche.
3. Suite di Task: Il benchmark comprende 1.000 task meticolosamente curati attraverso cinque domini: Agricoltura, Artigianato, Esplorazione, Combattimento e Interazioni Sociali. I task sono categorizzati per difficoltà (Facile, Medio, Difficile) e richiedono diversi gradi di gestione delle risorse, pianificazione a lungo termine e adattamento a fattori ambientali dinamici (tempo, stamina, meteo). Un sottoinsieme di 100 task rappresentativi, StarDojo-Lite, è fornito per una valutazione efficiente. Un sistema di valutazione automatizzato monitora i cambiamenti incrementali di stato per determinare il completamento del task.

Contributi Chiave

• Benchmark StarDojo: Il primo benchmark che valuta simultaneamente le attività di produzione e le interazioni sociali all'interno di una simulazione dinamica e vincolata, colmando il divario tra l'IA incarnata (embodied AI) e il ragionamento sociale.
• Interfaccia Unificata: Un ambiente robusto e cross-platform che supporta l'esecuzione headless parallelizzata e l'accesso diretto allo stato interno, migliorando significativamente l'efficienza della valutazione rispetto ai metodi basati su schermo o dipendenti da API.
• Design dei Task Esaustivo: Un insieme diversificato di 1.000 task che richiedono agli agenti di bilanciare tempo, energia e risorse, impegnandosi in cicli di feedback bidirezionali tra produzione (generazione di reddito/oggetti) e progresso sociale (sblocco di ricette, sconti e relazioni).
• Rilascio Open-Source: Gli autori rilasciano l'ambiente, le istruzioni di configurazione, gli script di valutazione e le implementazioni di base per facilitare ulteriore ricerca.

Risultati Sperimentali
Gli autori hanno valutato sette modelli Multimodal Large Language Models (MLLM) all'avanguardia, tra cui GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet e diversi modelli open-source (Llama 4, Qwen2.5-VL, Gemma 3), sulla suite StarDojo-Lite.

• Performance: Anche il modello con le migliori prestazioni, GPT-4.1, ha raggiunto un tasso di successo di solo il 12,7% sull'insieme di task Lite. I modelli open-source sono stati significativamente peggiori, con tassi di successo inferiori all'8%.
• Scalabilità della Difficoltà: Mentre i modelli hanno mostrato una certa competenza nei task facili (che richiedono <30 step), hanno mostrato tassi di successo quasi nulli nei task medi e difficili che richiedono sequenze di azioni estese e pianificazione strategica.
• Analisi degli Errori: Un'analisi dettagliata dei fallimenti di GPT-4.1 ha identificato quattro modalità primarie di errore:
  1. Comprensione Visiva (42%): Difficoltà nel riconoscere oggetti piccoli (circa 10x10 pixel) e nel determinare la loro precisa relazione spaziale con l'agente.
  2. Ragionamento Multimodale (21%): Eccessiva dipendenza dall'input visivo nonostante la disponibilità di informazioni sullo stato testuale, portando a allucinazioni o confusione.
  3. Pianificazione a Lungo Termine (21%): Incapacità di mantenere strategie coerenti su lunghi orizzonti, abbandonando spesso i piani prematuramente.
  4. Controllo di Basso Livello (16%): Instabilità nell'esecuzione di azioni fini, come la selezione di parametri o direzioni errate.
• Studi di Ablazione: Gli esperimenti rimuovendo l'input testuale (Solo Immagine) o l'input visivo (Solo Testo) hanno confermato che entrambe le modalità sono critiche. Inoltre, le valutazioni "Real-time" (senza mettere in pausa il gioco durante l'inferenza) hanno rivelato un significativo degrado delle prestazioni dovuto alla latenza di inferenza, evidenziando un collo di bottiglia per gli agenti basati su API in ambienti dinamici.

Significatività
Il paper sostiene che StarDojo serva come un banco di prova critico per far avanzare l'IA agentica in ambienti complessi simili al mondo reale. Esponendo i sostanziali limiti degli attuali MLLM riguardo alla comprensione visiva, al ragionamento multimodale, alla pianificazione a lungo termine e all'inferenza in tempo reale, il benchmark identifica aree specifiche che richiedono ricerca futura. Gli autori posizionano StarDojo non come una soluzione per l'implementazione immediata, ma come uno strumento fondamentale per facilitare lo sviluppo di agenti robusti, open-ended, capaci di apprendimento continuo e decision-making strategico all'interno di sistemi di produzione-vita. Il lavoro sottolinea la necessità di valutare gli agenti in ambienti interattivi dove il ragionamento spaziale e fisico è essenziale quanto le capacità linguistiche.