StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simulations with Stardew Valley

Resumo Técnico do StarDojo: Avaliação de Comportamentos de Código Aberto de LLMs Multimodais Agênticos em Simulações de Produção-Vida em Produção com Stardew Valley

Declaração do Problema
Agentes autônomos que visam navegar na sociedade humana devem dominar uma interação complexa de "sistemas de produção-vida", onde atividades produtivas (ex: agricultura, artesanato, geração de recursos) e atividades de vida (ex: interação social, construção de relacionamentos) são mutuamente reforçadoras, porém limitadas por recursos compartilhados como tempo e energia. Os benchmarks existentes falham ao avaliar essas habilidades simultaneamente. Os benchmarks interativos tradicionais geralmente focam ou em controle de baixo nível e jogabilidade estratégica com mínima função textual, ou em interações situadas socialmente que carecem de mecanismos de produção estruturados e restrições de recursos. Consequentemente, há uma falta de avaliação sistemática para agentes operando dentro das estruturas acopladas e limitadas por restrições que caracterizam a vida cotidiana real.

Metodologia
Para abordar essa lacuna, os autores introduzem o StarDojo, um novo ambiente e benchmark construído sobre o jogo de simulação de código aberto Stardew Valley. A metodologia envolve três componentes principais:

1. Arquitetura do Ambiente: Os autores desenvolveram o StarDojoMod, uma extensão em C# baseada na API de Modding do Stardew (SMAPI). Este mod facilita uma interface Python unificada e amigável que permite aos agentes interagir diretamente com o motor do jogo via sockets. Esta arquitetura elimina a necessidade de capturas de tela manuais ou emulação de teclado/mouse, permitindo a recuperação de estados internos do jogo (status do personagem, informações do tile, tempo/clima global) e a execução de diversas habilidades de ação. O sistema suporta a execução paralela de múltiplas instâncias de ambiente headless em principais sistemas operacionais (Ubuntu, macOS, Windows).
2. Espaços de Observação e Ação: O espaço de observação integra modalidades visuais (capturas de tela de jogabilidade em 720p) com dados textuais estruturados, incluindo status do personagem (saúde, energia, inventário), informações de tile local (grade 7×7) e contexto global (tempo, clima, estação). O espaço de ação abstrai as mecânicas centrais do jogo em dez habilidades fundamentais (ex: move, use, interact, craft, choose_item), excluindo atalhos de alto nível como navigate para garantir que os agentes demonstrem capacidades de exploração realistas.
3. Suíte de Tarefas: O benchmark compreende 1.000 tarefas meticulosamente curadas em cinco domínios: Agricultura, Artesanato, Exploração, Combate e Interações Sociais. As tarefas são categorizadas por dificuldade (Fácil, Médio, Difícil) e exigem graus variados de gestão de recursos, planejamento de longo prazo e adaptação a fatores ambientais dinâmicos (tempo, estamina, clima). Um subconjunto de 100 tarefas representativas, o StarDojo-Lite, é fornecido para avaliação eficiente. Um sistema de avaliação automatizado monitora mudanças incrementais de estado para determinar a conclusão da tarefa.

Principais Contribuições

• Benchmark StarDojo: O primeiro benchmark a avaliar simultaneamente atividades de produção e interações sociais dentro de uma simulação dinâmica e limitada por restrições, preenchendo a lacuna entre IA incorporada (embodied AI) e raciocínio social.
• Interface Unificada: Um ambiente robusto e multiplataforma que suporta execução paralela e headless e acesso direto ao estado interno, melhorando significativamente a eficiência da avaliação em comparação com métodos baseados em tela ou dependentes de API.
• Design de Tarefas Abrangente: Um conjunto diversificado de 1.000 tarefas que exigem que os agentes equilibrem tempo, energia e recursos enquanto se envolvem em loops de feedback bidirecionais entre produção (geração de renda/itens) e progresso social (desbloqueio de receitas, descontos e relacionamentos).
• Lançamento de Código Aberto: Os autores liberam o ambiente, instruções de configuração, scripts de avaliação e implementações de linha de base para facilitar pesquisas futuras.

Resultados Experimentais
Os autores avaliaram sete modelos de Linguagem de Grande Escala Multimodais (MLLMs) de última geração, incluindo GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet e vários modelos de código aberto (Llama 4, Qwen2.5-VL, Gemma 3), no conjunto StarDojo-Lite.

• Desempenho: Mesmo o modelo com melhor desempenho, o GPT-4.1, alcançou uma taxa de sucesso de apenas 12,7% no conjunto de tarefas Lite. Os modelos de código aberto tiveram desempenho significativamente inferior, com taxas de sucesso abaixo de 8%.
• Escalonamento de Dificuldade: Embora os modelos tenham mostrado alguma proficiência em tarefas fáceis (que exigem <30 passos), eles exibiram taxas de sucesso próximas de zero em tarefas médias e difíceis que demandam sequências de ações estendidas e planejamento estratégico.
• Análise de Erros: Uma análise detalhada das falhas do GPT-4.1 identificou quatro modos primários de falha:
  1. Compreensão Visual (42%): Dificuldade em reconhecer objetos pequenos (aprox. 10x10 pixels) e determinar sua relação espacial precisa com o agente.
  2. Raciocínio Multimodal (21%): Dependência excessiva de entrada visual apesar da disponibilidade de informações de estado textual, levando a alucinações ou confusão.
  3. Planejamento de Longo Prazo (21%): Incapacidade de manter estratégias consistentes ao longo de horizontes longos, frequentemente abandonando planos prematuramente.
  4. Controle de Baixo Nível (16%): Instabilidade na execução de ações finas, como selecionar parâmetros ou direções incorretas.
• Estudos de Ablação: Experimentos removendo a entrada textual (Apenas Imagem) ou a entrada visual (Apenas Texto) confirmaram que ambas as modalidades são críticas. Além disso, avaliações em "Tempo Real" (sem pausar o jogo durante a inferência) revelaram degradação significativa de desempenho devido à latência de inferência, destacando um gargalo para agentes baseados em API em ambientes dinâmicos.

Significância
O artigo afirma que o StarDojo serve como um campo de teste crítico para o avanço de agentes de IA em ambientes complexos, semelhantes ao mundo real. Ao expor limitações substanciais dos atuais MLLMs em relação à compreensão visual, raciocínio multimodal, planejamento de longo prazo e inferência em tempo real, o benchmark identifica áreas específicas que requerem pesquisas futuras. Os autores posicionam o StarDojo não como uma solução para implantação imediata, mas como uma ferramenta fundamental para facilitar o desenvolvimento de agentes robustos de código aberto capazes de aprendizado contínuo e tomada de decisão estratégica dentro de sistemas de produção-vida. O trabalho ressalta a necessidade de avaliar agentes em ambientes interativos onde o raciocínio espacial e físico é tão essencial quanto as capacidades linguísticas.