StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simulations with Stardew Valley

Resumen Técnico de StarDojo: Evaluación de Comportamientos de Código Abierto de Modelos de Lenguaje Multimodales Agénticos en Simulaciones de Producción-Vida con Stardew Valley

Planteamiento del Problema
Los agentes autónomos que aspiran a navegar la sociedad humana deben dominar una compleja interacción de "sistemas de producción-vida", donde las actividades productivas (p. ej., agricultura, artesanía, generación de recursos) y las actividades de vida (p. ej., interacción social, construcción de relaciones) se refuerzan mutuamente pero están limitadas por recursos compartidos como el tiempo y la energía. Los benchmarks existentes no logran evaluar estas habilidades simultáneamente. Los benchmarks interactivos tradicionales suelen centrarse en el control de bajo nivel y el juego estratégico con un mínimo de roles textuales, o en interacciones situadas socialmente que carecen de mecanismos de producción estructurados y restricciones de recursos. En consecuencia, existe una falta de evaluación sistemática para agentes que operan dentro de las estructuras acopladas y con restricciones que caracterizan la vida cotidiana del mundo real.

Metodología
Para abordar esta brecha, los autores presentan StarDojo, un entorno y benchmark novedoso construido sobre el juego de simulación de código abierto Stardew Valley. La metodología involucra tres componentes principales:

1. Arquitectura del Entorno: Los autores desarrollaron StarDojoMod, una extensión en C# basada en la API de modding de Stardew (SMAPI). Este mod facilita una interfaz de Python unificada y fácil de usar que permite a los agentes interactuar directamente con el motor del juego a través de sockets. Esta arquitectura elimina la necesidad de capturas de pantalla manuales o emulación de teclado/ratón, permitiendo la recuperación de estados internos del juego (estado del personaje, información de teselas, tiempo/clima global) y la ejecución de diversas habilidades de acción. El sistema soporta la ejecución paralela de múltiples instancias de entorno sin interfaz gráfica (headless) en los principales sistemas operativos (Ubuntu, macOS, Windows).
2. Espacios de Observación y Acción: El espacio de observación integra modalidades visuales (capturas de pantalla de la jugabilidad a 720p) con datos textuales estructurados, incluyendo el estado del personaje (salud, energía, inventario), información de la tesela local (rejilla de 7×7) y contexto global (tiempo, clima, estación). El espacio de acción abstrae las mecánicas centrales del juego en diez habilidades fundamentales (p. ej., mover, usar, interactuar, fabricar, elegir_objeto), excluyendo atajos de alto nivel como navegar para asegurar que los agentes demuestren capacidades de exploración realistas.
3. Suite de Tareas: El benchmark comprende 1,000 tareas meticulosamente curadas a través de cinco dominios: Agricultura, Artesanía, Exploración, Combate e Interacciones Sociales. Las tareas se categorizan por dificultad (Fácil, Medio, Difícil) y requieren diversos grados de gestión de recursos, planificación a largo plazo y adaptación a factores ambientales dinámicos (tiempo, resistencia, clima). Se proporciona un subconjunto de 100 tareas representativas, StarDojo-Lite, para una evaluación eficiente. Un sistema de evaluación automatizado monitorea los cambios incrementales de estado para determinar la finalización de la tarea.

Contribuciones Clave

• Benchmark StarDojo: El primer benchmark que evalúa simultáneamente las actividades de producción y las interacciones sociales dentro de una simulación dinámica y con restricciones de recursos, cerrando la brecha entre la IA corporizada (embodied AI) y el razonamiento social.
• Interfaz Unificada: Un entorno robusto y multiplataforma que soporta ejecución paralela y headless, con acceso directo al estado interno, mejorando significativamente la eficiencia de la evaluación en comparación con los métodos basados en pantalla o dependientes de API.
• Diseño de Tareas Exhaustivo: Un conjunto diverso de 1,000 tareas que requieren que los agentes equilibren tiempo, energía y recursos mientras participan en bucles de retroalimentación bidireccionales entre la producción (generación de ingresos/objetos) y el progreso social (desbloqueo de recetas, descuentos y relaciones).
• Lanzamiento de Código Abierto: Los autores lanzan el entorno, las instrucciones de configuración, los scripts de evaluación y las implementaciones base para facilitar la investigación posterior.

Resultados Experimentales
Los autores evaluaron siete modelos de lenguaje multimodales (MLLM) de última generación, incluyendo GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet y varios modelos de código abierto (Llama 4, Qwen2.5-VL, Gemma 3), en la suite StarDojo-Lite.

• Rendimiento: Incluso el modelo con mejor desempeño, GPT-4.1, logró una tasa de éxito de solo el 12.7% en el conjunto de tareas Lite. Los modelos de código abierto tuvieron un desempeño significativamente peor, con tasas de éxito por debajo del 8%.
• Escalado de Dificultad: Aunque los modelos mostraron cierta competencia en tareas fáciles (que requieren <30 pasos), exhibieron tasas de éxito cercanas a cero en tareas medias y difíciles que demandan secuencias de acción extendidas y planificación estratégica.
• Análisis de Errores: Un análisis detallado de los fallos de GPT-4.1 identificó cuatro modos primarios de fallo:
  1. Comprensión Visual (42%): Dificultad para reconocer objetos pequeños (aprox. 10x10 píxeles) y determinar su relación espacial precisa con el agente.
  2. Razonamiento Multimodal (21%): Dependencia excesiva de la entrada visual a pesar de la disponibilidad de información de estado textual, lo que conduce a alucinaciones o confusión.
  3. Planificación a Largo Plazo (21%): Incapacidad para mantener estrategias consistentes durante horizontes largos, abandonando planes prematuramente con frecuencia.
  4. Control de Bajo Nivel (16%): Inestabilidad en la ejecución de acciones finas, como seleccionar parámetros o direcciones incorrectas.
• Estudios de Ablación: Los experimentos eliminando la entrada textual (Solo Imagen) o la entrada visual (Solo Texto) confirmaron que ambas modalidades son críticas. Además, las evaluaciones en "Tiempo Real" (sin pausar el juego durante la inferencia) revelaron una degradación significativa del rendimiento debido a la latencia de inferencia, resaltando un cuello de botella para los agentes basados en API en entornos dinámicos.

Significancia
El artículo afirma que StarDojo sirve como un banco de pruebas crítico para avanzar la IA agéntica en entornos complejos similares al mundo real. Al exponer limitaciones sustanciales de los actuales MLLM en cuanto a comprensión visual, razonamiento multimodal, planificación a largo plazo e inferencia en tiempo real, el benchmark identifica áreas específicas que requieren investigación futura. Los autores posicionan a StarDojo no como una solución para despliegue inmediato, sino como una herramienta fundacional para facilitar el desarrollo de agentes robustos, de código abierto, capaces de aprendizaje continuo y toma de decisiones estratégicas dentro de sistemas de producción-vida. El trabajo subraya la necesidad de evaluar a los agentes en entornos interactivos donde el razonamiento espacial y físico es tan esencial como las capacidades lingüísticas.