Resumen Técnico: EcoGym – Evaluación de Modelos de Lenguaje Grande (LLM) para la Planificación y Ejecución de Largo Alcance en Economías Interactivas

Enunciado del Problema

La planificación de largo alcance es una capacidad fundamental reconocida de los agentes autónomos basados en Modelos de Lenguaje Grande (LLM). Sin embargo, los marcos de evaluación actuales sufren limitaciones significativas: son en gran medida episódicos, se confinan a dominios específicos o carecen de un fundamento suficiente en dinámicas económicas persistentes. Las referencias existentes a menudo dependen de pipelines cerrados y propietarios (por ejemplo, Vending Bench) o no reflejan la naturaleza heterogénea e interdependiente de la actividad económica abierta. Además, existe una brecha entre el rendimiento en referencias virtuales controladas y la robustez bajo despliegue práctico continuo y de alto riesgo, donde los agentes a menudo muestran fragilidad a pesar de obtener resultados sólidos a corto plazo. El campo carece de un marco transparente y dirigido por la comunidad para evaluar a los agentes en cuanto a su coherencia estratégica sostenida a lo largo de horizontes temporales efectivamente ilimitados.

Metodología

Para abordar estas brechas, los autores presentan EcoGym, una referencia de código abierto y generalizable para la toma de decisiones continua de planificación y ejecución en economías interactivas.

Principios de Diseño

EcoGym se basa en tres principios de diseño fundamentales:

1. Espacio de Acción Simple, Horizonte Ilimitado: A diferencia de las referencias con espacios de acción complejos y de alta dimensión, EcoGym restringe a los agentes a un pequeño conjunto de acciones discretas (típicamente 4–5 primitivas). Sin embargo, el horizonte de interacción es efectivamente infinito (1000+ pasos, simulando ciclos de 365 días), desplazando el enfoque de la evaluación hacia la planificación estratégica a largo plazo, la estabilidad y la optimización acumulativa, en lugar de la finalización de tareas de corto alcance.
2. Entornos Económicos como Suelo de Evaluación: La referencia fundamenta la evaluación en actividades económicas diarias, avanzando más allá de la generación de código o el razonamiento simple para evaluar cómo funcionan los LLM como actores económicos. El éxito se mide mediante resultados tangibles del mercado (por ejemplo, Valor Neto, Ingresos, Usuarios Activos Diarios) en lugar de recompensas simples.
3. Mecánicas Latentes para el Descubrimiento Exploratorio: Las reglas matemáticas subyacentes que gobiernan la dinámica del sistema (por ejemplo, estacionalidad, elasticidad, tasas de decaimiento) están ocultas para el agente. Los agentes deben explorar activamente, formular hipótesis y descubrir estas mecánicas a través de la interacción y la retroalimentación para maximizar la utilidad.

Entornos

EcoGym comprende tres entornos distintos unificados bajo un único proceso de toma de decisiones:

• Vending: Un desafío de gestión minorista adaptado del cerrado Vending-Bench (ahora de código abierto). Los agentes actúan como propietarios únicos maximizando el Valor Neto mediante la adquisición estratégica y la fijación dinámica de precios. El entorno presenta parámetros de mercado ocultos como la estacionalidad y la elasticidad de precios.
• Freelance: Un desafío de la economía de gigas donde los agentes maximizan los Ingresos mientras equilibran el trabajo, el desarrollo de habilidades y la gestión de la salud (energía/estrés). Los agentes deben evitar el agotamiento (un umbral fisiológico oculto) y navegar por un grupo de tareas derivado de conjuntos de datos diversos (programación, finanzas, derecho, STEM).
• Operation: Un desafío de crecimiento de plataforma donde los agentes actúan como operadores maximizando los Usuarios Activos Diarios (DAU). El sistema exhibe dinámicas de "Atractor Cero" donde la actividad del usuario decae a cero sin intervención. Los agentes deben gestionar la calidad del contenido, los incentivos para los creadores y la adquisición de usuarios bajo coeficientes de sistema ocultos.

Configuración Experimental

Los autores evaluaron 11 LLM líderes (incluyendo GPT-5.2, Gemini-3-Pro/Flash, Claude-Sonnet-4.5, Kimi-k2.6, Qwen3.5, DeepSeek-v3.2 y GLM-5) en estos entornos. La evaluación incluyó:

• Métricas Estándar: Valor Neto, Ingresos y DAU a lo largo de simulaciones de 365 días.
• Estudios Diagnósticos: Ocho análisis específicos que cubren la longitud de la ventana de contexto, modos de fallo, evolución conductual temporal, líneas base humanas, módulos de memoria (de trabajo, simbólica, episódica, Mem0), "pensar con acción" y escalado de la complejidad del entorno.

Resultados Clave

Los experimentos revelan una tensión sistemática en las capacidades actuales de los LLM: ningún modelo único domina en los tres escenarios.

• Variación del Rendimiento: En el entorno Vending, la serie Gemini-3 (particularmente Pro) demostró una apreciación de activos dominante. En Freelance, Gemini-3-Pro mantuvo el liderazgo, aunque el margen fue más estrecho. En Operation, Claude-Sonnet-4.5 ocupó el primer lugar.
• Suboptimalidad: Los modelos exhibieron una suboptimalidad significativa ya sea en estrategias de alto nivel o en la ejecución eficiente de acciones. Por ejemplo, los modelos principales en Operation priorizaron la escala (cantidad) sobre el refinamiento (calidad), identificando correctamente la variable dominante para el rendimiento, mientras que otros fallaron en alinearse con el mecanismo de recompensa.
• Sensibilidad a la Ventana de Contexto: Extender la ventana de contexto más allá del valor predeterminado (128 pasos) no produjo ganancias consistentes. Gemini-3-Flash mostró un rendimiento volátil con contextos más largos, mientras que el rendimiento de Gemini-3-Pro se degradó a medida que la ventana se extendía a 1024 pasos, destacando la inestabilidad en el procesamiento de contextos superlargo.
• Memoria y Razonamiento:
  • Memoria: La adición de módulos de memoria externa (de trabajo, simbólica, episódica) generalmente mejoró el rendimiento, pero no fue universalmente beneficiosa; la eficacia dependía altamente del modelo y era específica de la tarea.
  • Modo de Pensamiento: Habilitar el "Pensamiento" (generar contenido de razonamiento integrado en el contexto) catalizó una elevación universal del rendimiento en todos los modelos, reduciendo significativamente la brecha entre las variantes Flash y Pro en la tarea Operation.
• Línea Base Humana: En el entorno Operation, los expertos humanos lograron un DAU promedio de 1.404. Cabe destacar que Claude-Sonnet-4.5 superó esta línea base humana, lo que sugiere que los LLM de última generación tienen el potencial de un rendimiento superhumano en escenarios específicos de planificación económica de largo alcance.
• Escalado de Complejidad: Cuando se aumentó la complejidad del entorno Vending (más SKU), Gemini-3-Flash mostró una adaptabilidad robusta con beneficios escalando positivamente, mientras que Gemini-3-Pro se estancó, fallando en capturar valor adicional en espacios de estado más grandes.

Contribuciones Clave

1. Evaluación de Planificación de Horizonte Infinito: EcoGym proporciona un marco abierto y generalizable para evaluar agentes LLM bajo interacción continua y no episódica con un espacio de acción compacto y un horizonte temporal ilimitado. Aísla la coherencia estratégica a largo plazo y la estabilidad como objetivos de evaluación de primer nivel.
2. Evaluación Económica Guiada por Utilidad: La referencia establece un paradigma orientado a resultados fundamentado en retornos económicos (Valor Neto, Ingresos, DAU) a través de tres configuraciones económicas ampliamente existentes, desplazando la evaluación más allá de recompensas simples hacia un impacto tangible en el mercado.
3. Análisis Empírico Multidimensional: A través de una evaluación rigurosa de LLM de última generación y ocho estudios diagnósticos, los autores descubren brechas críticas de rendimiento y cuellos de botella en la planificación de largo alcance, como la falta de un ganador universal, la inestabilidad de la ventana de contexto y los beneficios específicos de los modos de "pensamiento" y las arquitecturas de memoria.

Significado y Afirmaciones

El artículo afirma que EcoGym aborda una vacante crítica en las referencias existentes respecto a la evaluación de la viabilidad económica a largo plazo de los agentes. Al obligar a los agentes a navegar la escasez de recursos y las dinámicas estocásticas durante períodos sostenidos, el marco revela que, aunque los modelos de vanguardia demuestran un razonamiento impresionante a corto plazo, luchan por mantener la coherencia estratégica a lo largo de decisiones de largo tiempo.

Los autores reconocen modestamente que el marco actual depende de abstracciones basadas en reglas y podría no capturar completamente la imprevisibilidad del comportamiento humano irracional. Posicionan a EcoGym como un banco de pruebas abierto y extensible para la evaluación transparente de agentes de largo alcance y para estudiar los compromisos entre controlabilidad y utilidad en configuraciones económicas. El trabajo tiene como objetivo guiar a la comunidad hacia el desarrollo de agentes de propósito general que no solo sean capaces de razonar, sino que también sean robustos y estén estratégicamente alineados a largo plazo.