Resumen Técnico: CEO-BENCH

Planteamiento del Problema

Los agentes de modelos de lenguaje (LM) actuales demuestran competencia en tareas aisladas de horizonte corto, como la ingeniería de software, el servicio al cliente y los flujos de trabajo web. Sin embargo, estas tareas suelen implicar objetivos claros, retroalimentación inmediata y secuencias de acción cortas. Los desafíos del mundo real requieren una combinación de capacidades sofisticadas que permanecen en gran medida sin probar: navegar horizontes largos bajo incertidumbre, adquirir información de entornos ruidosos, adaptarse a condiciones cambiantes y orquestar múltiples decisiones interdependientes hacia un objetivo coherente. Los benchmarks existentes (por ejemplo, SWE-bench, WebArena) se centran en episodios cortos con resultados observados rápidamente, mientras que otros (por ejemplo, Vending-Bench, Accounting-Bench) involucran conjuntos de decisiones estrechos y entornos mayormente estables. Existe una falta de marcos de evaluación que prueben la capacidad de un agente para coordinar acciones interdependientes, inferir estados ocultos a partir de retroalimentación retardada e idear estrategias ante condiciones de mercado no estacionarias.

Metodología

Los autores introducen CEO-BENCH, un benchmark que evalúa las capacidades generales de agentes en horizontes largos mediante la simulación de la operación de una startup durante 500 días simulados.

Diseño del Entorno

• Alcance de la Simulación: El agente gestiona una empresa ficticia de software por suscripción ("NovaMind") comenzando con $1M en efectivo y cero clientes. La simulación se ejecuta durante 500 días (aprox. 71 semanas).
• Estado y Dinámica: El entorno es parcialmente observable, ruidoso y no estacionario.
  • Clientes: 26 grupos de clientes distintos, cada uno con agentes individuales que poseen preferencias ocultas de precio y calidad. El comportamiento del cliente se rige por reglas mecanísticas (por ejemplo, reglas de participación microeconómica) en lugar de jueces opacos basados en LLM.
  • Bucles de Retroalimentación: Las decisiones tienen consecuencias retardadas e inciertas. Los ingresos llegan en ciclos de facturación, la I+D toma tiempo y los errores surgen más tarde a través de la pérdida de clientes (churn) y la reputación.
  • Factores Externos: El entorno evoluciona debido a ciclos macroeconómicos, choques de competidores (quienes adaptativamente elevan las expectativas de calidad) y cambios en las preferencias de los clientes.
• Interfaz de Acción: Los agentes interactúan a través de una interfaz de Python programable (novamind_api) con acceso a:
  • 34 Herramientas: Que cubren precios, crecimiento, calidad del producto, fiabilidad, ventas corporativas, adquisición de información y comunicación pública.
  • Base de Datos de 19 Tablas: Una base de datos SQL realista que contiene libros contables, suscripciones, prospectos publicitarios (leads), tickets de soporte y feeds de redes sociales.
  • Flujo de Trabajo: Los agentes escriben y ejecutan scripts de Python para consultar la base de datos, analizar datos y componer herramientas en flujos de trabajo personalizados.

Configuración Experimental

• Modelos Evaluados: El estudio evalúa una mezcla de modelos de pesos cerrados (por ejemplo, GPT-5.5, Claude Opus 4.8/4.7, Gemini 3 Flash) y modelos de pesos abiertos (por ejemplo, DeepSeek-V4-Pro, GLM-5.1).
• Protocolo: Cada modelo ejecuta tres simulaciones de 500 días con una semilla aleatoria fija. El éxito se mide por el efectivo disponible al final. La bancarrota (efectivo < $0) termina la simulación.
• Baselines: Se incluye un baseline heurístico basado en reglas (sin llamadas a LLM), que fija precios y cuotas mientras ajusta la capacidad según el uso.

Contribuciones Clave

1. Benchmark Novedoso: CEO-BENCH es el primer benchmark que evalúa agentes en una simulación de startup realista y a gran escala que requiere la integración de codificación, análisis de datos y pensamiento estratégico sobre horizontes largos.
2. Realismo Mecanístico: A diferencia de los benchmarks que dependen de LLMs como jueces, CEO-BENCH utiliza reglas explícitas y mecanísticas para el comportamiento del cliente, la dinámica del mercado y los resultados financieros, asegurando que el éxito dependa de habilidades estratégicas genuinas en lugar de explotar simulaciones frágiles.
3. Espacio de Acción Granular: La interfaz permite acciones finamente detalladas (por ejemplo, dirigir la publicidad o la I+D a grupos de clientes específicos), creando un espacio combinatoriamente grande de estrategias y modos de fallo.
4. Análisis Exhaustivo: El artículo proporciona tanto métricas cuantitativas (trayectoria de efectivo, días de supervivencia) como análisis cualitativos de los comportamientos de los agentes (contenido de memorandos, complejidad del código, patrones de uso de herramientas).

Resultados

• Desempeño General: La mayoría de los modelos de última generación luchan por completar la simulación sin caer en la bancarrota. Solo Claude Opus 4.8 y GPT-5.5 terminaron con un saldo de efectivo superior al punto de partida de $1M en sus mejores ejecuciones.
• Comparación con Baselines: El baseline basado en reglas alcanzó un saldo de efectivo final de $15.76M. Aunque Claude Opus 4.8 ($27.8M) y GPT-5.5 (~$21.3M) superaron este valor, todavía quedaron muy lejos del límite superior teórico estimado de ~$2.2B, lo que indica que la tarea está lejos de estar saturada.
• Patrones de Comportamiento:
  • Exploración vs. Explotación: Los modelos con mejor desempeño (Opus 4.8, GPT-5.5) exploraron activamente diversas estrategias, simularon escenarios futuros y se adaptaron con frecuencia. En contraste, los modelos más débiles adoptaron estrategias pasivas de "preservación de efectivo" o fallaron en coordinar el crecimiento con la calidad.
  • Analítica Sofisticada: Los agentes fuertes escribieron código para simular cohortes de clientes para el pronóstico de caja (Opus 4.8) y minaron el historial de negociaciones para inferir preferencias ocultas de los clientes (GPT-5.5).
  • Uso de Herramientas: Los modelos exitosos distribuyeron las acciones de manera más uniforme entre las herramientas y asignaron un mayor porcentaje del gasto de desarrollo a mejoras específicas dirigidas a grupos determinados en comparación con otros modelos.
• Estudios de Ablación:
  • Dificultad de la Competencia: Eliminar a los competidores o reducir su adaptabilidad redujo significamente la dificultad de la tarea, confirmando que la presión de mercado no estacionaria es un componente crítico de desafío.
  • Horizonte Temporal: Incluso cuando se acortó el horizonte a 50 días, la mayoría de los modelos no lograron generar ganancias positivas, lo que sugiere que los agentes actuales también tienen dificultades con la orquestación a corto plazo.
  • Sensibilidad al Harness: Cambiar a harnesses de agentes estándar (por ejemplo, Claude Code, Codex) resultó en significativamente menos acciones y un desempeño inferior, resaltando la importancia del entorno de ejecución.

Significado y Reivindicaciones

El artículo afirma que CEO-BENCH da un "primer paso hacia la medición de la inteligencia requerida para impulsar un progreso sostenido y adaptativo a lo largo del tiempo". Destaca una brecha crítica entre la competencia local de herramientas de los modelos actuales y el control estratégico sostenido requerido para la operación en el mundo real.

Los autores sostienen que, si bien los agentes pueden ejecutar tareas individuales, fallan al integrar estas capacidades en un comportamiento coherente y adaptativo durante horizontes extendidos cuando se enfrentan a retroalimentación retardada, estados ocultos y condiciones cambiantes. El benchmark revela un "margen de mejora" (headroom) sustancial para que los modelos futuros mejoren en su capacidad de:

1. Inferir estructuras ocultas a partir de datos ruidosos.
2. Pronosticar consecuencias retardadas.
3. Adaptarse a la presión competitiva.
4. Coordinar decisiones interdependientes.

El artículo concluye que, para ir más allá de los ejecutores de tareas aisladas, el campo necesita evaluaciones que prueben si los agentes pueden organizar sistemas evolutivos hacia objetivos distantes, una capacidad que CEO-BENCH está diseñado para medir.