$\texttt{YC-Bench}$: Benchmarking AI Agents for Long-Term Planning and Consistent Execution

Resumen Técnico: YC-Bench

1. El Problema: Coherencia a Largo Plazo en Agentes de IA

A medida que los agentes basados en Modelos de Lenguaje Grande (LLM) enfrentan tareas cada vez más complejas, surge una pregunta crítica: ¿pueden mantener la coherencia estratégica a lo largo de horizontes temporales extensos?

• Limitaciones actuales: La mayoría de los benchmarks existentes (como PlanBench o Vending-Bench) prueban la planificación en entornos con recompensas inmediatas o bucles de fallo cortos. No evalúan adecuadamente la capacidad del agente para:
  • Planificar bajo incertidumbre.
  • Aprender de retroalimentación retardada (delayed feedback).
  • Adaptarse cuando los errores tempranos se acumulan y tienen consecuencias compuestas.
  • Mantener la alineación con el objetivo principal a través de cientos o miles de interacciones sin caer en comportamientos repetitivos o alucinaciones.

2. Metodología: YC-Bench

Los autores introducen YC-Bench, un nuevo benchmark diseñado para evaluar la capacidad de un agente para gestionar una startup simulada durante un horizonte de un año (cientos de turnos).

• Formalización: El entorno se define como un Proceso de Decisión de Markov Parcialmente Observable (POMDP).
  • Estado: Incluye fondos, nómina, prestigio, empleados y tareas activas.
  • Observación: El agente recibe un resumen estructurado, pero debe consultar activamente detalles ocultos (habilidades de empleados, fiabilidad de clientes).
  • Acciones: Comandos CLI para navegar el mercado, aceptar tareas, asignar empleados y gestionar la simulación temporal.
• Mecánicas Clave del Entorno:
  • Clientes Adversarios: Aproximadamente un tercio de los clientes son "adversarios". Sus tareas inflan artificialmente la cantidad de trabajo requerido, haciendo imposible cumplir los plazos. Su identidad es oculta y debe inferirse mediante el análisis de fallos históricos.
  • Dinámica Compuesta:
    • Confianza (Trust): Ganar confianza con clientes no adversarios reduce la carga de trabajo futura y desbloquea tareas de mayor recompensa.
    • Nómina Creciente: Cada tarea completada aumenta el salario de los empleados asignados, creando una presión financiera constante.
    • Prestigio: Necesario para acceder a tareas de mayor valor.
  • Ventana de Contexto y Memoria: El historial de conversación se truncará a los últimos 20 turnos. El agente debe utilizar un "Scratchpad" (pizarra persistente) inyectado en el prompt del sistema para retener información crítica a largo plazo (ej. lista negra de clientes, estrategias de asignación).
• Objetivo: Maximizar los fondos finales de la empresa al cabo de un año, partiendo de una capital inicial de $200,000.

3. Contribuciones Clave

1. Nuevo Benchmark de Coherencia a Largo Plazo: YC-Bench es el primer entorno que combina gestión de recursos, dinámica adversaria oculta y recompensas retardadas en una simulación de negocio de un año.
2. Evaluación Exhaustiva de Modelos: Se probaron 12 modelos (proprietarios y de código abierto), incluyendo GPT-5.4, Claude Opus 4.6, Gemini 3, Qwen3.5, GLM-5 y Grok 4.20, ejecutados en 3 semillas cada uno (36 ejecuciones totales).
3. Análisis de Fallos y Eficiencia: Identificación de modos de fallo específicos (como la sobre-paralelización) y un análisis de la relación costo-rendimiento (API cost vs. revenue in-game).
4. Reproducibilidad: El benchmark es de código abierto, reproducible y configurable.

4. Resultados Principales

• Rendimiento General: De los 12 modelos evaluados, solo 3 lograron consistentemente superar el capital inicial de $200K y generar un beneficio sustancial:
  1. Claude Opus 4.6: Promedio final de $1.27M.
  2. GLM-5: Promedio final de $1.21M (con un costo de inferencia 11 veces menor que Opus).
  3. GPT-5.4: También superó el millón, aunque con menor eficiencia de costos que GLM-5.
  • Nota: 7 de los 12 modelos terminaron en bancarrota o con pérdidas.
• El Scratchpad es Crítico: El uso efectivo del scratchpad fue el predictor más fuerte de éxito. Los modelos que no registraban información sobre clientes adversarios o estrategias en la pizarra repetían errores costosos tras la truncación del contexto.
• Detección de Clientes Adversarios: Fue el modo de fallo principal, responsable del 47% de las bancarrotas. La mitad de los modelos aceptaron tareas de clientes adversarios a una tasa superior a su participación natural en el mercado (~32%).
• Asignación de Empleados: Un segundo modo de fallo mayor fue la asignación incorrecta de empleados (sub-estimación de la productividad o sobrecarga de tareas), lo que llevó al incumplimiento de plazos.
• Eficiencia de Costos:
  • Kimi-K2.5 mostró la mejor relación costo-rendimiento, superando a los modelos de mayor rendimiento en términos de ingresos generados por dólar de costo de API.
  • Los modelos de punta (como Opus 4.6) generaron altos ingresos pero con un costo de inferencia desproporcionado.

5. Análisis de Errores y Modos de Fallo

El estudio identificó cuatro perfiles de fallo que revelan una "incoherencia a largo plazo":

1. Ausencia de Reflexión (Gemini 3 Flash): Ejecuta bucles rígidos sin adaptar la estrategia ni usar el scratchpad, aceptando ciegamente tareas adversarias.
2. Brecha entre Razonamiento y Ejecución (Claude Sonnet 4.6): Deriva estrategias correctas en el scratchpad (ej. "evitar este cliente") pero falla al actuar sobre ellas, ignorando sus propias reglas.
3. Inacción Consciente (Grok 4.20): Identifica correctamente los problemas (ej. "runway de 1 mes") pero no toma medidas correctivas, manteniendo tareas fallidas activas.
4. Reflexión Sostenida (Claude Opus 4.6): El único modelo que logra un ciclo de "percibir → registrar → recuperar → actuar" de manera consistente, aunque aún comete errores ocasionales al violar sus propias listas negras.

6. Significado e Impacto

YC-Bench demuestra que, a pesar de los avances en capacidades de razonamiento, los modelos de vanguardia aún luchan con la coherencia estratégica a largo plazo.

• Brecha de Capacidad: La capacidad de mantener un plan coherente a través de cientos de turnos y adaptarse a dinámicas cambiantes sigue siendo un cuello de botella significativo.
• Importancia de la Memoria: La habilidad para gestionar la memoria a largo plazo (a través de scratchpads o mecanismos similares) es tan crucial como la capacidad de razonamiento lógico.
• Implicaciones para la Producción: El benchmark sugiere que para aplicaciones del mundo real que requieren planificación a largo plazo, los modelos no solo deben ser "inteligentes", sino también eficientes en costos y capaces de evitar la acumulación de errores.

En conclusión, YC-Bench proporciona una métrica rigurosa para evaluar la verdadera capacidad de los agentes de IA para operar en entornos complejos, inciertos y de largo plazo, revelando que la mayoría de los modelos actuales aún no están listos para gestionar operaciones autónomas sostenibles sin supervisión humana constante.