Resumen Técnico: CoffeeBench

Planteamiento del Problema

A medida que los agentes de Modelos de Lenguaje Extensos (LLM) avanzan en tareas de largo horizonte, los benchmarks existentes evalúan principalmente agentes individuales interactuando con entornos pasivos o sistemas multi-agente homogéneos. Sin embargo, los sistemas económicos del mundo real son inherentemente heterogéneos, involucrando roles distintos (por ejemplo, agricultores, fabricantes, minoristas) que deben comunicarse, negociar y transaccionar de forma autónoma durante periodos prolongados para perseguir objetivos individuales. Existe una falta de benchmarks capaces de evaluar agentes de LLM en tales ecosistemas económicos multi-agente complejos donde se requiere coordinación estratégica, gestión de inventarios y planificación financiera a lo largo de horizontes de tiempo prolongados.

Metodología

Los autores presentan CoffeeBench, un benchmark diseñado para evaluar agentes de LLM dentro de una economía multi-agente heterogénea simulada.

Diseño del Entorno

• Estructura: La simulación modela una cadena de suministro de café durante un horizonte de 90 días que involucra a seis firmas autónomas: dos agricultores, dos tostadores y dos minoristas.
• Roles y Heterogeneidad: Cada rol tiene funciones económicas, conjuntos de herramientas y restricciones distintas. Los agricultores producen granos verdes; los tostadores los procesan en productos tostados; los minoristas venden a los consumidores.
• Dinámicas Económicas:
  • Gestión del Tiempo: El entorno utiliza una línea de tiempo asíncrona basada en eventos. Los agentes operan dentro de una ventana comercial diaria (09:00–19:00). Las llamadas a herramientas (tool calls) avanzan el tiempo local en 30 minutos. Los agentes pueden ser reactivados por eventos externos (mensajes, ofertas comerciales) incluso mientras están inactivos.
  • Mercado (Marketplace): Un mercado compartido permite el comercio peer-to-peer sin restricciones. Las transacciones involucran retrasos en el envío, condiciones de pago a 30 días (net-30) y posibles intereses por pagos atrasados.
  • Restricciones: Los agentes enfrentan costos operativos diarios fijos, deterioro de inventario (0.5%/día), límites de almacenamiento y reglas de bancarrota (un saldo de caja negativo conduce a la salida del sistema).
  • Demanda: Los minoristas enfrentan un modelo de demanda de consumo competitivo influenciado por el precio, la lealtad a la marca y ruido estocástico, incluyendo un aumento de demanda simulado (Días 40–53).
• Objetivo: Se instruye a cada agente para maximizar el ingreso neto acumulado (Ingresos − COGS − OpEx − Intereses + Ingresos por Intereses) durante la simulación.

Protocolo Experimental

• Configuración: En cada ejecución, el LLM evaluado controla al Tostador A (Roaster A), mientras que las cinco firmas restantes son controladas por agentes de referencia fijos (por defecto, Claude Sonnet 4.6).
• Modelos Evaluados: El estudio prueba cinco modelos cerrados de frontera (GPT-5.5, Claude Opus 4.7, Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro) y dos modelos de pesos abiertos (Kimi K2.6, GLM-5.1).
• Baselines: Se utilizan dos baselines basados en reglas: PassiveRoaster (siempre espera) y HeuristicRoaster (política fija de inventario/precio sin comunicación).
• Gestión de Contexto: Para manejar el horizonte de 90 días, el historial de la trayectoria intermedia se resume una vez que el contexto excede los 160k tokens, reteniendo el prompt del sistema, la trayectoria inicial y los pasos recientes.
• Métricas: La métrica primaria es el Ingreso Neto. Las métricas secundarias incluyen ingresos, volumen de llamadas a herramientas, días de inactividad y conteo de mensajes.

Contribuciones Clave

1. Primer Benchmark Económico Multi-Agente Heterogéneo: CoffeeBench es el primer benchmark que evalúa agentes de LLM en una economía multi-agente con roles económicos distintos y heterogéneos (agricultores, tostadores, minoristas) que interactúan de forma autónoma.
2. Evaluación de Largo Horizonte: Extiende la evaluación más allá de tareas de corto plazo hacia una simulación de 90 días que requiere planificación sostenida, gestión de flujo de caja y adaptación estratégica.
3. Identificación de Modos de Falla: El benchmark revela patologías conductuales específicas en los agentes de LLM, notablemente el modo de falla de "deriva de inactividad" (idle-drift), donde un agente mantiene un razonamiento coherente pero elige repetidamente la inacción.
4. Recursos Abiertos: Los autores liberan el código, las trayectorias de los agentes y los registros completos de interacción para apoyar futuras investigaciones.

Resultados

• Desempeño: Todos los LLM evaluados superaron al baseline pasivo. La mayoría logró un ingreso neto positivo, siendo GPT-5.5 (+$3,109) y Claude Opus 4.7 (+$2,782) los que alcanzaron los ingresos netos medios más altos.
• Impulsores Conductuales:
  • Comunicación: Los modelos con mayor desempeño (GPT-5.5, Claude Opus 4.7) se comunicaron de manera significativamente más activa con sus contrapartes (agricultores y minoristas) en comparación con los modelos de menor desempeño.
  • Uso de Herramientas: La rentabilidad no estuvo estrictamente correlacionada con el volumen de llamadas a herramientas. Kimi K2.6 tuvo un alto uso de herramientas pero menor rentabilidad, sugiriendo que la coordinación efectiva y la estrategia de precios importan más que el volumen de ejecución.
  • Deriva de Inactividad (Idle-Drift): Claude Haiku 4.5 exhibió un modo de falla distintivo, promediando 40 días de inactividad de 90. A pesar de generar trazas de razonamiento coherentes, seleccionó repetidamente wait_for_next_day(), lo que resultó en un ingreso neto negativo (-$630).
• Precios e Inventario: La higiene del inventario por sí sola no garantizó la rentabilidad. Gemini 3.1 Pro mantuvo un inventario ajustado y bajo deterioro, pero alcanzó ingresos de rango medio, mientras que GPT-5.5 logró mayores ingresos mediante un mejor precio B2B realizado y una negociación activa.
• Techo Estratégico: Las estimaciones analíticas sugieren que los modelos actuales alcanzan solo ~13% del techo teórico de ingresos netos bajo supuestos optimistas, lo que indica un margen significativo de mejora en la planificación estratégica de largo horizonte.

Significado y Reivindicaciones

El artículo afirma que CoffeeBench proporciona un marco necesario para evaluar agentes de LLM en entornos económicos realistas y abiertos que van más allá del simple uso de herramientas o la planificación de un solo agente.

• Coherencia Estratégica: Los resultados sugieren que los modelos de frontera actuales carecen de la coherencia estratégica de largo horizonte requerida para comportamientos de mercado complejos, como la coordinación sostenida o el comercio manipulativo, incluso bajo fuertes incentivos (por ejemplo, pruebas de estrés de maximización de ingresos).
• Análisis Conductual: El benchmark identifica con éxito modos de falla específicos como la "deriva de inactividad", ofreciendo una nueva lente para entender cómo se comportan los agentes de LLM durante periodos extendidos cuando se enfrentan a dinámicas multi-agente asíncronas.
• Investigación Futura: Los autores postulan que CoffeeBench puede servir como un banco de pruebas para estudiar comportamientos estratégicos emergentes, incluyendo resultados indeseables como la colusión, y para desarrollar agentes capaces de una toma de decisiones confiable en economías multi-agente.

El artículo concluye que, si bien los modelos actuales muestran promesa, se necesita un progreso sustancial en la planificación de largo horizonte, la comunicación proactiva y la adaptación estratégica para realizar plenamente el potencial de los agentes de LLM en sistemas económicos.