Can LLMs Be CEOs? Benchmarking Strategic Resource Reallocation with Multi-Role Agent Simulation

Resumen Técnico: ¿Pueden los LLM ser CEOs? Evaluación de la Reasignación Estratégica de Recursos mediante Simulación de Agentes Multirrol

Planteamiento del Problema
Las evaluaciones actuales de los Modelos de Lenguaje de Gran Tamaño (LLM) se centran predominantemente en tareas cognitivas aisladas —como el razonamiento, la recuperación de conocimientos y la racionalidad económica en entornos estilizados—. Estos benchmarks no logran abordar el desafío definitorio de la toma de decisiones ejecutivas en el mundo real: la integración de recomendaciones conflictivas de partes interesadas especializadas bajo condiciones de asimetría de información, restricciones organizacionales y dependencias temporales. Específicamente, existe una falta de pruebas sistemáticas sobre si los agentes LLM pueden realizar una reasignación estratégica de recursos a nivel de CEO, una decisión de alto impacto que requiere la síntesis de flujos de información fragmentados y, a menudo, contradictorios en una acción coherente.

Metodología: CEO-BENCH
Para abordar esta brecha, los autores presentan CEO-BENCH, un benchmark multiagente diseñado para evaluar a los LLM en la reasignación estratégica de recursos a través de unidades de negocio.

• Definición de la Tarea: La tarea central implica que un agente LLM actúe como un CEO que supervisa una empresa de múltiples unidades de negocio. El agente debe generar un plan de reasignación de recursos (trasladando capital, talento y atención) a través de múltiples rondas. El espacio de acción es continuo, lo que requiere la construcción de un plan en lugar de la selección entre opciones predefinidas.
• Arquitectura de Agentes: El benchmark emplea una arquitectura de múltiples vistas condicionada por roles. El agente CEO recibe entradas estructuradas de cuatro asesores de la alta dirección (CFO, CTO, COO, CMO), cada uno con prioridades, señales privadas y restricciones distintas.
  • Asimetría de Información: Los asesores comparten el escenario de la empresa pero poseen diferentes señales privadas (por ejemplo, el CFO ve restricciones de financiamiento; el CTO ve cuellos de botella en la infraestructura), lo que obliga al CEO a reconciliar recomendaciones que son lógicamente racionales a nivel local pero incompatibles a nivel global.
  • Dinámica de Multi-ronda: Los escenarios evolucionan a lo largo del tiempo, donde las asignaciones previas afectan los estados organizacionales futuros, permitiendo la evaluación de la consistencia estratégica sensible a la historia.
• Diseño de Escenarios: El benchmark incluye 13 escenarios divididos en cuatro niveles de dificultad (Fácil, Tensión, Frágil, Adversario) para probar el desempeño bajo niveles variables de conflicto interfuncional e incertidumbre. A diferencia de los benchmarks tradicionales, CEO-BENCH evita una única "respuesta correcta", evaluando en su lugar la alineación con múltiples perfiles estratégicos aceptables (por ejemplo, crecimiento agresivo frente a reequilibrio secuenciado).
• Métricas de Evaluación: El desempeño se mide a través de cuatro dimensiones:
  1. Integración de Roles: La capacidad de sintetizar perspectivas conflictivas en lugar de colapsar en un único punto de vista funcional.
  2. Audacia Condicional: La calibración de la agresividad estratégica al estado organizacional específico (evitando el conservadurismo por defecto o la temeridad).
  3. Juicio Sensible a la Historia: La incorporación de trayectorias organizacionales previas para evitar la optimización de corto plazo.
  4. Validez del Plan: Adherencia a restricciones estrictas (balance de masa, topes) y ajuste estratégico.

Resultos Clave
Los experimentos se realizaron en cinco modelos de frontera (Gemma-4-27B, GPT-OSS-20B, Qwen-Plus, Claude-3.5-Haiku y Nemotron-9B) a través de los 13 escenarios.

• Validez Estructural vs. Calibración Estratégica: Todos los modelos obtuvieron puntuaciones altas en Validez del Plan (generación de planes estructuralmente factibles), pero el desempeño divergió drásticamente en la Calibración Estratégica (audacia e integración).
• Desempeño de los Modelos:
  • Gemma-4-27B y GPT-OSS-20B demostraron el desempeño general más sólido, produciendo el mayor número de planes válidos y mostrando robustez en entornos "Frágiles" y "Adversarios".
  • GPT-OSS-20B destacó en Integración de Roles (81/100), articulando eficazmente los compromisos (trade-offs) entre los asesores.
  • La Audacia Condicional fue la dimensión más débil en todos los modelos. Muchos modelos cayeron en una ejecución conservadora incluso cuando el escenario demandaba una acción audaz.
• Modos de Fallo: El estudio identificó patrones de fallo sistemáticos:
  • Captura por Asesor Único: Los modelos a menudo sobreponderaron la perspectiva de un asesor (por ejemplo, siguiendo la lógica de crecimiento del CMO o el control de riesgos del CFO) mientras ignoraban a los demás.
  • Predeterminación Conservadora: Una tendencia hacia la sub-reasignación, particularmente en modelos como Nemotron y Qwen.
  • Amnesia Histórica: Los modelos más débiles trataron cada ronda como un problema de optimización nuevo, ignorando las rutas de asignación previas y provocando estrategias inconsistentes (por ejemplo, la repetición de la sobre/sub-financiación).
  • Compromiso entre Integración y Audacia: Los modelos que se involucraron profundamente con perspectivas conflictivas tendieron a producir acciones menos decisivas, mientras que aquellos que fueron decisivos a menudo fallaron en integrar diversas visiones.

Significancia y Reivindicaciones
El artículo delinea el límite de capacidad actual de los LLM como tomadores de decisiones organizacionales. Los autores sostienen que, si bien los modelos de frontera pueden generar planes estructuralmente válidos, tienen dificultades con el juicio ejecutivo integrativo requerido para reconciliar el conflicto interfuncional y calibrar la audacia estratégica bajo restricciones dinámicas.

La contribución principal es la demostración de que las diferencias de desempeño significativas en la toma de decisiones ejecutivas emergen solo cuando se imponen conjuntamente el conflicto de roles, la asimetría de información y las restricciones dinámicas. Los hallazgos sugieren que el sesgo hacia la cautela y la dificultad para sintetizar lógicas funcionales conflictivas son obstáculos significativos para los sistemas de asistencia ejecutiva basados en IA. El benchmark proporciona un marco para que la investigación futura pase de evaluar tareas de razonamiento aislado hacia la evaluación de comportamientos organizacionales complejos, jerárquicos y dependientes del tiempo.