Resumen Técnico: EnterpriseClawBench

Declaración del Problema

Los modelos de lenguaje extensos (LLMs) están transitando de ser asistentes de solo texto a convertirse en agentes que operan dentro de espacios de trabajo ejecutables para producir artefactos empresariales. Sin embargo, los marcos de evaluación existentes enfrentan tres brechas críticas cuando se aplican a entornos empresariales:

1. Realismo vs. Escalabilidad: Muchos benchmarks dependen de tareas creadas por humanos o simuladas que no logran capturar la complejidad y el ruido de las demandas empresariales que ocurren naturalmente.
2. Evaluación Multidimensional: Las métricas actuales suelen colapsar el rendimiento en una única puntuación del modelo, ignorando el acoplamiento crítico entre el "harness" del agente (el andamiaje que permite el uso de herramientas) y el modelo base, así como la calidad de los artefactos entregados, el costo y el tiempo de ejecución.
3. Evaluación de Habilidades: Los benchmarks existentes rara vez prueban las habilidades reutilizables como unidades de transferencia. A menudo evalúan las habilidades al nivel de elementos de tareas individuales en lugar de evaluar si una habilidad destilada de una clase de tarea mejora el rendimiento en tareas no vistas dentro de la misma clase.

Metodología

Los autores presentan EnterpriseClawBench, un benchmark construido a partir de un archivo propietario de sesiones de agentes del mundo real de una startup de IA con más de 100 empleados. Los datos abarcan de marzo a mayo de 2026 e incluyen turnos de chat, archivos cargados, trazas de herramientas y estados persistentes del espacio de trabajo.

Pipeline de Construcción

El pipeline convierte 5,291 instancias de tareas brutas en 852 tareas de benchmark reproducibles mediante un riguroso proceso de filtrado y transformación (Figura 2 y 3):

1. Puertas Mecánicas: Los candidatos se someten a filtrado de longitud, recuperación de accesorios (asegurando que los archivos de entrada existan), recuperación de redacción (restituyendo URLs/rutas enmascaradas desde el contexto) y verificaciones de alcanzabilidad de red. Esto reduce el grupo a 3,813 candidatos mecánicamente utilizables.
2. Autocontención y Reescritura: Las tareas son revisadas para asegurar su autocontención. Las conversaciones ruidosas de múltiples turnos son reescritas en prompts de benchmark de un solo turno con referencias explícitas de material y requisitos de entregables.
3. Asignación de Taxonomía: Las tareas son etiquetadas con clases de roles (por ejemplo, Producto, Ingeniería, RR.HH.) y subclases de habilidades (45 subclases totales a través de 8 clases de roles).
4. Generación de Rúbricas: Cada tarea se empaqueta con reglas estrictas (verificaciones objetivas de tipos de archivo, conteos, validez de contenido) y rúbricas semánticas para la evaluación de texto y visual.
5. Preflight del Sandbox: Las tareas finales pasan por verificaciones de sandbox para asegurar que los inputs puedan ser cargados, los agentes puedan ejecutar y los artefactos puedan ser descargados.

Marco de Evaluación

El benchmark evalúa combinaciones de harness–modelo en lugar de modelos de forma aislada.

• Leaderboard: Cubre 3 combinations de 5 harnesses (Claude Code, Codex, DeepAgents, Hermes, OpenClaw) y 9 modelos (incluyendo GPT-5.5, Sonnet 4.6, Opus 4.6, Kimi K2.6, etc.).
• Puntuación:
  • Reglas Duras: Verificaciones objetivas de existencia de archivos, formato y validez de contenido.
  • Jueces Semánticos: Jueces de LLM multi-métrica califican la calidad de la salida en cinco dimensiones: precisión fundamentada, relevancia de la tarea, profundidad sustantiva, utilidad práctica y calidad de comunicación.
  • Enrutamiento: Los outputs extraíbles por texto son juzgados por modelos de texto; los artefactos visuales (HTML, PDFs, hojas de cálculo, diapositivas) se renderizan como imágenes para jueces visuales.
• Evaluación de Habilidades: Un protocolo específico prueba la transferencia de habilidades destilando una habilidad de tareas de dominio interno (por ejemplo, generación de páginas frontend) e inyectándola en un agente consumidor para evaluar su desempeño en tareas no vistas de la misma subclase.

Resultados Clave

Desempeño en el Subconjunto Lite (120 Tareas)

• Desempeño No Saturado: La mejor configuración (Codex con GPT-5.5) logra una puntuación de solo 0.663, lo que indica un margen significativo de mejora en la entrega de artefactos empresariales.
• Acoplamiento Harness-Modelo: El desempeño depende altamente del harness. Por ejemplo, los modelos de la familia Claude (Sonnet 4.6, Opus 4.6) funcionan bien bajo Claude Code, DeepAgents y OpenClaw (puntuaciones 0.62–0.64) pero caen significativamente bajo Hermes (0.458). El análisis de trazas sugiere que Hermes bloquea la exploración necesaria del entorno y la ejecución de scripts, lo que lleva a una generación de artefactos incompleta.
• Costo-Efectividad: Existe una relación no lineal entre el costo y la puntuación. Pasar de sistemas de bajo costo a sistemas de costo medio genera grandes ganancias, pero los rendimientos marginales disminuyen en los niveles de costo más altos.
• Variación de Rol y Artefacto:
  • Roles: Las tareas de Marketing y Finanzas/Operaciones son las más difíciles, probablemente debido a los pesados requerimientos de comprensión de documentos y convenciones específicas de la empresa.
  • Artefactos: GPT-5.5 destaca en HTML, código y JSON, mientras que Opus 4.6 lidera en hojas de cálculo. Notablemente, los jueces visuales tienden a inflar las puntuaciones para hojas de cálculo y presentaciones en comparación con los entregables de solo texto.
• Transferencia de Habilidades: La inyección de habilidades genera alta varianza. GPT-5.5 actúa como un fuerte creador de habilidades (transferencia promedio positiva), mientras que Haiku 4.5 actúa como un creador débil (transferencia promedio negativa). Crucialmente, un consumidor fuerte (ej. DeepAgents/Haiku 4.5) aún puede beneficiarse de un creador débil, mientras que los consumidores fuertes pueden verse degradados por elecciones de creadores pobres.

Fiabilidad de los Jueces

• Texto vs. Visual: Los jueces de texto muestran una fuerte concordancia con los evaluadores humanos (correlación de Spearman 0.790, MAE 0.134). Los jueces visuales, sin embargo, muestran una débil concordancia con humanos (Spearman -0.259, MAE 0.303), siendo Sonnet 4.6 sustancialmente más conservador que los evaluadores humanos. Esto resalta una brecha de madurez en la evaluación de artefactos multimodales.

Principales Contribuciones

1. Protocolo de Construcción Automatizado: Un pipeline reproducible que convierte sesiones empresariales ruidosas y propietarias en tareas de benchmark estandarizadas con accesorios, taxonomías y rúbricas.
2. Marco de Evaluación Multidimensional: Un protocolo que reporta conjuntamente el desempeño de la combinación harness–modelo, la calidad de la entrega de artefactos, las puntuaciones semánticas de texto/visual, el costo y el tiempo de ejecución, yendo más allá de las métricas de puntuación única.
3. Soporte para la Generalización de Habilidades: Infraestructura nativa para evaluar la transferencia de habilidades al nivel de clase de tarea utilizando una matriz consumidor–creador.

Significancia y Limitaciones

El artículo argumenta que la evaluación de agentes empresariales debe evolucionar para reportar la combinación harness–modelo y la calidad de la entrega de artefactos en lugar de colapsar el desempeño en una sola puntuación de modelo. Los resultados demuestran que los sistemas actuales están lejos de resolver tareas empresariales del mundo real, particularmente aquellas que requieren el manejo de documentos complejos y salida visual.

Limitaciones:

• Privacidad de Datos: Debido a la naturaleza propietaria de los datos fuente (sesiones internas, adjuntos, contexto de negocio), el dataset del benchmark no se publica. La contribución es el protocolo de construcción y el marco de evaluación.
• Generalizabilidad: El benchmark se deriva de un despliegue empresarial único, que puede no representar todas las estructuras organizacionales o flujos de trabajo.
• Imperfección de los Jueces: Los jueces de LLM, particularmente para artefactos visuales, siguen siendo imperfectos y requieren calibración frente a evaluadores humanos.

Los autores concluyen que EnterpriseClawBench proporciona una base necesaria para comprender el comportamiento acoplado de los agentes en entornos realistas impulsados por artefactos, enfatizando que "la evaluación de agentes empresariales debe reportar combinaciones de harness–modelo, entrega de artefactos, calidad visual, costo, tiempo de ejecución y comportamiento de transferencia de habilidades".