ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents

1. Declaración del Problema

Los benchmarks actuales para agentes de Modelos de Lenguaje (LM) evalúan principalmente solucionadores de tareas "de un solo disparo" dentro de entornos estáticos y de sesión única. Sin embargo, el caso de uso emergente para los agentes LM es el de colegas persistentes que trabajan junto a los humanos durante múltiples días. Este escenario presenta tres desafíos críticos que los benchmarks existentes no abordan:

• Evolución Temporal: El entorno cambia independientemente del agente entre vueltas (por ejemplo, llegan nuevos correos electrónicos, las entradas del calendario se desplazan, los archivos se actualizan). Los agentes deben adaptarse a estos cambios de estado exógenos en lugar de asumir un mundo estático.
• Estado Dinámico: A diferencia de los registros estáticos o las instantáneas en caché, los flujos de trabajo reales involucran servicios con estado donde los datos leídos en el Paso 1 pueden diferir en el Paso 2 debido a factores externos.
• Evidencia Multimodal: Los flujos de trabajo profesionales dependen de evidencia cruda, no transcrita, a través de diversas modalidades (imágenes, PDFs escaneados, audio, video, hojas de cálculo), no solo texto.

Los benchmarks existentes a menudo dependen de un "LLM como juez" para la puntuación, lo que introduce subjetividad y no determinismo, y rara vez simulan el "mundo vivo" donde el entorno muta entre las vueltas del agente.

2. Metodología: El Benchmark ClawMark

ClawMark es un benchmark diseñado para evaluar agentes colegas en un entorno con estado, dinámico y multimodal.

A. Entorno y Arquitectura

• Servicios Aislados con Estado: El benchmark se ejecuta contra cinco servicios aislados con estado dentro de un entorno Docker:
  1. Sistema de archivos
  2. Correo electrónico (GreenMail SMTP/IMAP)
  3. Calendario (Radicale CalDAV)
  4. Base de conocimientos (compatible con Notion)
  5. Hoja de cálculo (compatible con Google Sheets)
• Flujo de Trabajo Multivuelta y Multidía: Cada tarea abarca de 2 a 6 vueltas, donde una vuelta equivale a un día laboral dentro del universo.
• Mutaciones Exógenas: Entre vueltas, el entorno muta independientemente del agente mediante dos mecanismos:
  • Eventos Ruidosos: Anunciados explícitamente en el prompt de "despertar" (por ejemplo, "Llegó un nuevo correo electrónico").
  • Mutaciones Silenciosas: Cambios no anunciados inyectados en los servicios (por ejemplo, una fila de una hoja de cálculo es sobrescrita, un archivo es modificado) sin notificación. El agente debe detectar estos cambios actualizando el estado.
• Entradas Multimodales: La evidencia se entrega como artefactos crudos (fotos, audio, video, PDFs) sin pre-transcripción, requiriendo que los agentes utilicen herramientas (por ejemplo, whisper, ffmpeg, PyMuPDF) para procesarlos.

B. Protocolo de Puntuación (Sin LLM como Juez)

ClawMark emplea un sistema de puntuación totalmente determinista y basado en reglas:

• Verificadores: Cada tarea incluye de 6 a 29 verificadores de Python ponderados que inspeccionan el estado posterior a la ejecución de los servicios aislados.
• Métricas:
  • Puntuación Ponderada: Una métrica continua (0–100) que recompensa el progreso parcial basándose en la tasa de aprobación de los verificadores ponderados.
  • Éxito de la Tarea: Una métrica binaria estricta (0–100%) que requiere que todos los verificadores aprueben.
• Restricciones de Línea Roja: 55 verificadores específicos actúan como "líneas rojas" (restricciones duras). Violarlas (por ejemplo, aprobar una reclamación antes de un informe final, exfiltración de datos) resulta en penalizaciones severas o fallo, independientemente de otro progreso.
• Garantía de Determinismo: Las tareas solo se liberan si dos re-ejecuciones independientes producen veredictos de verificadores idénticos a nivel de bits, asegurando la reproducibilidad sin jueces LLM.

C. Pipeline de Construcción

El benchmark se construyó utilizando un pipeline basado en tareas:

1. Autoría de Tareas: Los diseñadores definen el flujo de trabajo, la rúbrica y los cambios de estado requeridos.
2. Fuente de Evidencia: Se obtienen 1.072 artefactos multimodales crudos mediante recolección web, grabación original o síntesis de IA dirigida para coincidir con el diseño de la tarea.
3. Bucle de Revisión: Un proceso de 3 a 5 rondas que incluye revisión humana, auditorías de IA (verificando "hacking de verificadores" o coincidencias de cadenas frágiles) y revisiones de trayectorias por modelos de referencia.
4. Puerta de Liberación: Las tareas solo se liberan si pasan todas las auditorías y demuestran consistencia determinista en los verificadores.

3. Contribuciones Clave

1. Primer Benchmark de "Mundo Vivo": Introduce un benchmark que combina cronogramas de múltiples días, mutaciones de entorno exógenas y evidencia multimodal cruda.
2. Protocolo de Evaluación Determinista: Establece un sistema de puntuación basado en reglas con 1.537 verificadores que elimina el sesgo del "LLM como juez" y asegura una reproducibilidad idéntica a nivel de bits.
3. Conjunto de Datos Exhaustivo: Libera 100 tareas en 13 escenarios profesionales (por ejemplo, Asistente Clínico, Seguros, EDA, Legal) que involucran 87 roles distintos.
4. Infraestructura Abierta: Libera el benchmark, el sistema de evaluación y el pipeline de construcción para apoyar la investigación reproducible.

4. Resultados Experimentales

Los autores evaluaron siete sistemas de agentes de vanguardia (5 propietarios, 2 de código abierto) utilizando el framework OpenClaw.

Rendimiento General

• Puntuación Ponderada: El mejor desempeño, Claude Sonnet 4.6, logró 75.8. Otros modelos destacados incluyeron a Claude Opus 4.6 (74.6) y GPT-5.4 (72.0).
• Éxito Estricto de la Tarea: La brecha entre el progreso parcial y la finalización completa es masiva. La mejor tasa de Éxito de la Tarea fue solo del 20.0% (Claude Opus 4.6). La mayoría de los modelos resolvieron menos del 15% de las tareas de principio a fin.
• Varianza por Escenario: El rendimiento varió significativamente por dominio. Por ejemplo, los modelos sobresalieron en "EDA" (Automatización de Diseño Electrónico) y "Bienes Raíces", pero lucharon significativamente en "Gestión de Proyectos" (puntuación media ~35.1).

Análisis a Nivel de Vuelta (Adaptación)

• Caída del Día 2: El análisis de 73 tareas de tres vueltas reveló que seis de siete modelos disminuyeron su rendimiento en el Día 2, el punto donde ocurre la primera mutación exógena.
• Recuperación: Para el Día 3, la mayoría de los modelos solo se recuperaron parcialmente, permaneciendo por debajo de sus líneas base del Día 1. Esto destaca que adaptarse al estado cambiante es un punto principal de fallo.
• Eficiencia: No hubo una relación monótona entre el uso de tokens/herramientas y la puntuación. Curiosamente, los modelos con mayor puntuación (Sonnet 4.6, Opus 4.6) también fueron los más eficientes en el uso de herramientas.

Taxonomía de Fallos

El análisis de 10.759 evaluaciones de verificadores reveló dos modos de fallo dominantes:

1. Detección de Cambio Silencioso (56.5% de tasa de fallo): Los agentes a menudo no lograron notar cambios no anunciados en el entorno.
2. Escritura en Backend (53.6% de tasa de fallo): Los agentes a menudo razonaron correctamente pero fallaron en comprometer la acción final al servicio correcto (por ejemplo, guardar un archivo o actualizar una fila).

• Violaciones de Línea Roja: Aunque raras en general (7.1%), se concentraron en tareas específicas. Notablemente, Qwen 3.6 Plus tuvo una tasa de fallo de línea roja significativamente mayor (14.5%) en comparación con los modelos de primer nivel (~3.6%).

5. Significado

ClawMark representa un cambio de paradigma en la evaluación de agentes:

• De Estático a Dinámico: Se aleja de "resuelve este rompecabezas" hacia "gestiona este flujo de trabajo", probando la capacidad del agente para mantener el contexto a lo largo del tiempo y adaptarse al ruido externo.
• Fiabilidad sobre Fluidez: La métrica estricta de Éxito de la Tarea y las restricciones de línea roja enfatizan que, en entornos profesionales, el cumplimiento y la corrección son más críticos que el progreso parcial o la conversación fluida.
• Preparación para el Mundo Real: Los resultados indican que, aunque los modelos de vanguardia pueden manejar razonamiento complejo, actualmente carecen de la robustez necesaria para roles persistentes y autónomos de colegas, particularmente en la detección de cambios de estado silenciosos y la ejecución de actualizaciones de backend confiables.

El lanzamiento de ClawMark proporciona la infraestructura necesaria para impulsar el progreso hacia colegas de IA verdaderamente fiables y persistentes.