Resumen Técnico: ClawForge

Enunciado del Problema

Las evaluaciones de agentes interactivos enfrentan actualmente una tensión fundamental entre la construcción escalable y la evaluación realista de flujos de trabajo. Los enfoques existentes dependen en gran medida de tareas redactadas a mano, que son costosas de extender y revisar, o de evaluaciones estáticas de prompts que pasan por alto fallos que solo ocurren cuando los agentes operan sobre un estado persistente. Crucialmente, la mayoría de las evaluaciones interactivas actuales inicializan las tareas desde un "estado limpio", fallando en probar sistemáticamente cómo los agentes manejan artefactos preexistentes parciales, desactualizados o conflictivos. Esta brecha deja sin medir un aspecto central de la competencia en flujos de trabajo: la corrección que depende del estado final de un entorno en vivo en lugar de meramente de una respuesta textual plausible o de una secuencia de comandos.

Metodología

Los autores presentan ClawForge, un marco de referencia respaldado por un generador diseñado para flujos de trabajo ejecutables en línea de comandos bajo conflicto de estado. A diferencia de las colecciones de prompts estáticas, ClawForge trata cada tarea como una especificación ejecutable compuesta por cinco componentes acoplados:

1. Instrucción ($x$): Un comando en lenguaje natural.
2. Estado Inicializado ($S_0$): Un estado de entorno sembrado que contiene artefactos preexistentes (que pueden ser válidos, desactualizados o conflictivos).
3. Trajetoria de Referencia ($C^\star$): Una secuencia de comandos de verdad fundamental derivada de ejecutar el flujo de trabajo previsto contra el estado inicializado.
4. Verificaciones Ejecutables ($E$): Validadores que verifican las transiciones de estado requeridas y los efectos secundarios observables.
5. Metadatos ($m$): Información estructurada sobre familias de escenarios y categorías de habilidades.

Pipeline de Generación y Ejecución

El marco compila plantillas de escenarios y ranuras fundamentadas (por ejemplo, ciudad, zona horaria, destinatario) en especificaciones de tareas reproducibles. El entorno de ejecución expone una interfaz estilo CLI sobre superficies de flujo de trabajo que incluyen tareas, calendarios, correo electrónico, mensajería, archivos, configuración de tiempo de ejecución y clima.

• Despliegue con Estado: Los agentes interactúan paso a paso en un bucle con estado. El entorno ejecuta comandos, registra efectos que cambian el estado y construye la siguiente observación basándose en el estado actualizado.
• Evaluación Primero por Resultado: La evaluación se realiza sobre un estado final normalizado ($\hat{S}$) y efectos secundarios observables en lugar de una coincidencia exacta de la trayectoria. Esto permite que múltiples secuencias de comandos válidas aprueben si producen las transiciones de estado requeridas.
• Puntuación: El marco reporta dos métricas:
  • Precisión Estricta: La fracción de tareas donde cada verificación requerida pasa.
  • Puntuación de Crédito Parcial: Un promedio ponderado que mide cuánto del flujo de trabajo se completó correctamente, distinguiendo entre fallos tempranos y cierres de "casi acierto".

Contribuciones Clave

1. Marco ClawForge: Un sistema para la construcción automatizada de tareas, la ejecución con estado y la evaluación primero por resultado que mantiene la reproducibilidad y la extensibilidad en las evaluaciones interactivas.
2. ClawForge-Bench: Una instanciación concreta del marco que contiene 17 familias de escenarios organizadas en 6 categorías de habilidades:
   • Evitación de Duplicados
   • Completado de Brechas
   • Transferencia de Información
   • Razonamiento Multi-fuente
   • Reparación de Estado
   • Completado de Flujo de Trabajo
3. Análisis de Modos de Fallo: La evaluación se dirige específicamente a modos de fallo realistas como el completado consciente de duplicados, la reparación de estado desactualizado, la sustitución de estado incorrecto, la resolución de ramas multi-fuente y el cierre completo del flujo de trabajo.

Resultados Experimentales

Los autores evaluaron siete modelos de vanguardia (incluyendo Kimi-K2.5, variantes de GPT-5 y variantes de Claude 4.6) en ClawForge-Bench. Los hallazgos clave incluyen:

• Baja Saturación: La evaluación está lejos de estar saturada. El modelo de mejor rendimiento (Claude Opus 4.6) logró solo un 45.3% de precisión estricta.
• Dificultad del Conflicto de Estado: "Sustitución de Estado Incorrecto" resultó ser la sección compartida más desafiante, con todos los modelos puntuando por debajo del 17% (el mejor alcanzó el 17.4%). Esto indica una incapacidad significativa para identificar estados desactualizados, preservar partes válidas y reemplazar partes inválidas simultáneamente.
• Separación de Modelos: La brecha de rendimiento más amplia (del 17% al 90%) se observó en el escenario "Reanudación de Flujo de Trabajo Interrumpido". Esta separación está impulsada principalmente por si los agentes inspeccionan el estado existente antes de actuar; los modelos que omiten la inspección tienden a recrear objetos existentes, activando guardias de duplicados.
• Estilos de Fallo: Los análisis de crédito parcial y eficiencia por paso revelaron que muchos fallos son cierres de "casi acierto" en lugar de fallos tempranos. Los modelos a menudo identifican la dirección correcta de reparación pero pasan por alto un efecto secundario final. Además, los modelos exhiben estilos de fallo cualitativamente diferentes: algunos son eficientes en pasos pero pasan por alto operaciones finales, mientras que otros consumen pasos excesivos sin mejorar el cierre.

Significado

El artículo afirma que ClawForge aborda un punto ciego crítico en la evaluación de agentes: la capacidad de gestionar conflictos de estado en flujos de trabajo persistentes. Al ir más allá de la inicialización de estado limpio, la evaluación expone modos de fallo, como la sustitución incorrecta de estado y el fallo al reconocer artefactos válidos existentes, que las evaluaciones estáticas o de estado limpio no pueden observar. Los resultados sugieren que los modelos de vanguardia actuales luchan significativamente con los juicios requeridos en escenarios de conflicto de estado, específicamente al distinguir entre lo que necesita ser reparado versus lo que necesita ser preservado. El marco proporciona un mecanismo para medir sistemáticamente estas capacidades, ofreciendo una visión más diagnóstica de la fiabilidad de los agentes en contextos operativos del mundo real.