Resumen Técnico: Anchor – Mitigación de la Deriva de Artefactos en la Generación de Benchmarks para Agentes

Declaración del Problema

Los benchmarks actuales para agentes de IA empresariales adolecen de un defecto fundamental en su construcción denominado deriva de artefactos. En la generación tradicional de benchmarks, los cuatro componentes críticos de una tarea—la instrucción ($I$), el entorno ($E$), la solución oráculo ($x^*$) y el verificador ($V$)—se crean a menudo mediante procesos débilmente acoplados. Esta desacoplamiento genera inconsistencias donde los artefactos discrepan sobre los requisitos de la tarea. Por ejemplo, un entorno puede carecer de datos asumidos por la instrucción, un oráculo puede depender de un estado omitido por el entorno, o un verificador puede aceptar resultados no solicitados por la instrucción. Estas inconsistencias resultan en entornos que son irresolubles, susceptibles al hacking de recompensas, o simplemente inconsistentes, creando una brecha entre las puntuaciones de los benchmarks y el rendimiento en producción del mundo real.

Metodología: El Pipeline Anchor

Para abordar la deriva de artefactos, los autores introducen Anchor, un pipeline de generación de tareas que compila los cuatro artefactos de la tarea a partir de una única especificación resuelta. El pipeline opera de la siguiente manera:

1. Formalización: Un experto en el dominio y un ingeniero formalizan un flujo de trabajo empresarial (por ejemplo, priorización de facturas, programación de producción) como un programa de restricciones paramétrico utilizando OR-Tools CP-SAT. Esta especificación incluye variables de decisión, restricciones de reglas de negocio y una métrica objetivo.
2. Resolución: Para un conjunto dado de parámetros ($\theta$), el solucionador CP-SAT rechaza la instancia como inviable o certifica una solución óptima ($x^*_\theta$). Este resultado, combinado con los parámetros y las restricciones, forma una especificación resuelta ($S_\theta$).
3. Compilación Determinista: Cuatro capas de traducción proyectan determinísticamente $S_\theta$ en los artefactos de la tarea:
   • Generador de Instrucciones: Renderiza parámetros, restricciones y objetivos en lenguaje natural.
   • Generador de Configuración: Escribe registros iniciales muestreados en el contenedor del entorno.
   • Generador de Oráculo: Escribe la solución certificada del solucionador como el estado terminal de referencia.
   • Generador de Verificador: Califica los estados terminales frente a las restricciones y el objetivo del programa.

Dado que todos los artefactos son proyecciones deterministas de la misma especificación resuelta, las inconsistencias se mitigan por construcción. El pipeline incluye cinco comprobaciones de extremo a extremo (puntuación de agente sin operación, reproducción de oráculo, juicio de consistencia por LLM, canarios de hacking de recompensas y revisiones aleatorias de expertos) para poner de manifiesto defectos residuales.

Contribuciones Clave

1. El Pipeline Anchor

Un marco novedoso de creación de tareas que unifica la generación de instrucciones, entorno, oráculo y verificador a partir de un único programa de restricciones. Este enfoque asegura que la dificultad sea ajustable mediante parámetros y que las soluciones óptimas estén matemáticamente certificadas, permitiendo currículos de entrenamiento verificables.

2. ERP-Bench

Un benchmark de 300 tareas de largo horizonte que abarca flujos de trabajo de adquisición y fabricación dentro de Odoo 19, un sistema ERP de código abierto de grado de producción.

• Alcance: Cubre 29 patrones de flujo de trabajo, incluyendo reabastecimiento rutinario, recuperación de interrupciones y escenarios de producción y cumplimiento.
• Complejidad: Las tareas involucran datos estructurados (órdenes de venta, órdenes de compra, órdenes de fabricación, listas de materiales) y requieren que los agentes naveguen por reglas de negocio complejas (tiempos de entrega, cantidades mínimas de pedido, restricciones de capacidad).
• Verificación: El verificador utiliza un sistema de puntuación ponderada (25% satisfacción de restricciones, 60% optimalidad, 15% trazabilidad) con puertas de cero absoluto para fallos críticos.

3. Evaluación Exhaustiva

Los autores evaluaron cinco modelos de vanguardia (GPT-5.5, Claude Opus 4.7, GLM-5.1, GLM-5V-Turbo, Kimi K2.5) a través de tres entornos de prueba (codificación, navegador, uso de computadora) en más de 18.000 ensayos.

• Entornos de prueba: Construidos sobre el toolkit de código abierto pi-mono para reflejar andamiajes del mundo real en lugar de envoltorios específicos de benchmarks.
• Métricas: Se evaluaron Pass@1, Pass@5, puntuaciones promedio y la brecha de factibilidad-optimalidad.

Resultados

1. Correlación de Dificultad

La intervención paramétrica de dificultad predice con éxito el rendimiento realizado. En todos los modelos y entornos de prueba, las puntuaciones Pass@5 disminuyen monótonamente desde los niveles fáciles hasta los difíciles:

• Codificación: 70.5% $\to$ 22.3%
• Navegador: 46.5% $\to$ 7.7%
• Uso de computadora: 56.0% $\to$ 9.5%

Parámetros de tarea como el número de centros de trabajo, órdenes de fabricación y proveedores distintos muestran fuertes correlaciones negativas con Pass@1.

2. La Brecha de Factibilidad-Optimalidad

Existe una brecha significativa entre satisfacer las restricciones y lograr la optimalidad. En todos los modelos, los agentes satisfacen las restricciones explícitas de la tarea en el 26.1% de los ensayos, pero alcanzan una solución totalmente óptima solo en el 17.4%. El modelo más fuerte (GPT-5.5 en codificación) muestra una brecha de 23.4 puntos. La degradación de la puntuación se impulsa principalmente por restricciones explícitas rotas (factibilidad) en lugar de compromisos subóptimos entre planes factibles.

3. Rendimiento de los Entornos de Prueba

Los modelos se desempeñan significativamente mejor en el entorno de codificación (impulsado por API) en comparación con los entornos de navegador o uso de computadora.

• Los entornos de interfaz gráfica de usuario (GUI) resuelven de 16 a 56 puntos porcentuales menos de tareas que el entorno de codificación.
• Los entornos de GUI cuestan de 3.1 a 14.3 veces más por tarea intentada debido a un mayor número de turnos (limitaciones de agrupación de acciones en la interfaz de usuario frente a la API).
• No se observaron instancias de hacking de recompensas durante la evaluación.

4. Fiabilidad

Los agentes de vanguardia actuales aún no son lo suficientemente fiables para un despliegue sin supervisión. Si bien Pass@5 (al menos un éxito en cinco ensayos) es medible, Pass5 (que los cinco ensayos tengan éxito) es aproximadamente un orden de magnitud menor (por ejemplo, 9.8% en codificación), lo que indica una alta variabilidad en el rendimiento del agente.

Significado y Afirmaciones

El artículo afirma que Anchor y ERP-Bench proporcionan una receta concreta para construir entornos de evaluación auditables para trabajos de agentes de valor económico. Al formalizar flujos de trabajo empresariales en programas de optimización de restricciones, los autores demuestran que es posible generar benchmarks realistas, verificables y escalables que mitiguen la deriva de artefactos que afecta a las evaluaciones actuales.

Los autores posicionan este trabajo como un paso hacia la reducción de la brecha entre las puntuaciones de los benchmarks y el rendimiento en producción. Señalan que, aunque el marco prioriza tareas factibles, reproducibles y exactamente calificables, es naturalmente adecuado para trabajos empresariales visibles en los estados del sistema terminal (como las operaciones ERP), pero menos adecuado para flujos de trabajo que dependen de juicio tácito o negociación. El lanzamiento del generador de tareas y el conjunto de datos en erpbench.ai tiene como objetivo apoyar investigaciones adicionales sobre el entrenamiento y la evaluación verificable de agentes.