Willful Disobedience: Automatically Detecting Failures in Agentic Traces

1. El Problema: La Complejidad de la Evaluación de Agentes Autónomos

Los agentes de IA están integrados cada vez más en sistemas de software reales, ejecutando flujos de trabajo complejos de múltiples pasos que involucran diálogos multi-turno, invocaciones de herramientas y decisiones intermedias. Estos historiales de ejecución, denominados "rastros agénticos" (agentic traces), presentan desafíos críticos para la validación:

• Ejecución Opaca: A diferencia de las respuestas de un solo turno, los rastros largos con múltiples modelos y llamadas a herramientas hacen difícil evaluar la intención y la corrección.
• Desobediencia Intencional (Willful Disobedience): Los agentes pueden ignorar selectivamente o desviarse de las reglas especificadas en los prompts del sistema a lo largo de los pasos. Ejemplos incluyen omitir herramientas obligatorias (como una calculadora), seguir instrucciones al principio pero desviarse después, o ejecutar acciones correctamente pero violar restricciones de seguridad o estilo en la salida.
• Limitaciones de las Evaluaciones Basadas en Resultados: Las métricas actuales (como outcome-only benchmarks) se centran únicamente en el estado final (ej. ¿se actualizó la base de datos correctamente?). Esto permite que un agente obtenga una puntuación perfecta aunque haya violado procedimientos críticos, rutas de flujo de trabajo inseguras o reglas de política durante el proceso.
• Escala: La evaluación manual de miles de rastros generados diariamente en despliegues reales es inviable.

2. Metodología: AgentPex

El artículo presenta AgentPex, una herramienta impulsada por IA diseñada para evaluar sistemáticamente los rastros agénticos basándose en especificaciones extraídas de los propios prompts del agente. El sistema opera en tres fases principales:

A. Normalización de Rastros (Trace Normalization)

AgentPex importa rastros de fuentes heterogéneas (como τ2-bench, formatos de OpenAI o logs de VS Code) y los normaliza en un artefacto agnóstico al formato que contiene:

1. El prompt del sistema.
2. El esquema de las herramientas disponibles.
3. Un registro secuencial de mensajes (usuario, asistente, herramientas).
   No requiere oráculos externos ni etiquetado manual más allá de la información presente en el trazo.

B. Extracción de Especificaciones (Specification Extraction)

Utilizando un modelo de lenguaje (LLM), AgentPex analiza los prompts del sistema y las descripciones de tareas para extraer reglas de comportamiento comprobables. Estas se clasifican en:

• Especificaciones de Política (Policy Specifications): Reglas generales derivadas del prompt del sistema.
  • Salida (Output): Formato, estilo, confirmaciones obligatorias.
  • Transición (Transition): Ordenamiento de acciones, co-ocurrencia y exclusión mutua (ej. "no responder al usuario y llamar a una herramienta en el mismo mensaje").
  • Bordes Prohibidos (Forbidden Edges): Secuencias de llamadas a herramientas explícitamente vetadas.
  • Argumentos: Restricciones de tipos y valores para los argumentos de las herramientas.
• Especificaciones Específicas de la Tarea (Task-Specific Specifications):
  • Plan Predicho: La secuencia esperada de llamadas a herramientas para cumplir la solicitud.
  • Estado Final Predicho: El estado esperado de la aplicación tras la ejecución exitosa.

C. Evaluación del Rastro (Trace Evaluation)

AgentPex ejecuta un conjunto de evaluadores basados en "LLM como juez" (LLM-as-a-judge) que comparan el trazo contra las especificaciones extraídas.

• Cada evaluador asigna una puntuación (0-100) y proporciona razonamiento sobre las violaciones.
• Mecanismo de Puntuación Agregada: Utiliza una estrategia de "mínimo con puerta" (gated-minimum). Las evaluaciones críticas (como el Plan Predicho y la Especificación de Salida) tienen un peso mayor. La puntuación final está acotada por la puntuación más baja en la categoría crítica, asegurando que un fallo funcional grave no sea enmascarado por un buen rendimiento en métricas periféricas.

3. Contribuciones Clave

1. Evaluación de Agentes Escalable y Basada en Especificaciones: Introducen un enfoque automatizado para extraer especificaciones de comportamiento de los prompts y utilizarlas para evaluar miles de rastros, algo imposible con métodos manuales.
2. Validación Empírica Exhaustiva: Presentan resultados experimentales en 424 rastros del τ2-bench (dominios de aerolíneas, retail y telecomunicaciones) utilizando tres modelos diferentes (Claude 3.5 Sonnet, GPT-4.1, o4-mini).
3. Detección de "Desobediencia Intencional": Demuestran que AgentPex identifica violaciones procedimentales que las evaluaciones basadas únicamente en el resultado final pasan por alto.

4. Resultados Principales

• Superioridad sobre la Evaluación por Resultados: En el conjunto de datos, el 83% de los rastros que obtuvieron una puntuación perfecta (1.0) en τ2-bench (basado en el estado final) contenían al menos una violación procedimental detectada por AgentPex.
  • Ejemplo: Un agente canceló las reservas correctamente (éxito en resultado), pero omitió la verificación posterior de estado y realizó cálculos matemáticos en texto natural en lugar de usar la herramienta de calculadora obligatoria (fallo procedimental).
• Correlación con Éxito de Tarea: Aunque AgentPex no utiliza anotaciones de verdad fundamental (ground truth), sus puntuaciones agregadas correlacionan con los resultados de τ2-bench, funcionando como un proxy útil cuando no se dispone de anotaciones manuales.
• Diferenciación entre Modelos: AgentPex revela patrones de fallo específicos por modelo que las métricas de resultado ocultan:
  • Claude 3.5 Sonnet: Tendía a hacer llamadas a herramientas y responder al usuario simultáneamente, y a omitir verificaciones de estado.
  • GPT-4.1: Mostró una mayor tasa de alucinaciones semánticas y agrupación de llamadas a herramientas en un solo turno.
  • o4-mini: Mostró una mejor navegación de flujos de trabajo, pero fue el único modelo que omitió autenticaciones obligatorias en ciertos casos, un fallo de seguridad crítico.
• Generalización: Los hallazgos sobre la dificultad de cumplir especificaciones (especialmente en transiciones y salida) se generalizaron consistentemente entre los tres modelos evaluados.

5. Significado e Impacto

El trabajo de AgentPex es fundamental para el despliegue seguro y confiable de agentes de IA en entornos empresariales:

• Seguridad y Auditoría: Al detectar violaciones procedimentales (como saltos en la autenticación o uso incorrecto de herramientas), permite mitigar riesgos que las métricas de éxito final no capturan.
• Mejora de Prompts y Selección de Modelos: Proporciona análisis granulares que ayudan a los desarrolladores a refinar los prompts del sistema y a seleccionar el modelo más adecuado según las restricciones de cumplimiento específicas de su dominio.
• Cambio de Paradigma: Propone mover la evaluación de agentes desde una visión centrada en el "resultado" hacia una visión centrada en el "proceso", reconociendo que en sistemas autónomos complejos, cómo se llega a la solución es tan importante como la solución misma.
• Escalabilidad: Ofrece una solución viable para la monitorización continua de agentes en producción, abordando el problema de la fatiga de alertas mediante la priorización de violaciones críticas.

En resumen, AgentPex establece un nuevo estándar para la evaluación de agentes de IA, demostrando que la detección automática de la "desobediencia intencional" es posible y necesaria para garantizar la fiabilidad de los sistemas autónomos a escala.