Resumen Técnico: CONTRACTBENCH

Definición del Problema: Contratos de Observación

Los agentes de Modelos de Lenguaje Grande (LLM) se despliegan cada vez más para ejecutar flujos de trabajo de múltiples pasos que involucran APIs externas. Si bien las evaluaciones existentes determinan si los agentes pueden alcanzar un estado objetivo final, a menudo pasan por alto un modo de fallo crítico en producción: la violación de los contratos de observación.

Un contrato de observación se define como un artefacto devuelto por una herramienta (por ejemplo, una URL con firma previa, un parámetro de estado OAuth, un token de sesión o un webhook protegido por HMAC) que lleva dos restricciones ortogonales impuestas por el sistema externo:

1. Validez Temporal: El artefacto debe utilizarse dentro de una ventana de tiempo específica (Tiempo de Vida, TTL) antes de expirar o volverse obsoleto.
2. Integridad a Nivel de Byte: El artefacto debe retransmitirse byte a byte sin alteración. Las pilas de agentes del mundo real a menudo introducen mutaciones mediante la re-codificación de URL, el reordenamiento de parámetros, la truncación o el ajuste de líneas, lo que invalida firmas o sumas de comprobación.

Las evaluaciones actuales no prueban conjuntamente estas restricciones. Suelen tratar las salidas de las herramientas como mera información para la siguiente decisión, permitiendo que los agentes parafraseen o pierdan artefactos intermedios sin penalización. En la realidad, una sola violación de validez (usar un token expirado) o de integridad (corromper una firma) invalida todo el flujo de trabajo.

Metodología: CONTRACTBENCH

Para abordar esta brecha, los autores presentan CONTRACTBENCH, una evaluación determinista diseñada para medir el cumplimiento de los contratos de observación.

Diseño de la Evaluación

• Alcance: 33 tareas de doble eje derivadas de patrones reales de contratos de API, incluidas URLs con firma previa, flujos OAuth, solicitudes firmadas, webhooks HMAC y ventanas de límite de velocidad.
• Evaluación de Doble Eje: Las tareas se categorizan en cuatro cuadrantes según la presión que ejercen:
  • Q1 (Control): Baja presión de validez/integridad (comprobaciones de sanidad).
  • Q2 (Validez): Aísla la planificación temporal (por ejemplo, manejar mantenimiento programado o límites de velocidad).
  • Q3 (Integridad): Aísla la preservación de bytes (por ejemplo, manejar tokens largos o trampas de URL).
  • Q4 (Doble Eje): Presiona ambos ejes simultáneamente, reflejando la prevalencia de artefactos limitados en el tiempo y vinculados a firmas en producción.
• Entorno de Ejecución: Las tareas se ejecutan bajo un reloj virtual para garantizar la reproducibilidad total. Un servidor FastAPI emite etiquetas de fallo deterministas basadas en especificaciones reales de API (por ejemplo, AWS SigV4, OAuth 2.0, RFC 6585).
• Protocolo de Evaluación:
  • Validadores Deterministas: Sin evaluadores humanos ni "LLM como juez". Un validador programático consume registros de solicitudes HTTP para verificar si cada observación satisface tanto la ventana de validez como el predicado de integridad (comprobación de hash SHA-256).
  • Taxonomía de Fallos: Una taxonomía de 15 etiquetas clasifica los fallos en Validez (por ejemplo, EXPIRED_BEFORE_USE, RATE_LIMITED), Integridad (por ejemplo, MUTATED_TOKEN, SIGNATURE_MISMATCH) y categorías Meta.
  • Solubilidad: Cada tarea incluye una solución oráculo que aprueba el validador, demostrando que la tarea es resoluble.

Configuración Experimental

Los autores evaluaron 38 variantes de modelos en 15 familias, incluyendo modelos propietarios de vanguardia (Claude, serie GPT-5, Gemini) y modelos de código abierto ajustados con instrucciones (Qwen, Mistral, Gemma, Llama, DeepSeek). Cada modelo se ejecutó en la suite completa de 33 tareas con $k=3$ ejecuciones por tarea ($n=99$ episodios por modelo) a temperatura 0.

Hallazgos Clave

1. Los Modelos de Vanguardia Fallan en Contratos de Observación

Ningún modelo evaluado supera el 80% en la suite completa. El mejor rendimiento, Claude Opus 4.6, alcanza un 77.8%. Esto revela que incluso los modelos más avanzados luchan por preservar artefactos intermedios. Además, la clasificación en CONTRACTBENCH no se correlaciona con las evaluaciones de propósito general; por ejemplo, Gemini 2.5 Flash y GPT-5.1 tienen un rendimiento inferior al de varios modelos de código abierto, mientras que Llama-3.3-70B obtiene una puntuación cercana al 0%.

2. Acantilado de Capacidad Emergente en Qwen 3.5

Se observa un "acantilado de capacidad" agudo dentro de la familia Qwen 3.5. El rendimiento salta del 0% en 4 mil millones de parámetros al 56.6% en 9 mil millones, escalando suavemente hasta el 70.7% en 397B-A17B. Por debajo del acantilado, los agentes no exhiben contención en la trayectoria media (por ejemplo, esperar ventanas de mantenimiento); por encima de él, demuestran recuperación adaptativa. Esto sugiere que la capacidad está vinculada a recetas de entrenamiento específicas y no solo a la cantidad de parámetros.

3. El Entrenamiento Posterior es Necesario pero Frágil

• Necesidad: Los modelos base (sin ajuste de instrucciones) de todas las familias obtienen un 0%, lo que indica que el cumplimiento de contratos es una capacidad de entrenamiento posterior, no una propiedad emergente de pre-entrenamiento.
• Fragilidad (Escalado Inverso): La familia GPT-5 exhibe una regresión no monótona en forma de "V". GPT-5.1 muestra una caída significativa en el cumplimiento (48.5%) en comparación con GPT-5 (70.7%) y GPT-5.2 (74.8%). Esta regresión está estructurada: GPT-5.1 reintroduce específicamente fallos de integridad a nivel de byte (por ejemplo, WRONG_VALUE, MUTATED_TOKEN), lo que sugiere que las actualizaciones de entrenamiento posterior orientadas a la utilidad conversacional pueden erosionar inhibiciones específicas requeridas para el cumplimiento de contratos (por ejemplo, esperar antes de reintentar, preservar bytes exactamente).

4. Señales de Recompensa Accionables

Los autores probaron si las etiquetas de fallo podían servir como señales de recompensa en contexto. Utilizando 42 fallos de GPT-5.1, descubrieron que proporcionar la etiqueta de fallo correcta como una pista de coaching mejoró las tasas de aprobación en +7.1 puntos porcentuales en comparación con una pista de etiqueta incorrecta. Esto indica que la taxonomía proporciona señales direccionales y accionables para la corrección en tiempo de prueba, particularmente para fallos de estilo de integridad, mientras que los fallos temporales a menudo requieren intervenciones arquitectónicas (por ejemplo, TTLs legibles por máquina) en lugar de simples indicaciones.

Significado y Contribuciones

El artículo afirma tres contribuciones principales:

1. Formalización de Contratos de Observación: Los autores definen los contratos de observación como una clase distinta de fallo de agente gobernada por restricciones temporales e integrales ortogonales, formalizando un problema previamente pasado por alto en la literatura de evaluación de agentes.
2. Evaluación CONTRACTBENCH: Proporcionan la primera evaluación determinista y programática para esta capacidad, que incluye 33 tareas, una taxonomía de fallos de 15 etiquetas y un modelo de ejecución con reloj virtual que elimina la ambigüedad de los jueces humanos o LLM.
3. Perspectivas Empíricas sobre la Robustez de los Agentes: El estudio revela que el cumplimiento de contratos es una capacidad emergente y no monótona que no está garantizada por la capacidad general de uso de herramientas ni mejorada consistentemente por el escalado. Destaca que el entrenamiento posterior "útil" puede regredir inhibiciones específicas requeridas para la interacción fiable con APIs, y que los modelos actuales de vanguardia siguen sin resolverse en esta métrica crítica de fiabilidad.

Los autores concluyen que los contratos de observación deben convertirse en un objetivo de evaluación de primera clase para garantizar que los agentes puedan actuar de manera fiable bajo las restricciones inter-paso impuestas por sistemas externos reales. Sugieren que mitigar estos fallos puede requerir cambios arquitectónicos (por ejemplo, almacenamiento de artefactos basado en identificadores) en lugar de depender únicamente de modelos más grandes o mejor ajustados.