Software Delegation Contracts: Measuring Reviewability in AI Coding-Agent Work

Resumen Técnico: Contratos de Delegación de Software en el Trabajo de Agentes de Codificación de IA

Planteamiento del Problema
A medida que los agentes de codificación de IA transitan de la completitud interactiva a la ejecución delegada —aceptando tareas, operando dentro de una autoridad delimitada y devolviendo paquetes de trabajo para la revisión humana— la pregunta crítica para los supervisores humanos cambia de "¿El parche funciona?" a "¿Puedo revisarlo?". El trabajo conceptual previo propuso el contrato de delegación de software (definido como la tupla de Tarea, Autoridad, Paquete de Trabajo y Contexto de Aceptación) como la unidad de análisis para esta relación. Sin embargo, este marco carecía de validación empírica. Este artículo aborda la brecha investigando si hacer explícito el contrato de delegación mejora la revisabilidad de los paquetes de trabajo devueltos y cuantifica los costos asociados.

Metodología
Los autores realizaron un estudio piloto controlado utilizando un entorno experimental diseñado específicamente:

• Entorno: Una API HTTP en TypeScript sin dependencias (~600 líneas) con 29 pruebas. Se sembraron diez tareas distribuidas en cinco familias (correcciones de pruebas fallidas, errores de validación, pruebas faltantes, refactorizaciones de alcance limitado y actualizaciones de documentación), cada una con defectos de verdad fundamental (ground-truth) e incidencias latentes específicas.
• Agentes: Las ejecuciones se realizaron utilizando dos niveles de modelos (Claude Sonnet 4.6 y Haiku 4.5) dentro de un sandbox delimitado (sin red, sin dependencias externas, sin commits).
• Condiciones: Se distribuyeron 64 ejecuciones totales entre tres condiciones:
  1. Línea Base (A): Un prompt de estilo de incidencia realista con pistas de alcance naturales.
  2. Contrato Explícito (B): Un documento estructurado que define objetivos, no-objetivos, límites de autoridad y evidencia requerida.
  3. Contrato + Paquete de Evidencia (C): La condición B más una plantilla obligatoria para el paquete de trabajo (incluyendo riesgos residuales y listas de verificación para el revisor).
• Evaluación:
  • Calificación Mecánica: Verificaciones automatizadas para pruebas de aceptación ocultas, pruebas de mutación (inyectando defectos para verificar las nuevas pruebas) y violaciones de alcance.
  • Revisión Ciega: Tres revisores independientes basados en modelos (Sonnet 4.6) calificaron cada paquete de trabajo mediante una rúbrica fija (192 revisiones en total) que cubría suficiencia de evidencia, ambigüedad, cumplimiento de alcance y confianza. Los revisores estaban cegados respecto a las etiquetas de las condiciones.
  • Análisis: Análisis estadístico pareado (Wilcoxon signed-rank, Cliff's delta) comparó la Línea Base frente a las condiciones de Contrato.

Resultos Clave

1. Los Resultados Objetivos se Saturaron: Todas las 64 ejecuciones pasaron las pruebas de aceptación ocultas y las pruebas de mutación. No ocurrieron violaciones de alcance en ninguna condición. En tareas pequeñas y bien especificadas con modelos capaces, el contrato explícito no mejoró la corrección del código; ambas condiciones alcanzaron un éxito objetivo casi perfecto.
2. La Revisabilidad Mejoró Significativamente:
   • Suficiencia de Evidencia: Mejoró en +0.83 puntos (en una escala de 5) en 22 de 30 comparaciones pareadas, sin casos de empeoramiento ($p < 0.0001$, Cliff's $\delta = 0.66$).
   • Ambigüedad: Disminuyó significativamente ($p = 0.035$).
   • Elementos Estructurados: Bajo las condiciones de contrato, los elementos estructurados aparecieron casi exclusivamente cuando se demandaban. Por ejemplo, la lista de "archivos cambiados con razones" aumentó del 7% (Línea Base) al 93% (Contrato), y "limitaciones conocidas" aumentó del 0% al 80%. Crucialmente, los "riesgos residuales" y las "listas de verificación del revisor" aparecieron en el 0% de las ejecuciones de la Línea Base, pero en el 100% de las ejecuciones donde el paquete de evidencia los demandaba explícitamente.
3. Sobrecarga de Costo: El contrato explícito incurrió en costos mensurables:
   • Los tokens del agente aumentaron un 13%.
   • El tiempo de ejecución (wall-clock time) aumentó un 38%.
   • Las invocaciones de herramientas aumentaron un 23%.
   • El tamaño del parche aumentó un 44.7% (impulsado principalmente por pruebas adicionales, no por cambios en el código de producción).
4. Efectos del Nivel del Modelo: El beneficio de los contratos fue aproximadamente el doble de grande para el nivel de modelo más débil (Haiku), lo que sugiere que los contratos sustituyen parcialmente la disciplina de reporte que los modelos más fuertes exhiben sin necesidad de prompting.

Contribuciones Clave

• Entorno Experimental: Un marco reutilizable para estudios de contratos de delegación, que incluye un repositorio de tareas sembradas, prompts pareados, verificaciones de aceptación/mutación ocultas y un flujo de revisión ciega.
• Comparación Empírica: La primera comparación pareada de solo prompt frente a delegación basada en contratos, produciendo 64 ejecuciones y 192 revisiones ciegas.
• Validación del Mecanismo: Evidencia de que los contratos de delegación funcionan primordialmente como un mecanismo de revisabilidad más que como un mecanismo de corrección para tareas pequeñas.
• Valores por Defecto de Diseño: Recomendaciones concretas para constructores de entornos de agentes, tales como exigir listas de "archivos cambiados con razones" y secciones de "limitaciones conocidas", reconociendo al mismo tiempo la sobrecarga de ~15% en tokens y ~40% en latencia.

Significancia y Reivindicaciones
El artículo concluye que, para tareas pequeñas y bien especificadas manejadas por modelos capaces, el retorno marginal de un contrato explícito sobre la calidad del resultado es cero porque los resultados ya están saturados. Sin embargo, el retorno sobre la evidencia es grande y uniforme. Los autores afirman que el contrato de delegación es una capa de control que moldea el paquete de trabajo (el artefacto presentado para revisión) más que el trabajo (el código en sí).

El estudio postula que "la evidencia es elástica a la demanda": los agentes no proporcionan espontáneamente todo el contexto requerido para la revisión (por ejemplo, riesgos residuales, listas de verificación) a menos que se les contrate explícitamente para ello. Por lo tanto, para que un delegado de software sea útil, su trabajo debe ser revisable, y el contrato de delegación es un instrumento práctico para asegurar dicha revisabilidad. Los autores señalan que las iteraciones futuras deben probar tareas más difíciles donde las ejecuciones de la línea base podrían fallar o desviarse para medir el impacto del contrato en el control de la autoridad y la reducción de errores.