Is Agent Code Less Maintainable Than Human Code?

Resumen Técnico: ¿Es el código de los agentes menos mantenible que el código humano?

Planteamiento del problema
Aunque los agentes de codificación han demostrado un sólido rendimiento en tareas de ingeniería de software de un solo problema, sigue sin estar claro qué tan mantenible es su código cuando futuros agentes construyen sobre él. Un parche puede superar las pruebas y ser funcionalmente correcto y, aun así, introducir complejidad estructural, abstracciones frágiles o elecciones de implementación confusas que provoquen fallos durante la extensión o modificación posterior. Las evaluaciones actuales suelen depender de métricas estáticas (p. ej., complejidad ciclomática, volumen de Halstead) o de la resolución de tareas de un solo paso, las cuales pueden no capturar los efectos acumulativos en cascada del código redactado por agentes en comparación con el redactado por humanos.

Metodología: El marco de trabajo CodeThread
Para abordar esto, los autores introducen CodeThread, un marco diseñado para construir experimentos controlados que comparen la mantenibilidad del código de agentes frente al código humano en un entorno de nivel de repositorio.

1. Transformación de tareas: CodeThread convierte los benchmarks estándar de un solo problema (p. ej., SWE-Bench, FeatBench) en cadenas de pull-requests de dos pasos:
   • Tarea de implementación (PR0 → PR1): Una tarea inicial donde se restaura la funcionalidad a partir de un código esqueleto.
   • Problema de seguimiento (PR1 → PR2): Una tarea dependiente de un paso posterior (el problema original del benchmark) aplicada a la implementación de PR1.
2. Condiciones de autoría: El marco crea tres escenarios comparables para aislar el efecto de la autoría:
   • HH: Humano realiza PR1, Humano realiza PR2 (Línea base).
   • HA: Humano realiza PR1, Agente realiza PR2.
   • AA: Agente realiza PR1, Agente realiza PR2.
   • Al comparar AA contra HA (manteniendo fijo el autor del agente de la etapa posterior), el estudio aísla la carga de mantenibilidad impuesta por el código inicial del agente.
3. Configuración experimental: El marco se aplicó a cuatro modelos de frontera (Claude 4.5 Sonnet, GPT-5, GLM 4.7, MiniMax 2.5) a través de cuatro benchmarks (SWE-Bench Verified, SWE-Bench Multilingual, SWE-Bench Pro, FeatBench), cubriendo corrección de errores, implementación de funciones y refactorización.
4. Análisis: Los autores analizaron instancias "discordantes" (donde HA y AA produjeron resultados diferentes) mediante regresión logística. Las características incluyeron métricas de mantenibilidad estáticas (Complejidad Ciclomática, Complejidad Cognitiva, Volumen de Halstead, Líneas de Código Lógicas), localización de parches (solapamiento de Jaccard de archivos/funciones editados), etiquetas de deriva de comportamiento (específicamente cambios en el Contrato de Entrada/Error o IEC) y controles de dificultad de la instancia.

Resultados clave

• Caída del rendimiento descendente: Los agentes son menos efectivos al resolver tareas posteriores cuando construyen sobre código de agentes en comparación con el código humano. En todos los modelos y benchmarks, la condición AA generalmente tuvo un rendimiento inferior a la condición HA, con caídas en la tasa de resolución de tareas de hasta un 13.1% (observado con GLM 4.7 en SWE-Bench Pro).
• Variación por tipo de tarea: La brecha de rendimiento varió según el tipo de tarea. Las tareas de refactorización mostraron la mayor caída promedio (8.21%), seguidas de la implementación de funciones (6.25%) y la corrección de errores (4.05%).
• Limitaciones de las métricas estáticas: El análisis de regresión reveló que las métricas de mantenibilidad estáticas tradicionales (p. ej., complejidad, verbosidad) generalmente no explicaron la diferencia de rendimiento entre HA y AA.
• Impulsores de comportamiento: Los predictores más claros de fallo en la condición AA fueron diferencias sutiles en el comportamiento del código inicial del agente:
  • Deriva del Contrato de Entrada/Error (IEC): Los cambios en la validación de entrada o el manejo de errores (p. ej., alterar tipos de excepción o valores por defecto) aumentaron significamente las probabilidades de que la condición HA tuviera éxito mientras la condición AA fallaba (Odds Ratio: 1.83).
  • Tamaño del código descendente: Los casos donde el PR2 del agente implicó ediciones más grandes (más líneas de código) en relación con la línea base humana tuvieron más probabilidades de fallar (Odds Ratio para el aumento de LLOC: 1.88).
  • Persistencia: En el 85.9% de los casos discordantes, la deriva de IEC de PR1 persistió en PR2, y en el 20.6% de los casos, esta deriva causó directamente el fallo descendente.

Contribuciones clave

1. Marco de trabajo CodeThread: Un método escalable para estudiar la mantenibilidad del código de agentes a través de cadenas de pull-requests de dos pasos, aplicable a cualquier benchmark de SWE.
2. Evidencia empírica de costos de mantenibilidad: Demostración de que el código redactado por agentes es, en general, menos mantenible para el trabajo posterior de agentes que el código redactado por humanos, lo que conduce a caídas medibles en la resolución de tareas posteriores.
3. Análisis de causa raíz: Identificación de que las métricas estáticas tradicionales no logran capturar la brecha de mantenibilidad; en su lugar, la brecha surge de derivas de comportamiento sutiles (específicamente en la validación de entrada y el manejo de errores) y diferencias en la magnitud de la edición descendente.

Significancia y afirmaciones
El artículo argumenta que los agentes de codificación introducen costos de mantenibilidad que se acumulan a medida que su código es reutilizado o extendido, efectos que los benchmarks y las métricas estáticas actuales no logran capturar. Los autores sostienen que los sistemas de evaluación deben cambiar su enfoque de centrarse únicamente en la resolución inmediata de tareas hacia la evaluación de la mantenibilidad a largo plazo. Sugieren que, a medida que las contribuciones de los agentes se conviertan en una parte mayoritaria de los repositorios de código, las salvaguardas y las prácticas de revisión deben evolucionar para dar cuenta de estos riesgos descendentes. El estudio no argumenta en contra del uso de agentes de codificación, sino que hace un llamado a una evaluación más informada de su impacto a largo plazo en el ciclo de vida del desarrollo de software.