How Do Developers Maintain and Evolve Their Agents' Instructions? An Empirical Study

Resumen Técnico: ¿Cómo mantienen y evolucionan los desarrolladores las instrucciones de sus agentes? Un estudio empírico

Planteamiento del problema
Los agentes de codificación autónomos están desplazando cada vez más las responsabilidades de la ingeniería de software de los desarrolladores humanos hacia sistemas de IA capaces de ejecutar tareas complejas con una intervención mínima. Si bien esto ofrece eficiencia y escalabilidad, introduce desafíos significativos en cuanto a gobernanza, trazabilidad y control. Para abordar esto, los profesionales han adoptado los Archivos de Contexto de Agentes (ACF, por sus siglas en inglés): archivos Markdown estructurados (por ejemplo, AGENTS.md, CLAUDE.md) que sirven como instrucciones persistentes a nivel de proyecto para guiar el comportamiento del agente.

A pesar de su creciente adopción, existe una falta crítica de comprensión empírica sobre cómo se mantienen estos artefactos a lo largo del tiempo. La literatura existente ha tratado mayoritariamente a los ACF como especificaciones estáticas o se ha centrado en su impacto inicial en la calidad del código, pasando por alto la evolución iterativa de estos archivos. Específicamente, se desconoce cómo las modificaciones de los ACF se correlacionan con las categorías de mantenimiento de software, cómo los diferentes tipos de cambios afectan la calidad del código subsiguiente y qué patrones temporales caracterizan su evolución a lo largo del ciclo de vida del desarrollo.

Metodología
Los autores proponen un estudio de minería a gran escala para investigar la evolución de los ACF y su relación con el desarrollo de código. El diseño del estudio se fundamenta en la teoría del mantenimiento de software (SWEBOK v4.0) y emplea un enfoque de métodos mixtos que combina la derivación de una taxonomía cualitativa con el análisis estadístico cuantitativo.

• Fuentes de datos: El estudio utiliza dos conjuntos de datos complementarios:

  1. El conjunto de datos de ACF [8], que contiene más de 2,300 archivos de contexto en 1,925 repositorios, incluyendo el historial de versiones.
  2. El conjunto de datos AIDev [2], una colección curada de más de 116,000 repositorios y 932,000 pull requests que involucran código generado por agentes.
  • El análisis se restringe a repositorios que utilizan agentes específicos (Claude Code, OpenAI Codex, GitHub Copilot) donde tanto los ACF como los commits generados por agentes están presentes.

• Unidades de análisis:

  • Commits que modifican el ACF: Utilizados para la RQ1 (taxonomía) y la RQ3 (patrones temporales).
  • Ventanas de desarrollo: Definidas como el intervalo entre dos commits consecutivos que modifican el ACF. Todos los commits de código generados por agentes dentro de una ventana se asocian con el estado del ACF establecido al inicio de dicha ventana.

• Preguntas de investigación (RQs):

  • RQ1: ¿En qué medida pueden caracterizarse los cambios en los ACF mediante las categorías clásicas de mantenimiento de software (correctivo, preventivo, adaptativo, perfectivo, aditivo) y cómo se distribuyen?
    • Enfoque: Análisis temático inductivo sobre una muestra estadísticamente representativa de diffs de ACF para derivar una taxonomía, seguido de un mapeo deductivo a la teoría de mantenimiento.
  • RQ2: ¿Exhiben diferentes tipos de cambios en los ACF asociaciones distintas con los resultados de calidad de código en la evolución posterior del código?
    • Enfoque: Análisis de métricas estructurales (complejidad ciclomática, líneas de código, acoplamiento) e indicadores a nivel de proceso (Probabilidad de Commit Correctivo - CCP) dentro de las ventanas de desarrollo. Las pruebas estadísticas (Kruskal-Wallis, Wilcoxon rank-sum) evaluarán las diferencias entre las categorías de mantenimiento.
  • RQ3: ¿Exhiben diferentes tipos de cambios en los ACF patrones temporales y de frecuencia distintos a lo largo del ciclo de vida del desarrollo?
    • Enfoque: Medición del tiempo relativo (posición normalizada en el historial) y la frecuencia (modificaciones por commit o unidad de tiempo) a través de las categorías de mantenimiento.

• Mitigación de la validez: El estudio aborda la validez interna controlando los factores de confusión (tamaño del commit, tamaño del repositorio) y presentando los resultados como asociaciones en lugar de causalidad. La validez de constructo se apoya en el uso de métricas agnósticas del lenguaje y medidas de doble temporización. La validez externa está limitada a repositorios de código abierto y herramientas de agentes específicas.

Contribuciones clave
El artículo no presenta resultados experimentales finales, sino que esboza un marco riguroso para generarlos. Sus contribuciones primarias son:

1. Una taxonomía de la evolución de los ACF: Un sistema de clasificación novedoso y empíricamente fundamentado para las modificaciones de los ACF, mapeado a la teoría clásica de mantenimiento de software.
2. Vínculo empírico con la calidad del código: Una metodología para correlacionar tipos específicos de cambios en artefactos de gobernanza con métricas de calidad de código a nivel estructural y de proceso en el código generado por agentes.
3. Caracterización temporal: Un marco para analizar la dinámica del ciclo de vida del mantenimiento de los ACF, distinguiendo entre estrategias de gobernanza reactivas (correctivas) y proactivas (perfectivas).

Significado y afirmaciones
Los autores postulan que los ACF actúan como artefactos de gobernanza en evolución en lugar de configuraciones estáticas. El estudio pretende demostrar que las modificaciones de los ACF no son arbitrarias, sino que reflejan sistemáticamente los intentos de los desarrolladores por controlar y adaptar el comportamiento de los agentes.

• Para investigadores: La taxonomía propuesta proporciona un marco teóricamente fundamentado para futuros estudios sobre gobernanza en entornos agénticos. Los hallazgos ofrecerán evidencia empírica sobre cómo el mantenimiento de artefactos de gobernanza persistentes se relaciona con los resultados del desarrollo.
• Para profesionales: Los resultados están destinados a apoyar el desarrollo de prácticas de gobernanza basadas en evidencia. Al identificar qué tipos de modificaciones de los ACF son más comunes, cuándo ocurren y cómo se correlacionan con la calidad del código, el estudio pretende guiar a los desarrolladores sobre cómo evolucionar eficazmente las instrucciones para agentes autónomos.

El artículo concluye que comprender la evolución de los ACF es esencial para abordar los desafíos de control y transparencia en la producción de software autónoma, informando finalmente el diseño de mejores mecanismos de gobernanza para el futuro de la ingeniería de software.