Resumen Técnico: Minería de Repositorios Agéntica: Una Evaluación Multitarea

Declaración del Problema

La minería de repositorios de software (MSR) requiere frecuentemente clasificar artefactos —tales como commits, líneas de código, revisiones o repositorios completos— en categorías específicas. El etiquetado humano tradicional es costoso, consume mucho tiempo y propenso a errores. Aunque el Aprendizaje Automático (ML) y los Modelos de Lenguaje Grandes (LLM) ofrecen alternativas, enfrentan un cuello de botella crítico: la ingeniería de contexto.

Los enfoques estándar de LLM requieren que los humanos pre-diseñen el contexto (por ejemplo, seleccionando diffs de código específicos, metadatos o contenidos de archivos) para que encajen en el prompt del modelo. Este proceso es laborioso y a menudo conduce a clasificaciones erróneas o incertidumbre cuando el contexto proporcionado es insuficiente o cuando el tamaño del artefacto excede la ventana de contexto del modelo. Por el contrario, la Minería de Repositorios Agéntica propone que los agentes LLM pueden explorar autónomamente repositorios utilizando herramientas de desarrollo estándar (por ejemplo, bash, git) para recuperar dinámicamente el contexto necesario para la clasificación, evitando la necesidad de ingeniería humana previa. Sin embargo, sigue sin estar claro si estos contextos recuperados autónomamente pueden igualar la calidad de clasificación de las entradas curadas por humanos.

Metodología

Los autores realizaron una evaluación empírica multitarea comparando enfoques agénticos frente a líneas base de LLM simples en cuatro tareas distintas de clasificación MSR.

Configuración Experimental

• Tareas:
  1. Herbold (Commits Enredados): Clasificar si una línea específica en un commit de corrección de errores contribuye a la corrección o es irrelevante (por ejemplo, refactorización, espacios en blanco).
  2. Härtel (Revisiones de Seguridad): Determinar si un comentario de revisión de una Pull Request (PR) discute un defecto de seguridad potencial.
  3. Levin (Actividades de Mantenimiento): Clasificar commits como correctivos, adaptativos o perfectivos.
  4. Munaiah (Clasificación de Repositorios): Distinguir proyectos de software ingenierizados de tareas escolares, juguetes o experimentos personales.
• Enfoques:
  • LLM Simples: Reciben contexto pre-diseñado (por ejemplo, diffs completos, mensajes de commit, READMEs) en una sola vuelta. Las variantes incluyen Cadena de Pensamiento (CoT), Sin-CoT y una línea base de Memorización (sin contexto).
  • LLM Agénticos: Operan en un contenedor Docker aislado con acceso al repositorio completo. Ejecutan autónomamente una secuencia de comandos bash (por ejemplo, git checkout, grep, cat) para explorar el repositorio y reunir evidencia antes de clasificar. Se probaron dos variantes de llamada a herramientas: Nativa (salida estructurada específica del proveedor) y Secuencia de Detención (comandos etiquetados con XML).
• Modelos: Los experimentos utilizaron Claude 3.7 Sonnet, Mistral Large 3 y Llama 3.3 70B a través de Amazon Bedrock.
• Métricas: Precisión de clasificación (utilizando un modelo bayesiano jerárquico para tener en cuenta la dificultad de la muestra), uso de recursos (tokens, tiempo, costo) y modos de fallo (desbordamiento de contexto, errores de herramientas).
• Escala: 4.943 clasificaciones válidas en 4943 experimentos (excluyendo errores de desbordamiento de contexto en LLM simples para algunas métricas).

Contribuciones Clave

1. Marco Agéntico: Introducción de un marco simple para la minería de repositorios agéntica donde los agentes utilizan comandos bash estándar en contenedores aislados para recuperar dinámicamente el contexto para la clasificación.
2. Evaluación Comparativa: Proporcionó una comparación directa de precisión, uso de recursos y modos de fallo entre enfoques agénticos y de LLM simples en cuatro tareas diversas.
3. Diagnóstico de Verdad Terrenal: Diagnóstico manual de 100 casos donde los enfoques discrepaban de la verdad terrenal, revelando ambigüedades en las pautas de etiquetado originales y limitaciones de las etiquetas producidas bajo contexto limitado.

Resultados

1. Robustez y Escalabilidad

La ventaja principal de los agentes es la robustez ante el tamaño del contexto.

• Desbordamiento de Contexto: Los LLM simples encontraron frecuentemente errores de desbordamiento de ventana de contexto (por ejemplo, 9 errores para Llama, 7 para Sonnet) cuando los artefactos (como repositorios completos o diffs grandes) excedían los límites del modelo. Los agentes encontraron cero errores de desbordamiento de contexto.
• Escalado de Costos: Los costos de los LLM simples se correlacionaron linealmente con el tamaño del contexto pre-diseñado. Los costos de los agentes mostraron una correlación cercana a cero con el tamaño del artefacto porque los agentes leen selectivamente solo las líneas necesarias.
• Eficiencia de Costos: Aunque los agentes fueron generalmente más costosos (factores de 1.2x a 3.2x más altos) debido a múltiples llamadas a herramientas y acumulación de tokens, se volvieron más rentables que Sonnet Simple cuando el contexto diseñado excedió aproximadamente 30K tokens.

2. Precisión de Clasificación

• Rendimiento Competitivo: Los agentes lograron una precisión competitiva con los LLM simples a pesar de recuperar su propio contexto en lugar de recibir entradas pre-diseñadas.
• Varianza Específica por Tarea:
  • Herbold (Líneas): Todos los enfoques tuvieron dificultades (46–56% de precisión), sin un ganador claro.
  • Härtel (Seguridad): Los agentes rindieron de manera comparable a Sonnet Simple. Cabe destacar que Llama Simple tuvo el mejor rendimiento cuando se excluyeron los errores, probablemente debido a su tendencia a predecir "poco claro" (una estrategia válida para esta tarea ambigua).
  • Levin (Commits): Alta precisión en todos los modelos (87–93%), sin diferencia significativa entre agentes y LLM simples.
  • Munaiah (Repositorios): Los agentes mostraron una ligera ventaja, particularmente Agente Mistral, que tenía un 78% de probabilidad de ser significativamente mejor que Mistral Simple. Esta tarea mostró la señal más fuerte de una ventaja del agente.
• Manejo de Incertidumbre: Tanto los agentes como los LLM simples tuvieron dificultades para identificar correctamente las etiquetas "poco claro", a menudo recurriendo a una categoría específica. Los agentes, al tener acceso a un contexto más amplio, tendieron a subexpresar la incertidumbre.

3. Modos de Fallo y Discrepancias

• Errores de Herramienta: Los agentes tuvieron tasas de error de llamada a herramientas no fatales de ~1.7–2.2%, pero se recuperaron en pasos posteriores.
• Discrepancias con la Verdad Terrenal: El diagnóstico manual de 100 casos de discrepancia reveló:
  • Ambigüedades de Especificación: Muchas discrepancias surgieron de definiciones de tareas vagas (por ejemplo, distinguir entre limpieza de espacios en blanco y refactorización).
  • Limitaciones de Contexto: Algunas etiquetas de verdad terrenal probablemente eran incorrectas o "poco claras" porque los anotadores humanos originales carecían del contexto más amplio al que accedían los agentes.
  • Conclusión: Las métricas de precisión frente a la verdad terrenal existente pueden subestimar el rendimiento de los enfoques con acceso a un contexto más amplio.

Significado y Afirmaciones

El artículo afirma que la minería de repositorios agéntica es una alternativa viable y robusta a la clasificación tradicional de LLM con ingeniería de contexto.

• Independencia del Tamaño del Artefacto: Los agentes escalan independientemente del tamaño del artefacto, evitando los cuellos de botella de la ventana de contexto que afectan a los LLM simples.
• Precisión Competitiva: A pesar de la complejidad de la recuperación dinámica, los agentes igualan la precisión de las entradas curadas por humanos, lo que sugiere que el cuello de botella de la "ingeniería de contexto" puede automatizarse sin sacrificar la calidad.
• Reevaluación de la Verdad Terrenal: El estudio sugiere que las verdades terrenales MSR existentes, a menudo derivadas de contexto limitado, pueden contener ambigüedades o errores inherentes. Los enfoques con acceso a un contexto más amplio (como los agentes) pueden proporcionar clasificaciones más precisas de lo que implican las etiquetas actuales de "estándar de oro".

Los autores concluyen que, aunque los agentes son actualmente más costosos para artefactos pequeños, su capacidad para manejar repositorios grandes y complejos sin desbordamiento los convierte en una opción superior para la investigación escalable en ingeniería de software.