Resumen Técnico: AgenticSZZ

Enunciado del Problema

Identificar el Commit que Induce el Error (BIC) es una tarea fundamental en el mantenimiento de software, que permite la predicción de defectos, la reparación automática de programas y el análisis histórico de errores. Durante dos décadas, el enfoque dominante ha sido el algoritmo SZZ y sus variantes, que dependen de git blame para rastrear las líneas eliminadas o modificadas en un Commit de Corrección de Error (BFC) hasta el commit que las tocó por última vez.

Sin embargo, este enfoque adolece de limitaciones fundamentales en cuanto a la exhaustividad (recall). Un estudio preliminar de 2.102 commits de corrección de errores validados por los autores revela que git blame por sí solo es insuficiente para casi la mitad de todos los casos:

• El 28% de los BIC requieren recorrer el historial de commits más allá de los resultados directos de blame (ya sea como antecesores de los commits de blame o como antecesores del BFC).
• El 14% de los casos son "sin blame", donde el BFC contiene únicamente líneas añadidas sin líneas eliminadas/modificadas que culpar, haciendo inaplicable el SZZ estándar.
• Incluso dentro del 57% de los casos donde los BIC aparecen en los resultados de blame, identificar el BIC correcto entre múltiples candidatos sigue siendo un desafío debido a la alta complejidad en algunos proyectos.

Las mejoras existentes al SZZ se han centrado en heurísticas de filtrado, detección de refactorización o clasificación de candidatos de blame utilizando aprendizaje profundo y LLM, pero siguen limitadas por el espacio de búsqueda definido estrictamente por git blame.

Metodología: AgenticSZZ

Los autores proponen AgenticSZZ, el primer enfoque que aplica Grafos de Conocimiento Temporales (TKG) al análisis de la evolución del software. La idea central consiste en replantear la identificación del BIC como un problema de clasificación sobre una lista estática de candidatos de blame, transformándolo en un problema de búsqueda en grafos sobre el historial temporal de commits.

La metodología opera en dos fases distintas:

1. Construcción del Grafo de Conocimiento Temporal (TKG)

El sistema construye un grafo que codifica los commits como nodos con ordenamiento temporal y conexiones estructurales (archivos y funciones compartidos). El espacio de búsqueda se expande más allá de los resultados directos de blame mediante dos direcciones de recorrido:

• Recorrido de Antecesores de Blame: Comenzando desde los commits de blame, el sistema recorre hacia atrás el historial de archivos para encontrar commits anteriores que puedan haber introducido la lógica del error.
• Recorrido de Antecesores del BFC: Comenzando desde el BFC, el sistema recorre hacia atrás hacia los commits de blame para identificar commits intermedios que puedan haber transformado código correcto en código defectuoso.
• Expansión del Contexto: Para manejar los casos "sin blame" y mejorar la calidad de las semillas, el sistema aplica una estrategia de respaldo, culpando a las líneas de contexto (2 líneas antes y después) que rodean el código añadido.

El esquema del grafo incluye:

• Nodos: Commits (etiquetados como BFC, blame, antecesor_de_blame o antecesor_de_bfc), Archivos y Funciones.
• Aristas: PRECEDE (ordenamiento temporal), MODIFICA_ARCHIVO, MODIFICA_FUNCIÓN y DEFINIDO_EN.

2. Búsqueda de BIC Agente

Un agente LLM navega por el TKG construido utilizando cuatro herramientas especializadas para razonar sobre las relaciones causales:

1. Enumeración de Candidatos (list_candidates): Recupera los $K$ mejores candidatos clasificados por una puntuación de aptitud (priorizando blame > antecesor_de_blame > antecesor_de_bfc).
2. Recorrido Estructural (traverse_graph): Sigue las aristas para descubrir commits que modifican las mismas entidades de código.
3. Consulta de Propiedades (query_node): Inspecciona los metadatos del commit (mensajes, marcas de tiempo, superposiciones).
4. Análisis Causal (read_node_content): Lee las diferencias de código (diffs) para verificar si los cambios de un candidato se relacionan causalmente con la corrección del error.

El agente investiga iterativamente los candidatos, potencialmente sobrescribiendo las clasificaciones iniciales basándose en el razonamiento semántico y la verificación causal, hasta alcanzar una decisión o agotar el límite de pasos.

Contribuciones Clave

1. Estudio Preliminar (RQ0): Una caracterización sistemática de las ubicaciones de los BIC en relación con los commits de blame, cuantificando que el 28% de los casos requiere recorrido de historial y el 14% carece de blame, estableciendo la necesidad de estrategias de búsqueda expandidas.
2. Marco AgenticSZZ: La primera aplicación de TKGs al análisis de la evolución del software, replanteando la identificación del BIC como un problema de búsqueda en grafos. Esto permite la identificación de BICs fuera del conjunto tradicional de candidatos definidos por blame.
3. Evaluación Exhaustiva: Una evaluación rigurosa en tres conjuntos de datos (Linux, Apache, GitHub) comparando AgenticSZZ con siete variantes de SZZ y el estado del arte LLM4SZZ.
4. Análisis de Sensibilidad a LLM: Una investigación sobre cómo diferentes LLMs de pesos abiertos afectan el rendimiento, identificando un umbral de capacidad para la navegación efectiva de TKG.

Resultados

La evaluación sobre 2.102 pares validados BFC-BIC demuestra que AgenticSZZ logra un rendimiento del estado del arte:

• Rendimiento: AgenticSZZ alcanza puntuaciones F1 que oscilan entre 0.47 y 0.79 en los conjuntos de datos. Supera al estado del arte anterior (LLM4SZZ) entre un 16.0% y un 34.2% en puntuación F1.
• Significancia Estadística: Las mejoras son estadísticamente significativas (prueba de McNemar, $p < 0.001$) en tres de las cuatro divisiones del conjunto de datos. Incluso la ejecución con peor rendimiento de AgenticSZZ supera a la mejor ejecución de LLM4SZZ.
• Estudio de Ablación:
  • Tanto el TKG como el agente LLM son mutuamente esenciales; el TKG solo introduce ruido sin filtrado inteligente, mientras que el Agente solo está limitado por el espacio de búsqueda de blame restringido.
  • La combinación del recorrido del TKG y la expansión del contexto desbloquea la categoría "Antecesor", generando una ganancia neta de 60 positivos verdaderos en los conjuntos de datos en comparación con LLM4SZZ.
  • La expansión del contexto intercambia aproximadamente 48 positivos verdaderos de "Blame" por 106 positivos verdaderos adicionales de "Antecesor", resultando en una ganancia neta positiva en la mayoría de los conjuntos de datos.
• Sensibilidad a LLM: Solo los modelos con 37B+ parámetros activos (DeepSeek-V3.2 y DeepSeek-V4-Pro) superan consistentemente la línea base simple de fallback de blame. Los modelos más pequeños no realizan una verificación de múltiples pasos suficiente (omitendo las llamadas query_node y read_node_content), reduciéndose efectivamente a una heurística menos fiable.
• Amplificación Arquitectónica: Una comparación controlada utilizando DeepSeek-V4-Pro muestra que la arquitectura TKG amplifica los beneficios de los LLMs más potentes. La brecha de rendimiento entre AgenticSZZ y LLM4SZZ se amplía del 18.8% (con V3.2) al 32.0% (con V4-Pro), mientras que las ganancias de LLM4SZZ se estancan debido a su espacio de búsqueda limitado por blame.

Significado y Afirmaciones

El artículo afirma que AgenticSZZ abre una nueva dirección de investigación para el razonamiento temporal y causal en el análisis de la evolución del software. Al transformar la identificación del BIC en un problema de búsqueda en grafos, el enfoque supera las limitaciones inherentes de exhaustividad de los métodos basados en git blame.

Los autores enfatizan que la mejora está impulsada por el paradigma guiado por TKG y no meramente por la elección de un LLM más capaz. El TKG proporciona un espacio de razonamiento estructurado que permite a modelos más potentes navegar eficazmente por historiales de commits complejos, mientras que los enfoques confinados a listas lineales de blame enfrentan un techo de rendimiento independientemente de la capacidad del LLM subyacente. El trabajo sugiere que los avances futuros en la identificación de BIC dependerán de la integración de espacios de búsqueda estructurados con razonamiento agente, siempre que el LLM posea la capacidad suficiente para realizar verificaciones de múltiples pasos.