Resumen Técnico: BLAgent: RAG Agente para la Localización de Errores a Nivel de Archivo

Declaración del Problema

La localización de errores sigue siendo un cuello de botella crítico en el mantenimiento de software, particularmente para tareas aguas abajo como el análisis de la causa raíz, la clasificación y la Reparación Automática de Programas (APR). Si bien los sistemas de reparación basados en Modelos de Lenguaje Grande (LLM) han avanzado, su efectividad está fundamentalmente limitada por la calidad de la localización a nivel de archivo. En pipelines jerárquicos, la selección inexacta de archivos propaga errores a etapas posteriores (por ejemplo, localización a nivel de sentencia o generación de parches), causando a menudo fallos en la reparación.

Los enfoques existentes de Generación Aumentada por Recuperación (RAG) para código suelen depender de recuperación estática y fragmentación de texto ingenua, fallando en capturar las intrincaciones estructurales del código o el razonamiento necesario para identificar archivos defectuosos con precisión. Además, los métodos puramente basados en incrustaciones carecen de capacidades de razonamiento para evaluar la relevancia funcional, mientras que los enfoques basados en agentes existentes suelen emplear recorridos de grafos ilimitados, incurriendo en costos computacionales prohibitivos.

Metodología: Marco BLAgent

Los autores proponen BLAgent, un marco RAG agente novedoso diseñado para la localización de errores a nivel de archivo. El sistema integra tres componentes centrales para equilibrar precisión y costo:

1. Codificación del Repositorio con Fragmentación Basada en AST Aumentada por Rutas

En lugar de una división de texto ingenua, BLAgent emplea CodeSplitter para segmentar archivos fuente basándose en los límites del Árbol de Sintaxis Abstracta (AST) (por ejemplo, funciones, clases, bloques lógicos). Esto asegura la preservación semántica, evitando la fragmentación de constructos de código.

• Aumento de Rutas: Cada fragmento de código se antepone con su ruta de archivo relativa (por ejemplo, src/utils/math.py). Esto crea un canal de alineación directa entre señales tipo ruta en los informes de errores (por ejemplo, trazas de seguimiento, referencias a módulos) y los fragmentos de código, abordando las discrepancias de vocabulario entre descripciones en lenguaje natural e identificadores de código.

2. Transformación de Consultas de Doble Perspectiva

Para cerrar la brecha semántica entre los informes de errores y el código, BLAgent descompone cada informe de error en dos consultas complementarias utilizando LLMs:

• Transformación Estructural ($T_0$): Se centra en aspectos estáticos y sintácticos, extrayendo identificadores, módulos, nombres de funciones y contexto de trazas de seguimiento.
• Transformación Conductual ($T_1$): Se centra en el comportamiento en tiempo de ejecución, capturando síntomas observados, salidas esperadas frente a reales y condiciones de activación.
  Ambas consultas se utilizan independientemente para recuperar archivos candidatos de una base de datos vectorial. Los conjuntos de candidatos resultantes se fusionan (eliminando duplicados) para formar un grupo compacto (limitado a 15 archivos) para el agente.

3. Reordenamiento Agente en Dos Fases

BLAgent realiza razonamiento acotado sobre el conjunto de candidatos recuperados mediante un proceso de dos fases:

• Fase 1: Puntuación de Agente Basada en Esqueletos (SAS): Un agente basado en ReAct inspecciona iterativamente los esqueletos estructurales (clases, firmas de funciones, docstrings) de los archivos candidatos. Asigna puntuaciones de relevancia (0–10) basadas en hipótesis sobre qué archivos requieren modificación. Esta fase opera eficientemente dentro de los límites de contexto evitando el procesamiento completo del código fuente.
• Fase 2: Reordenamiento Anclado a Evidencia (EAR): Para resolver empates y verificar la relevancia a nivel de implementación, los archivos superiores-$M$ (establecidos en 5) de la Fase 1 sufren una inferencia de un solo disparo. El contexto se poda para incluir solo la estructura global del archivo y la implementación completa de los métodos destacados por el recuperador. El LLM realiza una clasificación final basada en esta evidencia fundamentada.

Contribuciones Clave

1. RAG Agente para Localización: BLAgent introduce un marco de razonamiento acotado que integra la recuperación con razonamiento iterativo aumentado por herramientas, evitando los altos costos del recorrido de grafos ilimitado.
2. Fragmentación Consciente de AST y Aumentada por Rutas: El artículo demuestra que preservar los límites sintácticos y aumentar los fragmentos con rutas de archivo mejora significativamente la recuperación en comparación con la fragmentación basada en texto estándar o consciente de código.
3. Consultas de Doble Perspectiva: El marco muestra que descomponer los informes de errores en consultas estructurales y conductuales proporciona señales de recuperación complementarias, mejorando la recuperación del grupo inicial de candidatos.
4. Diseño Eficiente en Costos: Al limitar el razonamiento a un conjunto de candidatos filtrado y compacto y utilizar esqueletos de código, BLAgent logra alta precisión con un consumo de tokens y costos de API significativamente menores en comparación con las líneas base de agentes basados en grafos.

Resultados Experimentales

El marco fue evaluado en el conjunto de datos SWE-bench-Lite (300 errores de Python del mundo real).

• Precisión de Localización:
  • Utilizando un modelo de código abierto (GPT-OSS-120B), BLAgent logró una precisión Top-1 del 78,6% y un MRR de 0,851.
  • Utilizando un modelo de código cerrado (Claude-4.6-Sonnet), logró una precisión Top-1 del 86,7% y un MRR de 0,900.
  • Estos resultados superan a las líneas base más avanzadas, incluido LocAgent (un enfoque de agente basado en grafos) y Agentless (un marco APR con localización), a menudo por márgenes significativos.
• Eficiencia de Costos: BLAgent es más de 18 veces más barato que la línea base más fuerte (LocAgent) al utilizar el mismo modelo de código cerrado, completando todas las 300 instancias por aproximadamente 27 dólares en total, mientras que LocAgent agotó un presupuesto de 300 dólares después de solo 182 instancias.
• Impacto en la Reparación Automática de Programas (APR): Cuando se integró en el marco APR Agentless, BLAgent mejoró la tasa de resolución de problemas de extremo a extremo en más del 20% (de 27,6% a 34,0% con votación mayoritaria).
• Generalización: La arquitectura se extendió con éxito a la localización a nivel de función con una sola modificación de prompt, logrando resultados de vanguardia sin cambios estructurales en el pipeline.

Significado y Afirmaciones

El artículo afirma que BLAgent establece un nuevo estado del arte para la localización de errores a nivel de archivo al combinar eficazmente la recuperación y el razonamiento agente. Su significado principal radica en demostrar que:

1. La localización es un factor decisivo: La localización precisa a nivel de archivo se traduce directamente en ganancias medibles en el éxito de la reparación automatizada de extremo a extremo.
2. El razonamiento acotado es superior al recorrido ilimitado: El razonamiento agente restringido a un conjunto de candidatos de alta calidad, filtrado por recuperación, supera a los enfoques complejos basados en grafos tanto en precisión como en costo.
3. La calidad de la recuperación limita el rendimiento: La efectividad del pipeline agente está fundamentalmente limitada por la recuperación del recuperador denso inicial; por lo tanto, las mejoras en la fragmentación y la transformación de consultas son críticas.
4. Escalabilidad rentable: Se puede lograr localización de alto rendimiento utilizando modelos de código abierto y gestión eficiente de contexto (esqueletos), haciendo accesible la localización avanzada de errores sin los costos prohibitivos de modelos propietarios o recorrido de grafos.

Los autores concluyen que, si bien la localización precisa es necesaria, no es suficiente para una reparación perfecta, ya que los fallos aguas abajo (localización a nivel de función/línea y generación de parches) siguen siendo cuellos de botella significativos. Sin embargo, BLAgent proporciona una base robusta y rentable para abordar el desafío de localización aguas arriba en el mantenimiento de software basado en LLM.