Resumen Técnico: Loc2Repair

Planteamiento del Problema

Los sistemas de reparación automatizada basados en repositorios, que operan sobre repositorios completos de software para inspeccionar archivos, ejecutar comandos y proponer parches, se evalúan cada vez más como capacidades integrales de extremo a extremo (end-to-end). Sin embargo, este reporte holístico oscurece modos de falla distintos, tales como una mala selección de archivos, una síntesis de parches incorrecta o un fallo en la depuración iterativa. Específicamente, una débil localización de problemas a nivel de archivo (la decisión ascendente de qué archivos inspeccionar) puede distorsionar la selección de contexto y las estrategias de reparación, suprimiendo el rendimiento de la reparación descendente incluso cuando el núcleo de reparación es capaz de generar parches correctos dado el contexto adecuado. Los métodos de evaluación actuales carecen de la granularidad necesaria para aislar si un fallo proviene de buscar la región incorrecta del repositorio o de sintetizar un parche incorrecto una vez encontrados los archivos correctos.

Metodología: El Marco Loc2Repair

Para abordar esto, los autores presentan Loc2Repair, un marco de evaluación modular diseñado para el análisis controlado de los pipelines de reparación basados en repositorios. El principio de diseño central es desacoplar la localización y la reparación bajo un tiempo de ejecución, esquema de artefactos y entorno de evaluación compartidos. Esto permite a los investigadores variar la etapa de localización manteniendo fijo el núcleo de reparación descendente.

Diseño Experimental

El estudio evalúa tres backbones de reparación distintos en 500 instancias de SWE-bench Verified:

1. Gemma4-26B-A4B-IT
2. GLM-4.7
3. Qwen3.5-35B-A3B

Para cada backbone, los autores comparan cuatro brazos experimentales:

• Baseline (Base): Reparación sin localización explícita a nivel de archivo.
• Pred-Qwen4B: Reparación guiada por pistas de archivos predichas por un localizador ligero Qwen4B.
• Pred-Gemma4E4B: Reparación guiada por pistas de archivos predichas por un localizador ligero Gemma4E4B.
• Gold (Oro): Reparación guiada por pistas de archivos de estilo "oráculo" derivadas de los conjuntos de archivos modificados de referencia del benchmark.

El marco utiliza un bucle de interacción con el repositorio basado en un mini-agente de SWE. En la etapa de localización, el agente está restringido a inspeccionar el repositorio y devolver una lista estructurada de archivos predichos sin editar. Estas predicciones se inyectan como objetivos iniciales de alta confianza en el prompt de reparación (localización suave), permitiendo que el agente de reparación aún razone sobre el repositorio más amplio.

Métricas de Evaluación

• Efectividad: Medida por la métrica estándar de "resolución" de SWE-bench (si el parche generado pasa el entorno de evaluación del benchmark).
• Eficiencia: Medida por el tiempo de ejecución promedio (tiempo transcurrido) y el uso de tokens (entrada/salida).
• Análisis Estadístico: Las comparaciones se emparejan por instancia de benchmark dentro de cada backbone, utilizando pruebas de McNemar para las tasas de resolución y pruebas de signo para los deltas de eficiencia.

Contribuciones Clave

1. Marco Loc2Repair: Un marco modular y reutilizable que expone la localización y la reparación como etapas separadas e intercambiables, permitiendo un análisis de combinación controlada de diferentes localizadores y backbones de reparación.
2. Evidencia Empírica del Impacto de la Localización: Evidencia transversal de backbones que demuestra que la localización explícita a nivel de archivo mejora consistentemente la efectividad de la reparación de extremo a extremo.
3. Compromisos entre Eficiencia y Efectividad: Demostración de que la localización puede mejorar simultáneamente la efectividad y reducir el tiempo transcurrido medio, aunque los efectos en el uso de tokens siguen dependiendo del modelo.
4. Metodología de Evaluación Consciente de las Etapas: Un enfoque de diagnóstico que muestra cómo el análisis consciente de las etapas expone el margen de mejora y los modos de falla que el reporte de extremo a extremo por sí solo ocultaría.

Resultados

Efectividad (RQ1 y RQ2)

La localización explícita mejora consistentemente la tasa de resolución en los tres backbones de reparación:

• Rendimiento de la Base (Baseline): Tasa de resolución agrupada del 44.7%.
• Localización Predicha (Predicted): Las tasas de resolución agrupadas aumentaron a 48.9% (Qwen4B) y 49.1% (Gemma4E4B).
• Localización de Oro (Gold): La tasa de resolución agrupada aumentó al 52.4%.

Las ganancias fueron estadísticamente significativas en la mayoría de las comparaciones. Notablemente, aunque una localización independiente más fuerte (por ejemplo, Gemma4E4B) generalmente produjo mejores resultados, la traslación a las ganancias de reparación descendente no fue estrictamente monótona ni uniforme en todos los backbones.

Eficiencia (RQ3)

La localización generalmente mejoró la latencia operativa:

• Reducción de Tiempo Agrupado: El tiempo transcurrido medio disminuyó en 100.94s (Pred-Qwen4B), 52.25s (Pred-Gemma4E4B) y 154.45s (Gold) en comparación con la base.
• Uso de Tokens: Los efectos fueron heterogéneos. Mientras que la localización Gold redujo los tokens, la localización predicha a veces aumentó el uso de tokens dependiendo de la combinación backbone-localizador.
• Compromisos (Trade-offs): Para el backbone GLM-4.7, la localización predicha mejoró la efectividad pero ocasionalmente aumentó el tiempo transcurrido, lo que sugiere que ayudó al modelo a completar instancias difíciles en las que la base se habría agotado por tiempo (timeout).

Margen de Mejora más allá de la Localización (RQ4)

Incluso con la localización de Oro (Gold) (segmentación de archivos perfecta), un número sustancial de instancias permanecieron sin resolver (por ejemplo, 251 para Gemma4, 267 para GLM-4.7). Esto indica que la segmentación de archivos no es el único cuello de botella; existen modos de falla significativos en factores descendentes como la síntesis de parches semánticos, la depuración de múltiples pasos y el comportamiento de validación.

Significado y Reivindicaciones

El artículo afirma que la localización a nivel de archivo es una "palanca de reparación de primer orden" para los agentes basados en repositorios. La principal significancia no reside solo en las ganancias de rendimiento, sino en el cambio metodológico hacia una evaluación consciente de las etapas.

• Valor Diagnóstico: Las tablas de clasificación (leaderboards) de extremo a extremo son insuficientes para el diagnóstico científico. Dos sistemas con tasas de resolución similares pueden fallar por razones completamente distintas (por ejemplo, uno localiza mal pero parchea bien; otro localiza bien pero parchea mal). Loc2Repair expone estas distinciones.
• Implicaciones de Diseño: Tratar la segmentación de archivos como un comportamiento emergente implícito oculta una fuente controlable de varianza. Modularizar la localización permite la optimización de la guía ascendente sin alterar el backbone de reparación.
• Dirección Futura: La brecha persistente entre el rendimiento de la localización Gold y la resolución del 100% sugiere que los futuros sistemas de reparación deben descomponer el pipeline de reparación más allá de solo la localización y la generación de parches, introduciendo potencialmente etapas especializadas para la selección de contexto, la planificación de parches y el diagnóstico de fallas.

Los autores concluyen que, si bien una mejor segmentación de archivos mejora la reparación, no agota el problema, y el trabajo futuro debe abordar las complejidades descendentes restantes de la reparación basada en repositorios.