RepoRepair: Leveraging Code Documentation for Repository-Level Automated Program Repair

Aquí presento un resumen técnico detallado del artículo "RepoRepair: Leveraging Code Documentation for Repository-Level Automated Program Repair" (RepoRepair: Aprovechando la Documentación de Código para la Reparación Automatizada de Programas a Nivel de Repositorio), estructurado según los puntos solicitados.

1. El Problema

La Reparación Automatizada de Programas (APR) ha demostrado ser efectiva en funciones aisladas, pero enfrenta grandes dificultades al escalar a niveles de repositorio completos. Los desafíos principales identificados son:

• Comprensión Global: Las herramientas actuales carecen de una comprensión semántica global necesaria para localizar cambios en bases de código interdependientes y extensas.
• Limitaciones de Contexto: Inyectar el código fuente completo de un repositorio en los modelos de lenguaje (LLM) consume ventanas de contexto prohibitivas.
• Dispersión Semántica: La información relevante para una falla suele estar dispersa en múltiples archivos y modalidades (texto, imágenes), lo que las herramientas actuales no logran integrar bien.
• Fallas en Benchmarks Multimodales: Herramientas de vanguardia (como Agentless Lite) funcionan razonablemente bien en repositorios de Python (SWE-bench Lite), pero su rendimiento cae drásticamente en repositorios de JavaScript/TypeScript con problemas complejos y descripciones multimodales (SWE-bench Multimodal), debido a una recuperación de información superficial (solo estructura de directorios o fragmentos de código).

2. Metodología: RepoRepair

RepoRepair es un enfoque sin agentes (agent-free) que introduce una nueva estrategia basada en la generación de documentación jerárquica para guiar la localización de fallos y la reparación. El flujo de trabajo consta de tres etapas principales:

A. Generación de Documentación Jerárquica

En lugar de analizar el código crudo, el sistema utiliza un LLM (DeepSeek-V3) para generar documentación estructurada en dos niveles para todo el repositorio:

1. Documentación a Nivel de Función: Extrae metadatos (nombre, firma, dependencias) y genera descripciones semánticas de cada función/clase, incluyendo lógica interna y uso de variables.
2. Documentación a Nivel de Archivo: Sintetiza la documentación de las funciones para crear un resumen de alto nivel del propósito del archivo, su rol arquitectónico y sus dependencias dentro del proyecto.

• Ventaja: Esta documentación actúa como una abstracción semántica que reduce la carga de tokens y facilita la búsqueda semántica.

B. Localización Jerárquica de Fallos

El proceso de localización se realiza en pasos para refinar la búsqueda:

1. Recuperación de Archivos: Se vectoriza la documentación a nivel de archivo y se compara con la descripción del problema (convertida a texto si es multimodal) para recuperar los archivos más relevantes.
2. Localización de Archivos Sospechosos: Un LLM (Claude-4) analiza la descripción del problema junto con la documentación de los archivos recuperados para clasificar y seleccionar los archivos sospechosos.
3. Localización de Funciones/Clases: Dentro de los archivos sospechosos, se utiliza la documentación a nivel de función para identificar las unidades de código específicas que requieren modificación.
   • Mecanismo de Verificación: Si no se encuentran funciones relevantes en un archivo sospechoso, el sistema descarta ese archivo y re-ejecuta la localización, actuando como un filtro de precisión.

C. Reparación y Validación

1. Poda de Código (Context-Aware Pruning): Antes de generar el parche, el sistema recorta el contenido de los archivos. Conserva: (i) las funciones localizadas, (ii) las declaraciones globales/importaciones necesarias, y (iii) funciones no localizadas pero referenciadas estáticamente. Elimina el resto para reducir el ruido.
2. Generación de Parches: El LLM genera parches en formato diff (búsqueda/sustitución) en lugar de reescribir archivos completos.
3. Validación Combinatoria Iterativa:
   • Se generan combinaciones de parches (desde parches de un solo archivo hasta combinaciones de múltiples archivos).
   • Se validan en paralelo contra la suite de pruebas del repositorio.
   • Se utiliza una estrategia de temperatura iterativa: si no hay parches válidos, se incrementa la temperatura del LLM (de 0.0 a 0.9) para generar variaciones y explorar nuevas soluciones.

3. Contribuciones Clave

1. Marco de Reparación Mejorado con Documentación: Propone un sistema que utiliza documentación generada por LLMs como intermediario semántico, superando las limitaciones de la recuperación basada solo en código crudo.
2. Localización Jerárquica y Verificable: Introduce un mecanismo de dos niveles (archivo -> función) que no solo localiza, sino que verifica la relevancia de los archivos seleccionados, mejorando significativamente la precisión en problemas transversales (cross-file).
3. Evaluación Exhaustiva y Reproducibilidad: Realiza comparaciones sistemáticas en los benchmarks más desafiantes (SWE-bench Lite y Multimodal), cuantificando no solo la tasa de reparación, sino también la precisión de localización y el costo. Todos los artefactos (código, documentación generada, resultados) están públicos.

4. Resultados

El rendimiento se evaluó en dos conjuntos de datos principales:

• SWE-bench Lite (Python):

  • Tasa de Reparación: 45.7% (45.67% exacto en tablas).
  • Costo: $0.44 por reparación.
  • Precisión de Localización de Archivos: 79.0% (superior a Agentless Lite que obtuvo 74.7%).
  • Comparación: Supera a herramientas como OpenHands y PatchPilot, y es competitivo con ExpeRepair (que usa un modelo más costoso) pero a una fracción del costo.

• SWE-bench Multimodal (JavaScript/TypeScript con imágenes):

  • Tasa de Reparación: 37.1% (Estado del Arte - SOTA).
  • Costo: $0.56 por reparación.
  • Precisión de Localización de Archivos: 59.8% (una mejora de casi 30 puntos porcentuales sobre Agentless Lite que obtuvo 30.4%).
  • Impacto: Demostró una capacidad superior para resolver problemas complejos que involucran múltiples archivos y lógica de interfaz de usuario, donde las herramientas basadas en recuperación superficial fallan.

• Análisis de Costo-Eficiencia: El uso de documentación permite reducir drásticamente el número de tokens necesarios en la fase de localización (hasta un 82% de reducción en costos de tokens comparado con no usar recuperación), justificando la inversión inicial en generación de documentación.

5. Significado e Impacto

• Superación de la Brecha Semántica: RepoRepair demuestra que la documentación generada por IA puede servir como un puente efectivo entre las descripciones de problemas en lenguaje natural y la implementación de código, resolviendo la dispersión semántica que afecta a los métodos actuales.
• Escalabilidad y Generalización: A diferencia de herramientas acopladas a Python, RepoRepair funciona eficazmente en ecosistemas de JavaScript/TypeScript, lo que sugiere una alta generalización lingüística gracias a la abstracción de la documentación.
• Viabilidad Económica: Logra un rendimiento de vanguardia manteniendo costos operativos muy bajos, lo que lo hace viable para su integración en flujos de trabajo de desarrollo reales.
• Cambio de Paradigma: Marca un paso hacia la comprensión profunda de repositorios sin depender de agentes costosos y lentos que realizan iteraciones infinitas, proponiendo en su lugar un pipeline estructurado y determinista basado en conocimiento semántico pre-computado.

En resumen, RepoRepair establece un nuevo estándar en la reparación automatizada a nivel de repositorio al demostrar que la inversión en comprensión semántica estructurada (documentación) es la clave para resolver problemas complejos de software de manera eficiente y precisa.