💻 computer science

EXPEREPAIR: Dual-Memory Enhanced LLM-based Repository-Level Program Repair

ExpeRepair es un marco novedoso basado en LLM que aprovecha un sistema de doble memoria —compuesto por memoria episódica para demostraciones concretas de reparación y memoria semántica para conocimientos abstractos— para componer dinámicamente prompts conscientes del contexto, logrando un rendimiento de vanguardia en código abierto en los benchmarks SWE-Bench Lite y Verified mediante la reutilización efectiva de conocimientos históricos de reparación.

Autores originales: Fangwen Mu, Junjie Wang, Lin Shi, Song Wang, Shoubin Li, Qing Wang

Publicado 2026-05-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Fangwen Mu, Junjie Wang, Lin Shi, Song Wang, Shoubin Li, Qing Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un mecánico experto intentando reparar un motor complejo de un automóvil vintage. En el pasado, cada vez que surgía un nuevo problema, tenías que empezar desde cero: leer el manual, adivinar qué estaba mal, probar una solución y esperar que funcionara. Si fallabas, simplemente lo intentabas de nuevo, olvidando lo aprendido del error anterior.

ExpeRepair es como darle a ese mecánico un sistema de memoria potenciado, dividido en dos partes, inspirado en cómo funcionan los cerebros humanos. En lugar de empezar desde cero cada vez, este sistema ayuda a la IA a "recordar" reparaciones pasadas y aprender de ellas, haciéndola mucho mejor en la corrección de errores de software.

Así es como funciona, desglosado en conceptos simples:

Los Dos Tipos de Memoria

El artículo explica que la memoria humana no es solo un gran cubo; tiene dos partes distintas. ExpeRepair copia este diseño:

Memoria Episódica (El "Álbum de Fotos"):
- Qué es: Es una colección de ejemplos específicos y concretos. Piensa en ello como un recetario de reparaciones pasadas. Contiene las fotos exactas de "antes y después": el mensaje de error específico, el código exacto que estaba roto y el parche específico que lo arregló.
- Cómo ayuda: Cuando aparece un nuevo error, el sistema hojea este recetario para encontrar un caso pasado similar. "Oye, arreglamos un interruptor de luz roto similar la semana pasada; intentemos el mismo truco". Esto proporciona una receta concreta que seguir.
Memoria Semántica (El "Libro de Reglas"):
- Qué es: Es la sabiduría abstracta obtenida de todas esas reparaciones pasadas. No se trata de fotos específicas, sino de principios generales. Piensa en ello como una lista de "Mejores Prácticas" o "Reglas Empíricas" escritas en inglés sencillo.
- Cómo ayuda: Enseña a la IA lecciones generales, como "Al solucionar problemas de seguridad, siempre verifica los casos límite" o "Si una función maneja múltiples entradas, asegúrate de corregirlas todas, no solo la mencionada". Esto ayuda a la IA a adaptarse a nuevas situaciones que no ha visto antes.

Cómo Arregla Errores (El Flujo de Trabajo)

El sistema utiliza dos "agentes" (trabajadores de IA) para realizar la reparación: uno para escribir un script de prueba (para demostrar que el error existe) y otro para escribir la corrección real.

La Vieja Forma: La IA recibe un informe de error, intenta adivinar una corrección basada en su entrenamiento general y espera lo mejor. Si falla, lo intenta de nuevo con las mismas instrucciones estáticas.
La Forma ExpeRepair:
1. Mirar hacia atrás: Antes de intentar corregir el nuevo error, el sistema revisa su Álbum de Fotos (Memoria Episódica) buscando fallos y éxitos pasados similares.
2. Leer las reglas: También revisa su Libro de Reglas (Memoria Semántica) buscando consejos de alto nivel relevantes para este tipo de problema.
3. Instrucciones dinámicas: En lugar de usar un manual de instrucciones rígido y preescrito, el sistema crea un "prompt" personalizado y "dinámico" para el trabajador de IA. Dice: "Aquí está el nuevo error. Aquí hay un error similar que arreglamos el mes pasado (del Álbum de Fotos). Y recuerda esta regla sobre el manejo de casos límite (del Libro de Reglas)".
4. Aprender y actualizar: Una vez que se realiza la corrección (o incluso si falla), el sistema guarda la experiencia. Añade los detalles específicos al Álbum de Fotos y resume la lección aprendida en el Libro de Reglas para la próxima vez.

Los Resultados

Los investigadores probaron este sistema en dos conjuntos famosos de errores de software del mundo real (llamados SWE-Bench Lite y SWE-Bench Verified).

La Puntuación: Utilizando un modelo de IA potente (Claude 4 Sonnet), ExpeRepair corrigió exitosamente el 74.6% de los errores en el conjunto de pruebas más difícil y el 60.3% en el conjunto más ligero.
La Comparación: Este fue el mejor rendimiento entre todos los métodos de código abierto que probaron. Superó a otras herramientas principales como SWE-agent, Aider y AutoCodeRover.
El Costo: Logró estas altas puntuaciones sin necesidad de un reentrenamiento costoso y que consume tiempo del modelo de IA. Simplemente aprendió "leyendo" su propio trabajo pasado.

Por Qué Importa

El artículo argumenta que las herramientas actuales de reparación con IA son como estudiantes que hacen un examen, reciben una calificación y luego olvidan todo inmediatamente antes del siguiente examen. ExpeRepair es como un estudiante que mantiene una guía de estudio, revisa sus errores y se vuelve más inteligente con cada problema que resuelve.

Al combinar ejemplos específicos (Episódicos) con sabiduría general (Semántica), el sistema crea un ciclo de retroalimentación donde la IA mejora en la corrección de software a medida que trabaja más, imitando cómo los desarrolladores humanos realmente aprenden y mejoran con el tiempo.

Resumen Técnico: ExpeRepair

Enunciado del Problema

La Reparación Automática de Programas (APR) se ha centrado tradicionalmente en errores a nivel de función, pero el mantenimiento de software en el mundo real requiere reparación a nivel de repositorio que involucre grandes bases de código, dependencias complejas entre archivos y descripciones de problemas intrincadas. Aunque los enfoques recientes basados en Modelos de Lenguaje Grande (LLM) han evolucionado hacia la reparación a nivel de repositorio, adolecen de dos limitaciones críticas:

Negligencia de la Experiencia Histórica: Los métodos actuales tratan cada problema de forma aislada, sin aprovechar patrones valiosos y conocimientos derivados de problemas resueltos previamente dentro del mismo repositorio.
Prompting Estático: Los enfoques existentes dependen de prompts rígidos, elaborados manualmente, que no pueden adaptarse a las diversas convenciones de codificación, patrones arquitectónicos o contextos en evolución de diferentes proyectos de software.

Metodología: ExpeRepair

ExpeRepair es un marco novedoso basado en LLM diseñado para superar estas limitaciones imitando los sistemas de memoria dual de la cognición humana (memoria episódica y semántica). Opera sin requerir un ajuste fino computacionalmente costoso, dependiendo en su lugar de un mecanismo de acumulación de conocimiento de doble canal.

Arquitectura Central

El sistema consta de dos módulos principales:

Módulo de Reparación de Programas: Orquesta un Agente de Pruebas y un Agente de Parches que realizan colaborativamente la generación de pruebas, la generación de parches y la validación de parches. Estos agentes utilizan el algoritmo ReAct para procesar tareas de forma iterativa.
Módulo de Memoria: Organiza las trayectorias de reparación en dos memorias complementarias:
- Memoria Episódica: Almacena demostraciones concretas de reparación, incluyendo pares (entrada, salida) exitosos e intentos fallidos con retroalimentación.
- Memoria Semántica: Codifica conocimientos abstractos y reflexivos destilados de trayectorias de reparación pasadas (por ejemplo, estrategias generales, causas comunes de fallos).

Flujo de Trabajo

ExpeRepair opera en dos fases:

Fase Inicial (Arranque en Frío): El sistema procesa un conjunto inicial de problemas (los primeros cinco problemas por repositorio) sin memoria previa. Las trayectorias de reparación resultantes se extraen y organizan en las memorias episódica y semántica para establecer un "arranque en caliente".
Fase de Inferencia: Para nuevos problemas, ExpeRepair activa dinámicamente ambos sistemas de memoria:
- Activación Episódica: Recupera las $k$ demostraciones más relevantes basándose en el contexto del problema actual y la retroalimentación de ejecución (utilizando recuperación BM25). Estas sirven como ejemplos en contexto.
- Activación Semántica: Recupera conocimientos reflexivos de alto nivel para guiar las estrategias de razonamiento de los agentes.
- Prompting Dinámico: Los agentes reciben prompts aumentados que combinan la definición de la tarea, el contexto del problema, la retroalimentación de ejecución, las demostraciones recuperadas y los conocimientos semánticos. Esto reemplaza los prompts estáticos con instrucciones conscientes del contexto y basadas en la experiencia.

Mantenimiento de la Memoria

La memoria semántica se actualiza dinámicamente mediante un proceso de resumen y actualización donde el LLM analiza las trayectorias de reparación para generar nuevos conocimientos. Estos conocimientos se gestionan utilizando tres operaciones: AGREGAR (nuevos conocimientos valiosos), ELIMINAR (entradas contradictorias o redundantes) y EDITAR (refinar o fusionar conocimientos superpuestos). El sistema limita el número de conocimientos para evitar la saturación del contexto.

Contribuciones Clave

Marco de Memoria Dual: Propone ExpeRepair, el primer método de APR a nivel de repositorio que aprende continuamente de experiencias históricas mediante un sistema de memoria dual (episódica y semántica) sin actualizaciones de parámetros.
Generación Dinámica de Prompts: Diseña un mecanismo que adapta las estrategias de reparación integrando demostraciones concretas y patrones abstractos, abordando la rigidez del prompting estático.
Validación Empírica: Realiza experimentos exhaustivos en SWE-Bench Lite y SWE-Bench Verified, demostrando un rendimiento de vanguardia entre los métodos de código abierto.
Código Abierto: Proporciona código fuente de acceso público para facilitar la replicación y la investigación futura.

Resultados Experimentales

Los autores evaluaron ExpeRepair en SWE-Bench Lite (300 problemas) y SWE-Bench Verified (problemas solucionables curados) utilizando diversos cimientos de LLM (Claude 3.5 Sonnet, Claude 4 Sonnet, etc.).

Rendimiento: Utilizando Claude 4 Sonnet, ExpeRepair logró un 60.3% de pass@1 en SWE-Bench Lite y un 74.6% de pass@1 en SWE-Bench Verified.
Comparación: Estos resultados superan a todas las líneas base de código abierto evaluadas, incluyendo SWE-agent, AutoCodeRover, SpecRover, Agentless, OpenHands, PatchPilot y DARS. Por ejemplo, en SWE-Bench Verified, ExpeRepair (74.6%) superó significativamente al siguiente mejor método de código abierto, DARS (no reportado en Verified en la tabla, pero PatchPilot fue 53.6%).
Eficiencia: ExpeRepair mantiene costos de inferencia competitivos (aprox. $1.91 por instancia con Claude 4), significativamente más bajos que estrategias de alto costo como DARS ($12.24).
Estudios de Ablación:
- Eliminar todo el Módulo de Memoria causó la mayor caída de rendimiento (por ejemplo, de 60.3% a ~50% en Verified con Claude 4), confirmando la necesidad de la experiencia histórica.
- La Memoria Episódica (demostraciones concretas) contribuyó más a las ganancias de rendimiento que la Memoria Semántica (conocimientos abstractos), aunque ambas fueron esenciales para obtener resultados óptimos.
- Recuperación: La recuperación basada en términos (BM25) superó a la recuperación basada en incrustaciones, lo que sugiere que la superposición léxica en los mensajes de error y la retroalimentación es crucial para la generación de código.
- Gestión de Memoria: Las estrategias que incluían operaciones ELIMINAR y EDITAR fueron críticas; la acumulación simple (solo AGREGAR) llevó a una degradación del rendimiento debido al ruido en el contexto.

Significado y Afirmaciones

El artículo afirma que ExpeRepair demuestra que aprovechar el conocimiento de reparaciones pasadas mejora significativamente el rendimiento en tareas desafiantes de reparación a nivel de repositorio. Al modelar cómo los desarrolladores aprenden y se adaptan con el tiempo, ExpeRepair logra un efecto sinérgico donde las demostraciones específicas proporcionan referencias precisas de implementación y los conocimientos reflexivos permiten una adaptación generalizada.

Los autores enfatizan que su enfoque ofrece un equilibrio favorable entre efectividad y eficiencia, evitando los altos costos del ajuste fino mientras supera a métodos complejos de orquestación de agentes. Señalan que, aunque el método es agnóstico al lenguaje en su diseño, su evaluación actual se limita a Python. Además, reconocen que, aunque el sistema de memoria dual mejora la generación de pruebas y parches, la localización de errores sigue siendo un desafío debido a la falta de oráculos automatizados para la verificación, identificando esto como una dirección para trabajos futuros.

El estudio concluye que los diferentes métodos de reparación poseen sesgos inductivos complementarios; ExpeRepair destaca en escenarios con patrones recurrentes, mientras que otros métodos (como DARS) pueden ser más adecuados para problemas novedosos que requieren razonamiento exploratorio.