💻 computer science

EXPEREPAIR: Dual-Memory Enhanced LLM-based Repository-Level Program Repair

ExpeRepair est un nouveau cadre basé sur les LLM qui exploite un système à double mémoire — comprenant une mémoire épisodique pour des démonstrations concrètes de réparation et une mémoire sémantique pour des insights abstraits — afin de composer dynamiquement des invites sensibles au contexte, atteignant des performances open-source de pointe sur les benchmarks SWE-Bench Lite et Verified en réutilisant efficacement les connaissances historiques de réparation.

Auteurs originaux : Fangwen Mu, Junjie Wang, Lin Shi, Song Wang, Shoubin Li, Qing Wang

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fangwen Mu, Junjie Wang, Lin Shi, Song Wang, Shoubin Li, Qing Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un mécanicien expert tentant de réparer un moteur de voiture ancienne et complexe. Autrefois, chaque fois qu'un nouveau problème surgissait, vous deviez repartir de zéro : lire le manuel, deviner ce qui n'allait pas, essayer une réparation et espérer que cela fonctionne. Si vous échouiez, vous réessayiez simplement, en oubliant ce que vous aviez appris de la dernière erreur.

ExpeRepair revient à offrir à ce mécanicien un système de mémoire surpuissant à deux composantes, inspiré du fonctionnement du cerveau humain. Au lieu de repartir de zéro à chaque fois, ce système aide l'IA à « se souvenir » des réparations passées et à en tirer des enseignements, ce qui la rend bien plus efficace pour corriger des bogues logiciels.

Voici comment cela fonctionne, décomposé en concepts simples :

Les Deux Types de Mémoire

L'article explique que la mémoire humaine n'est pas un simple grand réservoir ; elle comporte deux parties distinctes. ExpeRepair copie cette conception :

Mémoire Épisodique (L'« Album Photo ») :
- Ce que c'est : Il s'agit d'une collection d'exemples spécifiques et concrets. Imaginez un scrapbook de réparations passées. Il contient les photos exactes « avant et après » : le message d'erreur spécifique, le code exact qui était défectueux et le correctif précis qui l'a résolu.
- Comment cela aide : Lorsqu'un nouveau bogue apparaît, le système parcourt cet album pour trouver un cas similaire passé. « Hé, nous avons réparé un interrupteur défectueux similaire la semaine dernière ; essayons le même astuce. » Cela fournit une recette concrète à suivre.
Mémoire Sémantique (Le « Manuel de Règles ») :
- Ce que c'est : Il s'agit de la sagesse abstraite acquise à partir de toutes ces réparations passées. Il ne s'agit pas de photos spécifiques, mais de principes généraux. Imaginez une liste de « Meilleures Pratiques » ou de « Règles Empiriques » rédigées en anglais courant.
- Comment cela aide : Cela enseigne à l'IA des leçons générales, comme « Lors de la correction de problèmes de sécurité, vérifiez toujours les cas limites » ou « Si une fonction gère plusieurs entrées, assurez-vous de les corriger toutes, pas seulement celle mentionnée ». Cela aide l'IA à s'adapter à de nouvelles situations qu'elle n'a jamais rencontrées auparavant.

Comment Cela Corrige les Bogues (Le Flux de Travail)

Le système utilise deux « agents » (travailleurs IA) pour effectuer la réparation : l'un pour écrire un script de test (pour prouver l'existence du bogue) et l'autre pour écrire le correctif réel.

L'Ancienne Façon : L'IA reçoit un rapport de bogue, tente de deviner un correctif basé sur sa formation générale et espère le meilleur. Si elle échoue, elle réessaie avec les mêmes instructions statiques.
La Façon ExpeRepair :
1. Regarder en Arrière : Avant d'essayer de corriger le nouveau bogue, le système consulte son Album Photo (Mémoire Épisodique) pour trouver des échecs et des succès passés similaires.
2. Lire les Règles : Il consulte également son Manuel de Règles (Mémoire Sémantique) pour obtenir des conseils de haut niveau pertinents pour ce type de problème.
3. Instructions Dynamiques : Au lieu d'utiliser un manuel d'instructions rigide et préécrit, le système crée un prompt personnalisé et « dynamique » pour le travailleur IA. Il dit : « Voici le nouveau bogue. Voici un bogue similaire que nous avons corrigé le mois dernier (depuis l'Album Photo). Et n'oubliez pas cette règle concernant la gestion des cas limites (du Manuel de Règles). »
4. Apprendre et Mettre à Jour : Une fois le correctif terminé (ou même en cas d'échec), le système enregistre l'expérience. Il ajoute les détails spécifiques à l'Album Photo et résume la leçon apprise dans le Manuel de Règles pour la prochaine fois.

Les Résultats

Les chercheurs ont testé ce système sur deux ensembles célèbres de bogues logiciels réels (appelés SWE-Bench Lite et SWE-Bench Verified).

Le Score : En utilisant un modèle IA puissant (Claude 4 Sonnet), ExpeRepair a correctement corrigé 74,6 % des bogues sur l'ensemble de tests plus difficile et 60,3 % sur l'ensemble plus léger.
La Comparaison : Cela a représenté les meilleures performances parmi toutes les méthodes open source qu'ils ont testées. Il a surpassé d'autres outils de premier plan comme SWE-agent, Aider et AutoCodeRover.
Le Coût : Il a obtenu ces scores élevés sans avoir besoin d'un réentraînement coûteux et chronophage du modèle IA. Il a simplement appris en « lisant » son propre travail passé.

Pourquoi Cela Compte

L'article soutient que les outils de réparation IA actuels ressemblent à des étudiants qui passent un examen, obtiennent une note, puis oublient immédiatement tout avant le prochain examen. ExpeRepair est comme un étudiant qui conserve un guide d'étude, révise ses erreurs et devient plus intelligent à chaque problème qu'il résout.

En combinant des exemples spécifiques (Épisodique) avec une sagesse générale (Sémantique), le système crée une boucle de rétroaction où l'IA s'améliore dans la correction de logiciels au fur et à mesure qu'elle travaille, imitant la façon dont les développeurs humains apprennent et s'améliorent réellement au fil du temps.

Résumé Technique : ExpeRepair

Énoncé du Problème

La Réparation Automatique de Programmes (RAP) s'est traditionnellement concentrée sur les bugs au niveau des fonctions, mais la maintenance logicielle réelle nécessite une réparation au niveau du dépôt, impliquant de grandes bases de code, des dépendances inter-fichiers complexes et des descriptions de problèmes intricées. Bien que les approches récentes basées sur les Grands Modèles de Langage (LLM) se soient orientées vers la réparation au niveau du dépôt, elles souffrent de deux limitations critiques :

Négligence de l'Expérience Historique : Les méthodes actuelles traitent chaque problème de manière isolée, échouant à exploiter les schémas et les enseignements précieux issus de problèmes précédemment résolus au sein du même dépôt.
Prompting Statique : Les approches existantes reposent sur des invites rigides, conçues manuellement, qui ne peuvent s'adapter aux conventions de codage diverses, aux modèles architecturaux ou aux contextes évolutifs des différents projets logiciels.

Méthodologie : ExpeRepair

ExpeRepair est un cadre novateur basé sur les LLM conçu pour surmonter ces limitations en imitant les systèmes de mémoire duale de la cognition humaine (mémoire épisodique et mémoire sémantique). Il fonctionne sans nécessiter un fine-tuning coûteux en calcul, reposant plutôt sur un mécanisme d'accumulation de connaissances à double canal.

Architecture Principale

Le système se compose de deux modules principaux :

Module de Réparation de Programme : Orchestre un Agent de Test et un Agent de Correctif qui effectuent de manière collaborative la génération de tests, la génération de correctifs et la validation des correctifs. Ces agents utilisent l'algorithme ReAct pour traiter les tâches de manière itérative.
Module de Mémoire : Organise les trajectoires de réparation en deux mémoires complémentaires :
- Mémoire Épisodique : Stocke des démonstrations concrètes de réparation, incluant des paires (entrée, sortie) réussies et des tentatives échouées avec rétroaction.
- Mémoire Sémantique : Encode des enseignements abstraits et réfléchis distillés à partir des trajectoires de réparation passées (par exemple, stratégies générales, causes courantes d'échec).

Flux de Travail

ExpeRepair opère en deux phases :

Phase Initiale (Démarrage à Froid) : Le système traite un ensemble de problèmes de départ (les cinq premiers problèmes par dépôt) sans mémoire préalable. Les trajectoires de réparation résultantes sont extraites et organisées dans les mémoires épisodique et sémantique pour établir un « démarrage à chaud ».
Phase d'Inférence : Pour les nouveaux problèmes, ExpeRepair active dynamiquement les deux systèmes de mémoire :
- Activation Épisodique : Récupère les $k$ démonstrations les plus pertinentes basées sur le contexte du problème actuel et la rétroaction d'exécution (en utilisant la récupération BM25). Elles servent d'exemples en contexte.
- Activation Sémantique : Récupère des enseignements réfléchis de haut niveau pour guider les stratégies de raisonnement des agents.
- Prompting Dynamique : Les agents reçoivent des invites augmentées combinant la définition de la tâche, le contexte du problème, la rétroaction d'exécution, les démonstrations récupérées et les enseignements sémantiques. Cela remplace les invites statiques par des instructions conscientes du contexte et guidées par l'expérience.

Maintenance de la Mémoire

La mémoire sémantique est mise à jour dynamiquement via un processus de résumé et de mise à jour où le LLM analyse les trajectoires de réparation pour générer de nouveaux enseignements. Ces enseignements sont gérés à l'aide de trois opérations : AJOUTER (nouveaux enseignements précieux), SUPPRIMER (entrées contradictoires ou redondantes) et MODIFIER (affiner ou fusionner des enseignements se chevauchant). Le système limite le nombre d'enseignements pour éviter la saturation du contexte.

Contributions Clés

Cadre à Mémoire Duale : Propose ExpeRepair, la première méthode de RAP au niveau du dépôt apprenant continuellement des expériences historiques via un système à mémoire duale (épisodique et sémantique) sans mise à jour des paramètres.
Génération Dynamique d'Invites : Conçoit un mécanisme qui adapte les stratégies de réparation en intégrant des démonstrations concrètes et des schémas abstraits, répondant à la rigidité du prompting statique.
Validation Empirique : Mène des expériences complètes sur SWE-Bench Lite et SWE-Bench Verified, démontrant des performances à la pointe de l'état de l'art parmi les méthodes open source.
Open Source : Fournit un code source accessible publiquement pour faciliter la réplication et la recherche ultérieure.

Résultats Expérimentaux

Les auteurs ont évalué ExpeRepair sur SWE-Bench Lite (300 problèmes) et SWE-Bench Verified (problèmes solubles sélectionnés) en utilisant divers modèles de base LLM (Claude 3.5 Sonnet, Claude 4 Sonnet, etc.).

Performance : En utilisant Claude 4 Sonnet, ExpeRepair a atteint 60,3 % de pass@1 sur SWE-Bench Lite et 74,6 % de pass@1 sur SWE-Bench Verified.
Comparaison : Ces résultats surpassent toutes les bases de référence open source évaluées, y compris SWE-agent, AutoCodeRover, SpecRover, Agentless, OpenHands, PatchPilot et DARS. Par exemple, sur SWE-Bench Verified, ExpeRepair (74,6 %) a nettement surpassé la prochaine meilleure méthode open source, DARS (non rapportée sur Verified dans le tableau, mais PatchPilot était à 53,6 %).
Efficacité : ExpeRepair maintient des coûts d'inférence compétitifs (environ 1,91 $ par instance avec Claude 4), nettement inférieurs aux stratégies à haut coût comme DARS (12,24 $).
Études d'Ablation :
- La suppression du module de mémoire entier a causé la plus grande baisse de performance (par exemple, de 60,3 % à environ 50 % sur Verified avec Claude 4), confirmant la nécessité de l'expérience historique.
- La Mémoire Épisodique (démonstrations concrètes) a contribué davantage aux gains de performance que la Mémoire Sémantique (enseignements abstraits), bien que les deux soient essentielles pour des résultats optimaux.
- Récupération : La récupération basée sur les termes (BM25) a surpassé la récupération basée sur les plongements (embeddings), suggérant que le chevauchement lexicale dans les messages d'erreur et la rétroaction est crucial pour la génération de code.
- Gestion de la Mémoire : Les stratégies incluant les opérations SUPPRIMER et MODIFIER étaient critiques ; une simple accumulation (AJOUTER uniquement) a conduit à une dégradation des performances en raison du bruit dans le contexte.

Signification et Revendications

L'article revendique qu'ExpeRepair démontre que l'exploitation des connaissances de réparation passées améliore significativement les performances sur des tâches de réparation au niveau du dépôt difficiles. En modélisant la façon dont les développeurs apprennent et s'adaptent au fil du temps, ExpeRepair atteint un effet synergique où des démonstrations spécifiques fournissent des références d'implémentation précises, et des enseignements réfléchis permettent une adaptation généralisée.

Les auteurs soulignent que leur approche offre un équilibre favorable entre efficacité et performance, évitant les coûts élevés du fine-tuning tout en surpassant les méthodes complexes d'orchestration d'agents. Ils notent que si la méthode est conçue de manière agnostique à la langue, leur évaluation actuelle est limitée au Python. De plus, ils reconnaissent que si le système à mémoire duale améliore la génération de tests et de correctifs, la localisation des bugs reste un défi en raison de l'absence d'oracles automatisés pour la vérification, identifiant cela comme une direction pour les travaux futurs.

L'étude conclut que différentes méthodes de réparation possèdent des biais inductifs complémentaires ; ExpeRepair excelle dans les scénarios avec des schémas récurrents, tandis que d'autres méthodes (comme DARS) peuvent mieux convenir à des problèmes nouveaux nécessitant un raisonnement exploratoire.