💻 computer science

EXPEREPAIR: Dual-Memory Enhanced LLM-based Repository-Level Program Repair

ExpeRepair is een nieuw op LLM's gebaseerd raamwerk dat een dubbel-geheugensysteem benut—bestaande uit episodisch geheugen voor concrete reparatiedemonstraties en semantisch geheugen voor abstracte inzichten—om contextbewuste prompts dynamisch samen te stellen, waardoor state-of-the-art open-source prestaties op de SWE-Bench Lite- en Verified-benchmarks worden bereikt door effectief hergebruik van historische reparatiekennis.

Oorspronkelijke auteurs: Fangwen Mu, Junjie Wang, Lin Shi, Song Wang, Shoubin Li, Qing Wang

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Fangwen Mu, Junjie Wang, Lin Shi, Song Wang, Shoubin Li, Qing Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meester-mechanicus bent die probeert een complexe, vintage motoren te repareren. In het verleden moest je bij elk nieuw probleem opnieuw beginnen: de handleiding lezen, raden wat er mis was, een oplossing proberen en hopen dat het werkte. Als je faalde, probeerde je het gewoon opnieuw, zonder te onthouden wat je van de vorige fout had geleerd.

ExpeRepair is alsof je die mechanicus een superkrachtig, tweeledig geheugensysteem geeft, geïnspireerd op hoe menselijke hersenen werken. In plaats van elke keer bij nul te beginnen, helpt dit systeem de AI om eerdere reparaties te "onthouden" en daaruit te leren, waardoor het veel beter wordt in het oplossen van softwarefouten.

Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige concepten:

De Twee Soorten Geheugen

Het artikel legt uit dat menselijk geheugen niet één grote emmer is; het heeft twee onderscheiden delen. ExpeRepair kopieert dit ontwerp:

Episodisch Geheugen (Het "Fotoboek"):
- Wat het is: Dit is een verzameling van specifieke, concrete voorbeelden. Denk eraan als een plakboek van eerdere reparaties. Het bevat de exacte "voor- en na"-foto's: het specifieke foutbericht, de exacte code die kapot was, en de specifieke patch die het heeft opgelost.
- Hoe het helpt: Wanneer een nieuwe bug verschijnt, bladert het systeem door dit plakboek om een vergelijkbaar eerdere casus te vinden. "Hé, we hebben vorige week een vergelijkbare kapotte lichtschakelaar gerepareerd; laten we dezelfde truc proberen." Dit biedt een concreet recept om te volgen.
Semantisch Geheugen (Het "Regelboek"):
- Wat het is: Dit is de abstracte wijsheid die is opgedaan uit al die eerdere reparaties. Het gaat niet om specifieke foto's, maar om algemene principes. Denk eraan als een lijst met "Beste Praktijken" of "Daagse Regels" geschreven in gewoon Nederlands.
- Hoe het helpt: Het leert de AI algemene lessen, zoals "Bij het oplossen van beveiligingsproblemen altijd controleren op randgevallen" of "Als een functie meerdere invoerwaarden verwerkt, zorg er dan voor dat je ze allemaal repareert, niet alleen degene die wordt genoemd." Dit helpt de AI zich aan te passen aan nieuwe situaties die het nog niet eerder heeft gezien.

Hoe het Bugs Repareert (De Werkstroom)

Het systeem gebruikt twee "agenten" (AI-medewerkers) om de reparatie uit te voeren: één om een testscript te schrijven (om te bewijzen dat de bug bestaat) en één om de daadwerkelijke oplossing te schrijven.

De Oude Manier: De AI krijgt een bugrapport, probeert een oplossing te raden op basis van zijn algemene training en hoopt op het beste. Als het faalt, probeert het het opnieuw met dezelfde statische instructies.
De ExpeRepair Manier:
1. Terugkijken: Voordat het probeert de nieuwe bug op te lossen, controleert het systeem zijn Fotoboek (Episodisch Geheugen) op vergelijkbare eerdere mislukkingen en successen.
2. Regels Lezen: Het controleert ook zijn Regelboek (Semantisch Geheugen) op hoogwaardig advies dat relevant is voor dit type probleem.
3. Dynamische Instructies: In plaats van een stijf, vooraf geschreven instructiehandboek te gebruiken, creëert het systeem een aangepaste, "dynamische" prompt voor de AI-medewerker. Het zegt: "Hier is de nieuwe bug. Hier is een vergelijkbare bug die we vorige maand hebben opgelost (uit het Fotoboek). En vergeet deze regel niet over het hanteren van randgevallen (uit het Regelboek)."
4. Leren en Bijwerken: Zodra de oplossing klaar is (of zelfs als het faalt), slaat het systeem de ervaring op. Het voegt de specifieke details toe aan het Fotoboek en vat de geleerde les samen in het Regelboek voor de volgende keer.

De Resultaten

De onderzoekers hebben dit systeem getest op twee beroemde sets van real-world softwarefouten (genaamd SWE-Bench Lite en SWE-Bench Verified).

De Score: Met behulp van een krachtig AI-model (Claude 4 Sonnet) slaagde ExpeRepair erin 74,6% van de bugs op de moeilijkere testset en 60,3% op de lichtere set op te lossen.
De Vergelijking: Dit was de beste prestatie onder alle open-source methoden die ze testten. Het sloeg andere top-tools zoals SWE-agent, Aider en AutoCodeRover.
De Kosten: Het behaalde deze hoge scores zonder dat er dure, tijdrovende hertraining van het AI-model nodig was. Het leerde gewoon door zijn eigen eerdere werk te "lezen".

Waarom het Belangrijk Is

Het artikel betoogt dat huidige AI-reparatietools lijken op studenten die een toets maken, een cijfer krijgen en vervolgens direct alles vergeten voordat de volgende toets begint. ExpeRepair is als een student die een studiegids bijhoudt, zijn fouten bekijkt en met elk probleem dat hij oplost slimmer wordt.

Door specifieke voorbeelden (Episodisch) te combineren met algemene wijsheid (Semantisch), creëert het systeem een feedbacklus waarbij de AI beter wordt in het oplossen van software naarmate het meer werkt, net zoals menselijke ontwikkelaars in de loop van de tijd leren en verbeteren.

Technische Samenvatting: ExpeRepair

Probleemstelling

Geautomatiseerde Programmatuurherstel (APR) heeft zich traditioneel gericht op bugs op functieniveau, maar softwareonderhoud in de praktijk vereist herstel op repository-niveau met grote codebases, complexe inter-bestandsafhankelijkheden en ingewikkelde probleembeschrijvingen. Hoewel recente benaderingen op basis van Large Language Models (LLM) zijn verschoven naar herstel op repository-niveau, lijden ze onder twee kritieke beperkingen:

Verwaarlozing van Historische Ervaring: Huidige methoden behandelen elk probleem geïsoleerd, waardoor waardevolle patronen en inzichten uit eerder opgeloste problemen binnen dezelfde repository niet worden benut.
Statische Prompting: Bestaande methoden vertrouwen op starre, handmatig ontworpen prompts die niet kunnen aanpassen aan de diverse coderingsconventies, architecturale patronen of evoluerende contexten van verschillende softwareprojecten.

Methodologie: ExpeRepair

ExpeRepair is een innovatief LLM-gebaseerd framework ontworpen om deze beperkingen te overwinnen door de dubbele geheugensystemen van menselijke cognitie (episodisch en semantisch geheugen) na te bootsen. Het werkt zonder dat er rekenintensief fine-tuning nodig is, en vertrouwt in plaats daarvan op een dubbelkanaals kennisaccumulatiemechanisme.

Kernarchitectuur

Het systeem bestaat uit twee primaire modules:

Programmaherstelmodule: Coördineert een Test Agent en een Patch Agent die gezamenlijk testgeneratie, patchgeneratie en patchvalidatie uitvoeren. Deze agenten gebruiken het ReAct-algoritme om taken iteratief te verwerken.
Geheugenmodule: Organiseert hersteltrajecten in twee complementaire geheugens:
- Episodisch Geheugen: Bewaart concrete herstelvoorbeelden, inclusief succesvolle (input, output)-paren en mislukte pogingen met feedback.
- Semantisch Geheugen: Codeert abstracte, reflectieve inzichten die zijn gedestilleerd uit eerdere hersteltrajecten (bijv. algemene strategieën, veelvoorkomende oorzaken van fouten).

Werkstroom

ExpeRepair werkt in twee fasen:

Initiële Fase (Cold Start): Het systeem verwerkt een set seed-problemen (de eerste vijf problemen per repository) zonder voorafgaand geheugen. De resulterende hersteltrajecten worden geëxtraheerd en georganiseerd in het episodische en semantische geheugen om een "warm start" tot stand te brengen.
Inferentiefase: Voor nieuwe problemen activeert ExpeRepair dynamisch beide geheugensystemen:
- Episodische Activering: Haalt de top- $k$ relevante voorbeelden op op basis van de huidige probleemcontext en uitvoeringsfeedback (met behulp van BM25-retrieval). Deze dienen als voorbeelden in de context.
- Semantische Activering: Haalt hoogwaardige reflectieve inzichten op om de redeneerstrategieën van de agenten te sturen.
- Dynamische Prompting: De agenten ontvangen aangevulde prompts die de taakdefinitie, probleemcontext, uitvoeringsfeedback, opgehaalde voorbeelden en semantische inzichten combineren. Dit vervangt statische prompts door contextbewuste, ervaringsgedreven instructies.

Geheugenonderhoud

Het semantische geheugen wordt dynamisch bijgewerkt via een samenvatten-en-bijwerken-proces waarbij de LLM hersteltrajecten analyseert om nieuwe inzichten te genereren. Deze inzichten worden beheerd met drie bewerkingen: TOEVOEGEN (nieuwe waardevolle inzichten), VERWIJDEREN (tegenstrijdige of redundante items) en BEWERKEN (verfijnen of samenvoegen van overlappende inzichten). Het systeem beperkt het aantal inzichten om contextverzadiging te voorkomen.

Belangrijkste Bijdragen

Dubbel-Geheugen Framework: Stelt ExpeRepair voor, de eerste APR-methode op repository-niveau die continu leert uit historische ervaringen via een dubbel-geheugensysteem (episodisch en semantisch) zonder parameterupdates.
Dynamische Promptgeneratie: Ontwerpt een mechanisme dat herstelstrategieën aanpast door concrete voorbeelden en abstracte patronen te integreren, waarmee de rigiditeit van statische prompting wordt aangepakt.
Empirische Validatie: Voert uitgebreide experimenten uit op SWE-Bench Lite en SWE-Bench Verified, en demonstreert state-of-the-art prestaties onder open-source methoden.
Open Source: Biedt publiek toegankelijke broncode om replicatie en verder onderzoek te faciliteren.

Experimentele Resultaten

De auteurs hebben ExpeRepair geëvalueerd op SWE-Bench Lite (300 problemen) en SWE-Bench Verified (gecurateerde oplosbare problemen) met verschillende LLM-backbones (Claude 3.5 Sonnet, Claude 4 Sonnet, enz.).

Prestaties: Met Claude 4 Sonnet behaalde ExpeRepair 60,3% pass@1 op SWE-Bench Lite en 74,6% pass@1 op SWE-Bench Verified.
Vergelijking: Deze resultaten overtreffen alle geëvalueerde open-source baselines, waaronder SWE-agent, AutoCodeRover, SpecRover, Agentless, OpenHands, PatchPilot en DARS. Bijvoorbeeld, op SWE-Bench Verified presteerde ExpeRepair (74,6%) aanzienlijk beter dan de volgende beste open-source methode, DARS (niet gerapporteerd op Verified in de tabel, maar PatchPilot was 53,6%).
Efficiëntie: ExpeRepair behoudt concurrerende inferentiekosten (ongeveer $1,91 per instantie met Claude 4), aanzienlijk lager dan dure strategieën zoals DARS ($12,24).
Ablatiestudies:
- Het verwijderen van de gehele Geheugenmodule veroorzaakte de grootste daling in prestaties (bijv. van 60,3% naar ~50% op Verified met Claude 4), wat de noodzaak van historische ervaring bevestigt.
- Episodisch Geheugen (concrete voorbeelden) droeg meer bij aan prestatiewinst dan Semantisch Geheugen (abstracte inzichten), hoewel beide essentieel waren voor optimale resultaten.
- Retrieval: Termgebaseerde retrieval (BM25) presteerde beter dan embedding-gebaseerde retrieval, wat suggereert dat lexicaal overlap in foutberichten en feedback cruciaal is voor codegeneratie.
- Geheugenbeheer: Strategieën met VERWIJDEREN- en BEWERKEN-operaties waren kritiek; eenvoudige accumulatie (alleen TOEVOEGEN) leidde tot prestatiedegradatie door contextruis.

Betekenis en Beweringen

Het artikel beweert dat ExpeRepair aantoont dat het benutten van eerdere herstelkennis de prestaties aanzienlijk verbetert bij uitdagende hersteltaken op repository-niveau. Door na te bootsen hoe ontwikkelaars in de loop van de tijd leren en zich aanpassen, bereikt ExpeRepair een synergetisch effect waarbij specifieke voorbeelden nauwkeurige implementatierichtlijnen bieden en reflectieve inzichten een gegeneraliseerde aanpassing mogelijk maken.

De auteurs benadrukken dat hun aanpak een gunstige balans biedt tussen effectiviteit en efficiëntie, waarbij de hoge kosten van fine-tuning worden vermeden terwijl complexe agentcoördinatiemethoden worden overtroffen. Zij merken op dat hoewel de methode in ontwerp taalagnostisch is, hun huidige evaluatie beperkt is tot Python. Bovendien erkennen zij dat hoewel het dubbel-geheugensysteem de generatie van tests en patches verbetert, buglokalisatie een uitdaging blijft vanwege het ontbreken van geautomatiseerde orakels voor verificatie, en dit identificeren zij als een richting voor toekomstig werk.

De studie concludeert dat verschillende herstelmethoden complementaire inductieve bias bezitten; ExpeRepair blinkt uit in scenario's met terugkerende patronen, terwijl andere methoden (zoals DARS) mogelijk beter geschikt zijn voor nieuwe problemen die exploratief redeneren vereisen.