💻 computer science

EvoRepair: Enhancing Vulnerability Repair Agents Through Experience-Based Self-Evolution

EvoRepair introduceert het eerste ervaringsgebaseerde zelfevoluerende agentframework voor geautomatiseerde kwetsbaarheidsreparatie dat kennis over kwetsbaarheden heen accumuleert en hergebruikt om op meerdere benchmarks aanzienlijk beter te presteren dan bestaande op LLM gebaseerde baselines.

Oorspronkelijke auteurs: Haichuan Hu, Guoqing Xie, Quanjun Zhang, Jiawei Liu, Shengcheng Yu, Chunrong Fang, Zhenyu Chen, Liang Xiao

Gepubliceerd 2026-05-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haichuan Hu, Guoqing Xie, Quanjun Zhang, Jiawei Liu, Shengcheng Yu, Chunrong Fang, Zhenyu Chen, Liang Xiao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een kapotte machine te repareren in een donkere kamer. Je hebt een zeer slimme, maar onervaren leerling (de AI) die probeert uit te vinden hoe hij hem moet repareren.

Het probleem: De valkuil van "proberen en fouten maken"
In het verleden, toen we AI vroegen om softwarekwetsbaarheden te repareren, werkte het als volgt: De AI zou een oplossing raden, het proberen, zien of het kapot ging, en dan opnieuw raden.

Het probleem: Als de AI een fout maakte, vergat hij die vaak. Bij de volgende poging maakte hij precies dezelfde fout opnieuw. Het was als een student die een wiskundetoets zakt, de fouten niet bestudeert en vervolgens de volgende toets zakt met hetzelfde verkeerde antwoord.
Het tweede probleem: Zelfs als de AI leerde hoe hij een specifiek type lek in een pijp moest repareren, onthield hij die les niet wanneer hij een ander pijp met een vergelijkbaar lek tegenkwam. Hij behandelde elk nieuw probleem alsof hij het voor het eerst ooit zag.

De oplossing: EVOREPAIR (het systeem van de "ervaren meester")
De auteurs van dit artikel hebben een systeem genaamd EVOREPAIR ontwikkeld. Denk hierbij aan het geven van een persoonlijke mentor en een enorme bibliotheek met eerdere casestudies aan de leerling.

Hier is hoe het werkt, met een eenvoudige analogie:

1. De "ervaringsbank" (de bibliotheek)

In plaats van alleen maar te raden, houdt EVOREPAIR een gedetailleerd dagboek bij van elke reparatiepoging.

Wat staat er in het dagboek? Het schrijft niet alleen "Ik heb het gerepareerd." Het schrijft: "We hebben geprobeerd een hamer te gebruiken, maar het glas is gekraakt. We hebben geleerd dat we voor glas een schroevendraaier moeten gebruiken. Ook hebben we ontdekt dat als de schroef roestig is, we deze eerst moeten oliën."
De "score": Niet elke les is goed. Sommige lessen zijn verkeerd of werken alleen in één specifieke situatie. EVOREPAIR gebruikt een "rechter" om deze lessen te beoordelen. Alleen de hoogwaardige, nuttige lessen worden in de bibliotheek bewaard.

2. De "zoekopdracht" (de bibliothecaris)

Wanneer er een nieuwe kwetsbaarheid opdook (een nieuwe kapotte machine), begint EVOREPAIR niet helemaal opnieuw.

Het treedt op als een bibliothecaris. Het bekijkt het nieuwe probleem en zegt: "Hé, dit lijkt veel op die kapotte broodrooster die we vorige week hebben gerepareerd!"
Het haalt de specifieke lessen uit de bibliotheek die bij het huidige probleem passen. Het vertelt de AI: "Gebruik deze keer geen hamer; gebruik de schroevendraaier en vergeet niet de schroef te oliën."

3. De "zelfevolutie" (slimmer worden)

Dit is het magische deel. Het systeem is cyclisch.

Repareren: De AI probeert het probleem te repareren met het advies uit de bibliotheek.
Leren: Na de poging (of het nu gelukt is of niet), analyseert het systeem wat er gebeurd is.
Bijwerken: Het schrijft een nieuwe les in de bibliotheek op basis van deze nieuwe poging. Als de AI een betere manier heeft gevonden om de schroevendraaier te gebruiken, wordt die nieuwe methode aan het boek toegevoegd.
Herhalen: De volgende keer dat een vergelijkbaar probleem zich voordoet, is de bibliotheek nog beter dan daarvoor. De AI "evolueert" letterlijk door te leren van zijn eigen geschiedenis.

De resultaten: Hoe goed werkte het?

De onderzoekers hebben dit systeem getest tegen 12 andere topmethoden voor het repareren van softwarefouten.

De score: EVOREPAIR repareerde 93,5% van de problemen op één grote test en 87% op een andere.
De vergelijking: Het was aanzienlijk beter dan de vorige beste methoden. Bijvoorbeeld, het repareerde ongeveer 40% meer problemen dan het volgende beste AI-systeem.
De "overdracht"-test: Ze namen zelfs de lessen die waren geleerd bij het repareren van problemen in één programmeertaal (zoals JavaScript) en gebruikten die om problemen in een volledig andere taal (zoals Java) te repareren. Het werkte nog steeds, wat bewijst dat de "lessen" algemeen genoeg waren om nuttig te zijn voor verschillende soorten code.

In het kort

Vorige AI-reparatietools waren als studenten die hun fouten vergaten. EVOREPAIR is als een meesterhandwerker die een gedetailleerd journaal bijhoudt van elke klus, leert van elke mislukking en die opgebouwde wijsheid gebruikt om nieuwe problemen sneller en nauwkeuriger dan ooit tevoren te repareren. Het verandert "proberen en fouten maken" in "proberen, leren en slagen".

Technische Samenvatting: EVOREPAIR

Probleemstelling

Geautomatiseerde kwetsbaarheidsreparatie (AVR) met behulp van Large Language Models (LLM's) heeft veelbelovende resultaten laten zien, maar stuit op twee kritieke beperkingen die schaalbaarheid en effectiviteit belemmeren:

Gebrek aan accumulatie van ervaring binnen een kwetsbaarheid: Bestaande methoden behandelen elke reparatiepoging vaak als een stateless proces. Zelfs wanneer meerdere reparatietrajecten voor één kwetsbaarheid worden verkend, worden tussentijdse successen, mislukkingen en diagnostische signalen zelden omgezet in herbruikbare kennis. Bijgevolg kunnen LLM's in iteraties herhaaldelijk onproductieve paden volgen of vergelijkbare fouten maken.
Gebrek aan hergebruik van ervaring tussen kwetsbaarheden: Huidige AVR-benaderingen behandelen elke kwetsbaarheid grotendeels als een geïsoleerde taak. Hoewel er methoden bestaan die gebruikmaken van retrieval-augmentatie, vertrouwen deze doorgaans op statische, instantie-specifieke referentiepatches in plaats van dynamische, generaliseerbare reparatiekennis. Naarmate het volume van gerapporteerde kwetsbaarheden (CVE's) groeit, wordt dit model van één-op-één geïsoleerde reparatie steeds minder schaalbaar.

De kernuitdaging is hoe AVR-systemen in staat kunnen worden gesteld om reparatie-ervaring continu te accumuleren, te verfijnen en opnieuw te gebruiken, zowel binnen het reparatieproces van één enkele kwetsbaarheid als over verschillende kwetsbaarheden heen.

Methodologie: EVOREPAIR

Om deze uitdagingen aan te pakken, stellen de auteurs EVOREPAIR voor, het eerste ervaringsgebaseerde zelf-evoluerende agentframework voor AVR. Het systeem werkt volgens een cyclisch leer-en-reparatieparadigma dat bestaat uit vier hoofdbestanddelen:

1. Definities van domeinspecifieke ervaring

EVOREPAIR definieert een gestandaardiseerd schema voor "ervaring" om herbruikbaarheid en overdraagbaarheid te waarborgen. In tegenstelling tot ruwe interactielogbestanden is een ervaringsentry een gestructureerde abstractie die vijf dimensies omvat:

Introductie en analyse van de kwetsbaarheid: Beknopte beschrijving van het type, de locatie, de oorzaak en de impact.
Reparatiestrategie: De gekozen remediatieaanpak en de rechtvaardiging daarvan.
Trajectanalyse: Een gecondenseerd verslag van het reparatieproces, met de nadruk op succesvolle acties, mislukkingspatronen en belangrijke commando's/logbestanden.
Samenvatting van ervaring: Compacte, voorschrijvende regels (voorwaarden, doelen, richtlijnen) met minimale voorbeelden.
Reflectie en verbetering: Evaluatie van het resultaat, beperkingen en suggesties voor toekomstige strategieën.

2. Retrieval van ervaring en opwarmen

Voordat elke reparatieronde begint, vraagt de agent een Ervaringsbank op.

Retrievalmechanisme: Het systeem haalt ervaringen op op basis van een geconsolideerde score die gelijksoortigheid (CVE/CWE-matching) en kwaliteit (een score afgeleid van een LLM-as-a-Judge die kwaliteit en generaliseerbaarheid evalueert) combineert.
Opwarmstrategieën: Om het "cold-start"-probleem (lege ervaringsbank) aan te pakken, hanteert EVOREPAIR ofwel een Standaard Patch-strategie (gebruikmakend van historische officiële patches) of een Pre-reparatie-strategie (initialiseren met vooraf gegenereerde ervaringen van eerder bekendgemaakte kwetsbaarheden om lekkage van de zelf-instantie te voorkomen).

3. Reparatie van kwetsbaarheid (De Vanilla Agent)

De kernreparatie-engine is een "vanilla agent" gebouwd op een algemeen framework (geïnspireerd door Mini-SWE-Agent).

Contextinjectie: Opgehaalde ervaringen worden in de context van de agent geïnjecteerd om het reparatietraject te sturen.
Proces: De agent communiceert met een Docker-omgeving met behulp van een minimale Bash-toolkit om de kwetsbaarheid te reproduceren, de fout te lokaliseren, een patch te genereren en deze te verifiëren.
Vroegtijdige stopzetting: Om kostenefficiëntie te waarborgen, berekent het systeem een opzetniveau-opleveringsratio ( $\alpha$ ), gedefinieerd als de verhouding tussen de marginale winst in reparatieprestaties en de marginale toename in kosten. Als $\alpha$ onder een drempelwaarde zakt, wordt het reparatieproces voortijdig beëindigd.

4. Constructie en update van ervaring

Na een reparatiepoging construeert het systeem nieuwe ervaringen uit het traject:

Compressie: Trajecten worden gecomprimeerd tot het gestructureerde schema om opblazen van het contextvenster te voorkomen.
Scoren: Een LLM-as-a-Judge scoort de nieuwe ervaring op basis van Kwaliteit (handelbaarheid) en Generaliseerbaarheid (overdraagbaarheid).
Update: De ervaringsbank wordt bijgewerkt met een strategie die entries van lagere kwaliteit verwijdert, die van hogere kwaliteit behoudt, of entries met identieke scores "polijst" door complementaire details te fuseren.

Belangrijkste bijdragen

Nieuwe onderzoeksdimensie: Het artikel introduceert ervaringsgebaseerde zelf-evolutie als een nieuwe dimensie voor AVR, met de focus op de continue accumulatie en hergebruik van reparatiekennis in plaats van alleen statische retrieval.
Nieuw framework (EVOREPAIR): Een cyclisch framework dat zowel hergebruik van ervaring tussen kwetsbaarheden als accumulatie van ervaring binnen kwetsbaarheden mogelijk maakt via een gestructureerde leer-en-reparatielus.
Uitgebreide evaluatie: Omvattende experimenten over meerdere datasets (PATCHEVAL, SEC-bench, VUL4J) en modellen (GPT-5-mini, Qwen3.5-Plus, DeepSeek-v3.1, Devstral-varianten) tonen de effectiviteit en overdraagbaarheid van het framework aan.

Experimentele resultaten

De auteurs hebben EVOREPAIR geëvalueerd tegenover 12 representatieve baselines (waaronder leer-gebaseerde, LLM-gebaseerde en agent-gebaseerde methoden) met GPT-5-mini als primaire backbone.

Algemene prestaties: EVOREPAIR behaalde de beste algehele prestaties, met het repareren van 93,47% van de kwetsbaarheden op PATCHEVAL en 87,00% op SEC-bench, voor een algehele rate van 90,46%.
Vergelijking met baselines:
- Het presteerde beter dan de sterkste LLM-gebaseerde baseline, LoopRepair, met 39,56% (PATCHEVAL) en 33,50% (SEC-bench).
- Het overtrof IntentFix met respectievelijk 70,86% en 50,50%.
- Het overtrof de recente zelf-evoluerende agent Live-SWE-Agent met 6,98% in totaal.
Impact van zelf-evolutie: Over 15 reparatierondes brak EVOREPAIR consequent het prestatiedak van vanilla agents, met snellere convergentie en hogere efficiëntie. Zo stegen de fixes op PATCHEVAL met GPT-5-mini van 194 (vanilla) naar 215 (EVOREPAIR).
Overdraagbaarheid: Experimenten op VUL4J (Java) met ervaringen gedistilleerd uit PATCHEVAL (JavaScript/Python/Go) toonden aanzienlijke prestatiewinsten aan (bijvoorbeeld +9,67% voor Qwen3.5-Plus), wat de overdraagbaarheid over programmeertalen en datasets heen bevestigt.
Kostenanalyse: Hoewel de prompt-overhead voor sommige modellen toenam, bleven de totale kosten voor sterkere modellen bijna onveranderd of daalden ze (bijvoorbeeld Qwen3.5-Plus zag een kostenreductie van 41,58%) vanwege snellere convergentie en minder redundante rondes.

Betekenis en claims

Het artikel claimt dat EVOREPAIR agentic AVR aanzienlijk versterkt door voorbij te gaan aan statische retrieval en eenvoudige iteratieve prompting. De betekenis ligt in het aantonen dat:

Ervaring een kritieke resource is: Het accumuleren en verfijnen van reparatiekennis stelt agents in staat repetitieve fouten te vermijden en te generaliseren over heterogene kwetsbaarheden.
Zelf-evolutie effectief is: Het cyclische leer-en-reparatieproces stelt agents in staat hun eigen reparatiecapaciteiten in de loop van de tijd te verbeteren zonder menselijke tussenkomst.
Generaliseerbaarheid: De gedistilleerde ervaringen zijn robuust genoeg om over te dragen tussen verschillende programmeertalen, datasets en modelbackbones, wat wijst op een pad naar schaalbare, grootschalige systemen voor kwetsbaarheidsreparatie.

De auteurs concluderen dat ervaringsgebaseerde zelf-evolutie verder gaat dan bestaande zelf-evoluerende technieken door expliciet de levenscyclus van reparatiekennis te modelleren, en bieden een veelbelovende richting voor het aanpakken van het groeiende volume aan softwarebeveiligingskwetsbaarheden.