Technische Samenvatting: KEAREPAIR

Probleemstelling

Hoewel fundamentele modellen aan de voorzijde het ontdekken van kwetsbaarheden hebben versneld en de kosten hebben verlaagd, heeft de kant van de remediëring moeite om het tempo bij te houden. Bestaande benaderingen voor Automatische Kwetsbaarheidsreparatie (AVR), met name die gebaseerd op Large Language Models (LLM's), kampen met twee fundamentele beperkingen:

1. Onbetrouwbare Analyse van de Grondoorzaak: Huidige methoden vertrouwen vaak op statische LLM-redenering of dynamische lokalisatietools om de oorzaken van kwetsbaarheden te identificeren. LLM's lijden echter aan hallucinaties wanneer ze redeneren zonder geverifieerde feiten, en lokalisatietools slagen er vaak niet in om de exacte locaties voor reparatie aan te wijzen, vooral wanneer de grondoorzaak en de locatie van de fix ruimtelijk van elkaar gescheiden zijn. Bovendien beperkt de afhankelijkheid van sanitizer-rapporten de generaliseerbaarheid naar problemen met geheugiveiligheid.
2. Onvoldoende Benutting van Kwetsbaarheidskennis: Hoewel Retrieval-Augmented Generation (RAG) wordt gebruikt om historische voorbeelden te bieden, richten naïeve retrieval-strategieën zich op oppervlakkige code-gelijkenis. Dit haalt vaak voorbeelden op met vergelijkbare grondoorzaken maar uiteenlopende reparatiepatronen, wat het LLM misleidt. Bestaande methoden die proberen grondoorzaken te matchen, lijden vaak aan precisieproblemen en hoge computationele kosten.

Methodologie: KEAREPAIR

De auteurs stellen KEAREPAIR voor, een nieuwe Knowledge-Enhanced Agentic AVR-benadering. Het systeem werkt via drie nauw gekoppelde fasen:

1. Constructie van een Kwetsbaarheidskennisbank

Geïnspireerd door de manier waarop ontwikkelaars kwetsbaarheden begrijpen via controle- en datastromen, construeert KEAREPAIR een dual-view kennisbank vanuit historische kwetsbaarheids-patchparen.

• Kennisextractie: Met behulp van LLM's extraheert het systeem vijf specifieke kennisitems uit twee weergaven (datastroom en controlestroom): Grondoorzaak, Kwetsbaar Gedrag (gevoelige API's, Taint Flow, Controlevertakking) en Herstelstrategieën.
• Kennisabstractie: Concrete code-elementen (variabelenamen, methode-aanroepen) worden geabstraheerd om generaliseerbare kennis te creëren die minder gebonden is aan specifieke implementaties.
• Opslag: Kennis wordt opgeslagen in vector databases (met gebruik van all-MiniLM-L6-v2 voor embedding en Faiss voor zoekopdrachten) om efficiënte retrieval mogelijk te maken.

2. Fact-Grounded Agentic Kwetsbaarheidsdiagnose

In plaats van te vertrouwen op pure LLM-redenering of externe lokalisatietools, gebruikt KEAREPAIR een tool-augmented diagnostische agent volgens het ReAct-paradigma.

• Gespecialiseerde Tools: De agent maakt gebruik van drie statische analyse-tools:
  • trace_data_flow: Sporen de propagatiepaden van taint na om te verifiëren welke onveilige waarden invloed uitoefenen.
  • is_path_reachable: Verifieert controlepaden en vertakkingspredicaten om te bepalen of verdachte operaties uitvoerbaar zijn.
  • inspect_API_usage: Analyseert de syntactische gebruikscontexten van gevoelige API's.
• Output: De agent verkent iteratief de codebase om geverifieerde programmafeiten te verzamelen, die worden georganiseerd in een gestructureerd diagnostisch rapport. Dit minimaliseert LLM-hallucinaties door de diagnose te funderen in concrete bewijslast.

3. Knowledge-Level Retrieval-Augmented Patch Generatie

Op basis van het diagnostische rapport genereert het systeem patches via een cascade van retrieval en verfijning.

• View-Specifieke Querygeneratie: Het systeem genereert semantische queries gebaseerd op de geverifieerde grondoorzaak (in plaats van ruwe code) om hoogwaardige overeenkomsten te vinden.
• Cascaderende Kennisretrieval:
  1. Initiële Retrieval: De top-10 kandidaten worden opgehaald uit de dual-view kennisbanken.
  2. Hybride Re-ranking: Een hybride re-ranker combineert Code-gelijkenis (met behulp van pre-trained CodeLlama embeddings) en Gedrags-gelijkenis (met behulp van BM25 op gestructureerde diagnostische rapporten) om de meest relevante exemplaren te selecteren.
• Patchen en Validatie: De reparatie-agent synthetiseert een patch met behulp van in-context learning van de opgehaalde exemplaren en kennis. De patch ondergaat een closed-loop validatieproces: deze wordt gecompileerd, en de triggerende Proof-of-Concept (PoC) en testsuites worden opnieuw uitgevoerd. Als de validatie faalt, wordt de feedback teruggestuurd naar de agent voor iteratieve verfijning.

Belangrijkste Bijdragen

1. Identificatie van Uitdagingen: Het artikel identificeert en adresseert de onbetrouwbaarheid van grondoorzaakanalyse en de onvoldoende benutting van diepe kwetsbaarheidskennis in huidige LLM-gebaseerde AVR.
2. Nieuwe Benadering: KEAREPAIR introduceert een framework dat patchgeneratie fundeert in geverifieerde programmafeiten (via statische analyse-tools) en multidimensionale kwetsbaarheidskennis (via dual-view retrieval), wat hallucinaties effectief vermindert en de kwaliteit van demonstraties verbetert.
3. Uitgebreide Evaluatie: De benadering wordt geëvalueerd op 55 reproduceerbare C/C++ kwetsbaarheden en 173 meertalige kwetsbaarheden, waarbij superieure prestaties worden aangetoond over verschillende LLM-backbones en kwetsbaarheids types.

Experimentele Resultaten

• Prestaties op C/C++: Wanneer gekoppeld aan Gemini-3.1-Pro, heeft KEAREPAIR succesvol 46 van de 55 kwetsbaarheden (83,64%) gerepareerd. Dit presteert aanzienlijk beter dan de state-of-the-art baseline PatchAgent (39/55), waarbij negen unieke kwetsbaarheden zijn opgelost die PatchAgent niet kon adresseren.
• Kosten en Efficiëntie: De optimale configuratie (Gemini-3.1-Pro) bereikt een reparatiepercentage van 83,64% met een gemiddelde kostenpost van $0,30 per kwetsbaarheid en een tijdsoverhead van minder dan 50 seconden.
• Cross-Language Generaliseerbaarheid: Op de PATCHEVAL benchmark (Go, JavaScript, Python) behaalde KEAREPAIR een succespercentage van 85,55% (148/173) wanneer het werd gekoppeld aan Qwen3.5-Plus, wat een sterke generaliseerbaarheid buiten C/C++ aantoont.
• Ablatiestudies: Het verwijderen van het feedback-gebaseerde iteratiemechanisme veroorzaakte de grootste daling in prestaties (van 46 naar 26 reparaties), wat de cruciale rol van iteratieve verfijning benadrukt. Evenzo zorgde het verwijderen van de dual-view retrieval pipeline voor een significante verslechtering van de prestaties, wat de noodzaak van multidimensionale kennis bevestigt.

Betekenis en Claims

Het artikel claimt dat KEAREPAIR een significante vooruitgang vertegenwoordigt in automatische kwetsbaarheidsreparatie door de verschuiving van "puur statische redenering" naar "fact-gegronde agentic redenering". De auteurs stellen dat:

• Betrouwbaarheid: Het funderen van de diagnose in geverifieerde programmafeiten via gespecialiseerde tools essentieel is om LLM-hallucinaties in complexe codebases te overwinnen.
• Kwaliteit van Kennis: Retrieval van hoogwaardige, dual-view (controle- en datastroom) kennis is superieur aan oppervlakkige code-gelijkenis voor het sturen van patchgeneratie.
• Praktische Bruikbaarheid: Het systeem bereikt een sterke kosten-batenverhouding, waardoor het levensvatbaar is voor echte wereldimplementaties waar snelle reactie op kwetsbaarheden cruciaal is.

De auteurs erkennen beperkingen, waaronder uitdagingen met complexe macro's in statische analyse en de moeilijkheid van het afhandelen van inter-procedurele kwetsbaarheden die wijzigingen over meerdere bestanden vereisen, waarbij zij opmerken dat hun huidige kennisbank op functieniveau is. Ze merken ook het potentiële risico op datalekken in LLM-training op, maar benadrukken dat gecontroleerde studies bevestigen dat de verbeteringen voortkomen uit het ontwerp van het systeem.