💻 computer science

Detecting Vulnerability-Inducing Commits via Multi-Stage Reasoning with LLM-Based Agents

Dit artikel introduceert VIC-RAGENT, een op LLM gebaseerd multi-agent framework dat multi-stage redenering en gespecialiseerde agents gebruikt om de detectie en uitlegbaarheid van kwetsbaarheidsveroorzakende commits aanzienlijk te verbeteren in vergelijking met bestaande methoden.

Oorspronkelijke auteurs: Liyou Chen, Hailong Sun, Xiang Gao, Yue Pan

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Liyou Chen, Hailong Sun, Xiang Gao, Yue Pan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de hoofden bent van een enorme, drukke bouwplaats waar duizenden arbeiders (ontwikkelaars) constant nieuwe kamers toevoegen, lekken repareren of gangen herontwerpen aan een gigantische, steeds groeiende wolkenkrabber (de software). Elke keer als een arbeider een wijziging indient, overhandigen ze jou een "commit" – een klein pakketje met een notitie over wat ze hebben gedaan en de blauwdrukken van de wijzigingen.

Jouw taak is om Vulnerability-Inducing Commits (VIC's) op te sporen. Dit zijn de kleine, vaak onzichtbare fouten in het pakket van een arbeider die er uiteindelijk voor kunnen zorgen dat een onschuldige nieuwe deur verandert in een valstrik voor inbrekers (hackers).

Het probleem is dat deze fouten verraderlijk zijn. Een arbeider kan zeggen: "Ik ben alleen maar een piepende scharnier aan het repareren," maar per ongeluk een slot verwijderd hebben. Traditionele beveiligingsbewakers (oude softwaretools) missen deze subtiele vallen vaak omdat ze alleen naar de oppervlakte kijken of proberen het hele verhaal in één snelle blik te raden.

Maak kennis met VIC-RAGENT, het nieuwe beveiligingsteam dat in dit papier wordt voorgesteld. In plaats van één vermoeide bewaker die alles probeert te doen, gebruiken ze een team van gespecialiseerde experts die samenwerken in een strikt, stapsgewijs proces.

Het Team van Experts (Het Multi-Agent Systeem)

Denk aan VIC-RAGENT als een hoogwaardig detectiebureau met vier specifieke rollen:

De Structurele Analist (Code Analist): Deze expert negeert de notitie van de arbeider even en kijkt strikt naar de blauwdrukken. Zij vragen: "Hoe verbindt deze nieuwe muur zich met de rest van het gebouw? Blokkeert het een branduitgang?" Ze brengen de fysieke structuur van de code in kaart.
De Intentie Analist (Target Analist): Deze expert leest de notitie van de arbeider (de commit message) en vergelijkt deze met de blauwdrukken. Zij vragen: "Zei de arbeider dat hij een lek aan het repareren was, maar heeft hij eigenlijk een dragende muur verplaatst?" Als het verhaal niet overeenkomt met het werk, is dat een rood vlaggetje.
De Kwetsbaarheidsinspecteur (De Detective): Dit is de hoofdonderzoeker. Zij nemen de structurele kaart en het intentieverhaal en beginnen op zoek te gaan naar specifieke soorten vallen (zoals zwakke sloten, open ramen of blootliggende draden).
De Document Specialist: Als de Inspecteur een echte val vindt, schrijft deze persoon een gedetailleerd rapport en slaat het op in een enorme bibliotheek voor toekomstig gebruik.

Het Drie-Staps Redeneerproces

In plaats van alleen naar een pakket te kijken en "Veilig" of "Gevaarlijk" te zeggen, gebruikt het team een drie-staps redeneerproces dat bij elke stap zorgvuldiger wordt.

Stap 1: De "Beter Veilig Dan Sorry" Inspectie (Voorlopige Inspectie)
De Inspecteur werpt een zeer breed net. Ze kijken naar de code en zeggen: "Hm, dit zou een probleem kunnen zijn." Ze mogen hier een beetje paranoïde zijn. Hun doel is om alles te vangen dat een kwetsbaarheid zou kunnen zijn, zelfs als ze het nog niet 100% zeker weten. Ze genereren een lijst van "verdachten".

Analogie: Het is als een metaaldetector op een vliegveld. De piept bij alles van een riem gesp tot een pistool. Het vangt veel vals alarm, maar het zorgt ervoor dat je geen wapen mist.

Stap 2: Een "Tweede Blik" met een Handboek (Reanalyse)
Nu neemt het team die lange lijst met verdachten en wordt het serieus. Ze kijken naar elke verdachte opnieuw, maar gebruiken deze keer een specifiek regelboek (het voorspelde type kwetsbaarheid) en controleren hun "bibliotheek van eerdere misdaden" (de Knowledge Base).

Analogie: Stel je voor dat de metaaldetector piept. Nu trekt een beveiligingsbeambte een handleiding tevoorschijn: "Als het een riemgesp is, is het meestal veilig. Maar als het op een pistool lijkt, controleer dan de greep." Ze controleren ook een database van eerdere diefstallen om te zien of dit item lijkt op iets wat een dief eerder gebruikte. Deze stap filtert de onschuldige piepjes eruit en focust op de echte dreigingen.

Stap 3: Het Definitieve Vonnis (Besluitvorming)
Ten slotte brengt het team het officiële oordeel uit. Ze controleren de resterende verdachten met uiterste voorzichtigheid. Als zelfs één stuk code bevestigd wordt als een val, wordt het hele pakket als gevaarlijk gemarkeerd.

Analogie: Dit is de laatste beveiligingscontrole. Als de ambtenaar nog steeds onzeker is, laten ze de persoon misschien door (om onschuldige mensen niet te blokkeren), maar als ze het zeker weten, houden ze het pakket tegen. Deze fase is ontworpen om zeer strikt te zijn om vals alarm te voorkomen, zodat wanneer ze "Gevaarlijk" zeggen, ze dat ook echt menen.

Waarom dit Team wint

Het paper heeft dit team getest tegenover andere methoden (zoals een enkele bewaker die alles probeert te doen, of een bewaker die gewoon stapsgewijs nadenkt zonder een team).

De Resultaten: Het VIC-RAGENT team vond twee keer zoveel werkelijke kwetsbaarheden als de beste eerdere methoden. Ze waren veel beter in het vangen van de sluwe vallen die anderen misten.
De Trade-off: Dit team is een beetje langzamer en kost iets meer om te draaien (omdat ze met elkaar moeten praten en de bibliotheek moeten raadplegen) dan een enkele bewaker. Echter, in beveiliging is het vangen van de slechteriken belangrijker dan snelheid hebben.
De Bibliotheek: Omdat ze over elke bevestigde val rapporten schrijven en deze aan hun bibliotheek toevoegen, worden ze in de loop van de tijd slimmer. Als er een nieuw type val verschijnt, kunnen ze naar soortgelijke gevallen uit het verleden kijken om te helpen het te spotten.

Samenvattend

VIC-RAGENT is als een upgrade van een enkele beveiligingsbewaker naar een gespecialiseerd, meerfasig detectiebureau. Ze gokken niet alleen; ze breken het probleem af in het begrijpen van de structuur, het begrijpen van de intentie, het uitwerpen van een breed net, het controleren tegen de geschiedenis en ten slotte het nemen van een strikt, geverifieerd besluit. Deze aanpak helpt softwareteams om gevaarlijke bugs te vangen voordat ze kunnen worden misbruikt, wat de digitale wereld een veiligere plek maakt.

Technische Samenvatting: Detectie van Kwetsbaarheid-Inducerende Commits via Multi-Stage Redeneren met LLM-gebaseerde Agenten

Probleemstelling

De detectie van Kwetsbaarheid-Inducerende Commits (VICs) op het moment van indiening, bekend als Just-In-Time Vulnerability Detection (JIT-VD), is cruciaal voor het beveiligen van software supply chains. Deze taak is echter zeer uitdagend omdat het vereist dat er geredeneerd wordt over de semantische impact van codewijzigingen over heterogene informatiebronnen heen, waaronder code-diffs, commitberichten en de omringende contextuele code.

Bestaande benaderingen, variërend van feature-gebaseerde methoden tot deep learning-modellen (bijv. neurale netwerken, graafgebaseerde modellen en transformers), hebben vaak moeite om de complexe commit-semantiek en de intentie van de ontwikkelaar volledig te vatten. Hoewel recente door Large Language Models (LLM) gebaseerde benaderingen en agent-frameworks (zov. CodeAgent, ReAct) veelbelovend zijn gebleken voor code-begrip, zijn ze primair ontworpen voor algemene kwetsbaarheidsdetectie of code-review. Ze missen vaak gespecialiseerde mechanismen voor het redeneren over VICs in evoluerende codebases. Bovendien kunnen iteratieve redeneerlussen (zoals ReAct) leiden tot foutaccumulatie en ontbreken ze expliciete mechanismen voor resultaatverificatie, wat de transparantie en betrouwbaarheid beperkt.

Methodologie: VIC-RAGENT

De auteurs stellen VIC-RAGENT voor, een LLM-gebaseerd multi-agent framework dat is ontworpen voor effectieve en uitlegbare kwetsbaarheidsdetectie. Het systeem maakt gebruik van een gestructureerde multi-stage reasoning pipeline die de detectietaken deelt in rol-gespecialiseerde componenten en progressieve verfijningsstadia.

Framework Architectuur

Het framework werkt via vier opeenvolgende stadia, waarbij specifieke agenten worden ingezet om inputs (commitbericht, code-diff, file-level context) te verwerken:

Stadium 0: Preparatie
- Code Analyst (CA): Extraheert structurele informatie (bijv. vereenvoudigde call graphs, dataflow-patronen) uit de code-diff en de context om te begrijpen hoe de gewijzigde code met het systeem interageert.
- Target Analyst (TA): Interpreteert de intentie van de ontwikkelaar door het commitbericht te analyseren en af te stemmen op de gewijzigde bestanden. Het categoriseert wijzigingen (bijv. bugfixes, refactoring) en identificeert inconsistenties tussen doelen en implementatie die risico's kunnen aangeven.
Stadium 1: Preliminaire Inspectie (Candidate Generation)
- Vulnerability Inspector (VI): Fungeert als een high-recall filter. Gestuurd door de structurele en intentie-representaties uit Stadium 0, scant deze de gewijzigde codefragmenten tegen zes categorieën kwetsbaarheden (I/O Validatie, Geheugenveiligheid, Websecurity, Authenticatie/Autorisatie, Resource Management, File/Path Handling).
- Dit stadium verlaagt doelbewust de verificatiebeperkingen om een "superset" van plausibele kwetsbaarheidshypothesen te genereren, waarbij de nadruk ligt op recall om te voorkomen dat subtiele risico's voortijdig worden weggefilterd.
Stadium 2: Heranalyse (Type-Guided Verification)
- Vulnerability Inspector (VI): Verfijnt de kandidaten uit Stadium 1 door middel van gecontroleerd redeneren. Het evalueert elk fragment opnieuw op basis van het voorspelde kwetsbaarheidstype.
- Knowledge-Augmented Reasoning: Het systeem maakt gebruik van een Vulnerability Knowledge Base die historische security reports bevat. Via Retrieval-Augmented Generation (RAG) worden vergelijkbare historische gevallen opgehaald om bewijs te leveren voor case-based reasoning. Als er geen vergelijkbare gevallen zijn, wordt vertrouwd op de contextuele informatie.
Stadium 3: Finale Beslissing (Verificatie + Aggregatie)
- Vulnerability Inspector (VI): Voert een conservatieve, low-temperature verificatie uit van de verfijnde hypothesen.
- Aggregatie: Een commit wordt geclassificeerd als kwetsbaar als ten minste één fragment wordt bevestigd.
- Document Specialist (DS): Indien een commit als kwetsbaar wordt bevestigd, genereert deze agent een gestructureerd security rapport dat in de knowledge base wordt opgeslagen voor toekomstig gebruik.
- Audit Supervisor (AS): Monitort de outputs van de agenten om consistentie met vooraf gedefinieerde vereisten gedurende het proces te waarborgen.

Implementatiedetails

LLMs: Geëvalueerd met DeepSeek-V3.2, Qwen-Plus en GPT-4o-mini.
Temperatuurinstellingen: Varieert per stadium om een balans te vinden tussen creativiteit en determinisme (bijv. 0.4 voor preliminaire inspectie om kandidaat-generatie te stimuleren, 0.1 voor de finale beslissing om een conservatief oordeel te garanderen).
Knowledge Base: Georganiseerd per kwetsbaarheidstype met vector-indices (gebruikmakend van CodeBERT embeddings) voor similarity-based retrieval. Het bevat een onderhoudsmecanisme om periodiek fout-positieve (FP) rapporten te verwijderen om foutpropagatie te voorkomen.

Belangrijkste Bijdragen

Multi-Agent Framework voor JIT-VD: Introductie van VIC-RAGENT, dat potentiële kwetsbaarheden analyseert door structurele analyse, intentie-begrip en kwetsbaarheidsinspectie te integreren via gespecialiseerde agenten.
Multi-Stage Reasoning Proces: Een gestructureerde workflow (Preliminaire Inspectie $\rightarrow$ Heranalyse $\rightarrow$ Finale Beslissing) die coarse-to-fine redeneren mogelijk maakt, wat de betrouwbaarheid van detectie verbetert.
Knowledge-Augmented Reasoning: Ontwerp van een kwetsbaarheids-knowledge base die het systeem in staat stelt om tijdens de heranalyse-fase gebruik te maken van historische kwetsbaarheidsgevallen via retrieval-augmented reasoning.
Empirische Evaluatie: Uitgebreide experimenten op een real-world dataset (V-SZZ) die de prestaties van het framework demonstreren over meerdere LLM's.

Experimentele Resultaten

Het framework werd geëvalueerd op de V-SZZ dataset (241 commits: 106 VICs, 135 VFCs) en vergeleken met drie baselines: Direct (vanilla prompting), Chain-of-Thought (CoT), en CodeAgent.

Prestaties: VIC-RAGENT presteerde consequent beter dan alle baselines over drie verschillende LLM's.
- Vergeleken met de sterkste baseline (CodeAgent) behaalde VIC-RAGENT 1.2–1.7× hogere F1-scores.
- Het vertoonde significante verbeteringen in Recall, waarbij het tot 2× hogere recall bereikte dan de sterkste baseline. Bijvoorbeeld, met GPT-4o-mini behaalde VIC-RAGENT 75% recall vergeleken met 60% voor CodeAgent.
Ablatie-studie:
- Het verwijderen van Stadium 2 (Heranalyse) verminderde de recall en F1-score, wat duidt op het belang ervan voor dekking en het disambigueren van verdachte fragmenten.
- Het verwijderen van Stadium 3 (Finale Beslissing) verhoogde de recall maar verhoogde de False Positives (FP) aanzienlijk, wat aantoont dat Stadium 3 fungeert als een noodzakelijke conservatieve filter om de betrouwbaarheid van voorspellingen te verbeteren.
Generalisatie: Wanneer getest op recente CVE's (niet gezien tijdens training), behield VIC-RAGENT superieure prestaties en behaalde het de hoogste recall (55%) en F1-score (60%) van alle methoden, wat wijst op sterke generalisatiecapaciteiten.
Kosten: VIC-RAGENT brengt hogere computationele kosten met zich mee (ongeveer 0.0487 USD per commit versus 0.0079 voor Direct) vanwege multi-stage redeneren, maar de auteurs beargumenteren dat dit gerechtvaardigd is voor offline of CI-geïntegreerde security auditing waarbij nauwkeurigheid belangrijker is dan latentie.

Betekenis en Claims

Het artikel claimt dat VIC-RAGENT een robuuste, uitlegbare en praktische oplossing biedt voor het detecteren van VICs in moderne softwareontwikkelingsworkflows. De primaire betekenis ligt in het aanpakken van de beperkingen van bestaande single-pass of algemene agent-benaderingen door een gestructureerd, multi-stage redeneerproces te introduceren dat redeneerdoelstellingen expliciet scheidt.

De auteurs benadrukken dat het vermogen van het framework om exploratie (high recall in Stadium 1) te balanceren met verificatie (conservatieve filtering in Stadium 3), gecombineerd met knowledge-augmented reasoning, het in staat stelt om subtiele kwetsbaarheden te detecteren die andere methoden missen. Hoewel zij beperkingen erkennen zoals de afhankelijkheid van LLM-consistentie en de noodzaak voor handmatige FP-opschoning in de knowledge base, demonstreert het werk dat het decompileren van de kwetsbaarheidsdetectietaak in gespecialiseerde rollen en stadia de detectieprestaties en betrouwbaarheid aanzienlijk verbetert.