🤖 machine learning

ANVIL: Anomaly-based Vulnerability Identification without Labelled Training Data

Het artikel introduceert ANVIL, een ongesuperviseerd raamwerk voor kwetsbaarheidsdetectie dat gebruikmaakt van Large Language Models om code-anomalieën te identificeren via gemaskeerde reconstructie en een hybride scoringsmechanisme, waarbij het een superieure prestatie demonstreert ten opzichte van gesuperviseerde detectoren en succesvol voorheen onbekende kwetsbaarheden blootlegt wanneer het wordt geïntegreerd met fuzzers.

Oorspronkelijke auteurs: Weizhou Wang, Eric Liu, Xiangyu Guo, Xiao Hu, Ilya Grishchenko, David Lie

Gepubliceerd 2026-06-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Weizhou Wang, Eric Liu, Xiangyu Guo, Xiao Hu, Ilya Grishchenko, David Lie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert één enkele, licht beschadigde baksteen te vinden in een enorme muur gemaakt van miljoenen perfecte stenen.

Het Probleem: Het "Muntkop of Muntis"-dilemma
Normaal gesproken heb je een team experts nodig die duizenden beschadigde voorbeelden hebben bestudeerd en precies hebben geleerd hoe ze eruitzien. Dat is hoe de meeste huidige computerprogramma's werken: ze zijn "supervised learners" (gesuperviseerde leerders). Maar er is een groot probleem: we hebben niet genoeg voorbeelden van kapotte code om ze goed mee te onderwijzen.

Onlangs hebben we deze superintelligente AI-modellen (Large Language Models of LLM's genoemd) die bijna elk stuk geschreven code ooit hebben gelezen. Je zou kunnen denken: "Geweldig! Ze hebben alles gezien, dus ze moeten de beschadigde stenen wel kunnen herkennen." Maar verrassend genoeg, wanneer je ze simpelweg vraagt: "Is deze regel code kapot?", presteren ze niet beter dan het opgooien van een muntje. Ze zijn geweldig in het schrijven van code, maar slecht in het bekritiseren ervan, omdat ze getraind zijn om patronen na te bootsen, niet om fouten op te sporen.

De Oplossing: ANVIL (Het "Verschil-ontdek"-spel)
De onderzoekers achter dit artikel, ANVIL, besloten het scenario om te draaien. In plaats van de AI te leren hoe "kapotte" code eruitziet, vroegen ze: "Wat denkt de AI dat een normale regel code zou moeten zijn?"

Zo werkt ANVIL, met behulp van een eenvoudige analogie:

Het Maskeringsspel: Stel je voor dat je een zin uit een verhaal neemt en één regel met een zwarte stift onzichtbaar maakt. Je vraagt de AI vervolgens om te raden wat die verborgen regel was, gebaseerd op alleen de zinnen vóór en na de verborgen regel.
De Verwachting: Als de verborgen regel een normale, standaard regel code is, zal de AI deze waarschijnlijk correct raden (of heel dichtbij), omdat het dat patroon een miljoen keer heeft gezien.
De Anomalie: Als de verborgen regel een "kwetsbare" (beschadigde) regel code is, is deze waarschijnlijk vreemd of ongewoon vergeleken met de rest van de trainingsdata. De AI zal er moeite mee hebben om te raden. Het kan iets totaal anders raden, of het zal erg onzeker zijn.
De Score: ANVIL meet hoeveel de gok van de AI afwijkt van de originele regel. Als de gok er ver naast zit, of als de AI erg onzeker is, markeert ANVIL die regel als "anomaal" (verdacht).

De "Hybride" Detective
De onderzoekers realiseerden zich dat alleen het meten van het verschil niet genoeg is. Soms is een klein verschil (zoals > veranderen in >=) een enorme fout, maar de AI vindt het misschien geen grote zaak. Daarom creëerden ze een "Hybride Score" die werkt als een detective met vier verschillende instrumenten:

Exacte Match: Heeft de AI het 100% goed gekregen? Zo niet, dan is dat een rood vlaggetje.
Verwarringsmeter: Hoe onzeker was de AI? Als de AI de ruimte laat voor twijfel, kan de code vreemd zijn.
Complexiteitscheck: Is de regel code overdreven ingewikkeld? Complexe code is vaak de plek waar fouten zich verstoppen.
De "Loss"-score: Een wiskundige maatstaf voor hoe "verrast" de AI was door de originele regel.

De Resultaten: De Naald in de Hooiberg Vinden
Het team testte ANVIL op een enorme dataset van echte code.

De Experts Verslaan: Ze vergeleken ANVIL met de beste bestaande tools die wél trainingsdata vereisen. Ondanks dat ANVIL geen enkele trainingsdata gebruikte, vond het kwetsbaarheden twee keer zo nauwkeurig als de anderen.
De Context-truc: Ze ontdekten dat het geven van het hele bestand aan de AI eigenlijk verwarrend was (zoals proberen een naald in een hooiberg te vinden door naar de hele schuur te kijken). In plaats daarvan gebruikt ANVIL een "slimme context"-aanpak: het kijkt alleen naar het specifieke blok code (de functie) rondom de verdachte regel. Dit maakte het sneller en nauwkeuriger.
Succes in de Praktijk: Om te bewijzen dat het in de echte wereld werkt, koppelden ze ANVIL aan een "fuzzer" (een tool die probeert software te breken door er willekeurige data naar te gooien). ANVIL hielp de fuzzer om twee nieuwe, voorheen onbekende kwetsbaarheden te vinden, waarvan er één zo ernstig was dat deze een officiële beveiligings-ID (CVE) kreeg.

De Kern van het Verhaal
ANVIL bewijst dat je een AI niet hoeft te leren wat "slecht" is om het te kunnen vinden. Je hoeft alleen maar te vragen wat "normaal" is. Wanneer de code niet in het "normale" patroon past, is het waarschijnlijk kapot. Het is een slimmere, snellere en algemenere manier om beveiligingslekken te vinden zonder een enorme bibliotheek van eerdere fouten nodig te hebben om van te leren.

Technische Samenvatting: ANVIL – Anomaly-based Vulnerability Identification without Labelled Training Data

Probleemstelling

Op supervised learning gebaseerde kwetsbaarheidsdetectoren presteren vaak ondermaats vanwege het tekort aan grote, hoogwaardige gelabelde trainingsdatasets. Large Language Models (LLMs) zijn getraind op enorme hoeveelheden ongelabelde code-corpora en blinken uit in codegeneratie, maar ze presteren slecht wanneer ze direct worden geprompt om kwetsbaarheden te detecteren, waarbij ze vaak een nauwkeurigheid bereiken die niet beter is dan willekeurige gokken. Deze beperking komt voort uit het feit dat LLM's zijn getraind om code te genereren die lijkt op hun trainingsdistributie zonder expliciet toezicht op wat "buggy" of "kwetsbare" code precies is. Bijgevolg missen ze de domeinspecifieke kennis om kwetsbare code van veilige code te onderscheiden. Bovendien hebben bestaande pogingen om het tekort aan data te compenseren door middel van synthetische kwetsbaarheden te genereren of specifieke codekenmerken te selecteren, slechts bescheiden verbeteringen opgeleverd, aangezien synthetische data er niet in slaagt de diverse manifestaties van real-world kwetsbaarheden te vangen.

Methodologie

Het artikel introduceert ANVIL, een benadering voor kwetsbaarheidslokalisatie op regelniveau die kwetsbaarheidsdetectie herformuleert als een anomaliedetectietaak. De kernpremiss is dat kwetsbare code zeldzaam is en daarom een anomalie vormt ten opzichte van de distributie die door LLM's is geleerd tijdens de pre-training.

Kernworkflow

Masked Code Reconstruction: Voor een gegeven regel code die onder analyse staat, wordt de originele regel gemaskeerd (verwijderd). De LLM krijgt vervolgens de instructie om deze regel te reconstrueren op basis van de omliggende context.
Anomaly Scoring: De door de LLM gegenereerde reconstructie wordt vergeleken met de grondwaarheid (de originele regel). Afwijkingen worden gescoord als anomalieën. Een hoge anomaliescore geeft aan dat de originele regel "out-of-distribution" is voor het model, wat suggereert dat deze kwetsbaar is.
Context Selectie (Adaptive Context): Om de uitdaging van het selecteren van een passende context aan te pakken, gebruikt ANVIL een Adaptive Context (AC) strategie. In plaats van een vaste window van regels te gebruiken, selecteert AC de grootste samengestelde statement (bijv. een functiebody) die de gemaskeerde regel omsluit. Dit zorgt ervoor dat het model semantisch relevante context ontvangt zonder de ruis van ongerelateerde code of de "lost-in-the-middle" problemen die geassocieerd worden met excessief lange contexten.

Hybride Anomaliescore

ANVIL stelt een hybride anomaliescore ( $\delta_{hybrid}$ ) voor die vier verschillende componenten aggregeert om de discrepantie tussen de gegenereerde en de originele code te kwantificeren:

Cross-Entropy Loss ( $\delta_{loss}$ ): De gemiddelde cross-entropy loss van de gereconstrueerde regel, die de waarschijnlijkheid van de gegenereerde tokens meet.
Exact Match Indicator ( $\delta_{EM}$ ): Een binaire metriek die elke afwijking van de grondwaarheid bestraft. Als de gegenereerde regel niet exact overeenkomt met de originele regel, draagt dit bij aan de anomaliescore. Dit adresseert de beperking van "soft loss" waarden, waarbij kleine maar cruciale karakterverschillen (bijv. > versus >=) anders mogelijk ondergewogen zouden worden.
First-Token Variance ( $\delta_{var}$ ): Een maatstaf voor de vertrouwdheid van het model, berekend als de variantie van de top-10 voorspelde tokens voor de eerste gegenereerde positie. Kwetsbare regels vertonen vaak een matige variantie, terwijl veilige regels vaak een hoge variantie (duidelijke completions) of lage variantie (voorzichtige completions in eenvoudige contexten) vertonen.
AST Complexiteit ( $\delta_{ast}$ ): Een metriek gebaseerd op het aantal nodes in de Abstract Syntax Tree (AST) van de originele regel. Hogere complexiteit is geassocieerd met een hoger risico op over het hoofd geziene edge cases.

De uiteindelijke score is een genormaliseerde som van deze componenten, ontworpen om exacte matches te belonen terwijl subtiele afwijkingen, modelonzekerheid en codecomplexiteit worden gevangen.

Belangrijkste Bijdragen

ANVIL Framework: Een nieuwe benadering voor kwetsbaarheidsdetectie op regelniveau die geen gelabelde trainingsdata vereist, waarbij gebruik wordt gemaakt van pre-trained LLM's om kwetsbaarheden te identificeren als anomalieën via masked reconstruction.
Hybride Scoring Mechanisme: De voorstel en validatie van een samengestelde scoringfunctie die loss, exact matching, confidence variance en syntactische complexiteit combineert, wat aantoont dat deze combinatie individuele metrieken overtreft.
Adaptive Context Strategie: De introductie van een structuurbewuste contextselectiemethode die dynamisch de relevante samengestelde statement identificeert, wat zowel de detectienauwkeurigheid als de computationele efficiëntie verbetert ten opzichte van vaste window-sizes.
Uitgebreide Evaluatie: Een rigoureuze evaluatie over meerdere LLM-families, contextgroottes en scoringmethoden, inclusief een leakage-vrije evaluatie op kwetsbaarheden die na de training-cutoff van de LLM zijn onthuld.

Experimentele Resultaten

De auteurs evalueerden ANVIL op de PrimeVul dataset, een grootschalige collectie van open-source C/C++ projecten, en vergeleken het met state-of-the-art supervised detectoren: LineVul, LineVD, en LLMAO.

Prestaties vs. Supervised Detectoren: ANVIL presteerde significant beter dan alle supervised baselines.
- Top-3 Nauwkeurigheid: ANVIL behaalde tot wel 2× hogere nauwkeurigheid (31,3% vs. 17,3% voor de beste baseline).
- Genormaliseerde MFR: ANVIL liet een verbetering van 75% zien (0,18 vs. 0,39 voor de beste baseline).
- ROC-AUC: ANVIL behaalde 61,8%, aanzienlijk hoger dan de baselines die rond het niveau van willekeurige gokken (~50%) schommelden.
Context en Scoring: De studie bevestigde dat de hybride scoring methode en Adaptive Context de beste prestaties leverden. Vaste contextgroottes onder de 100 regels resulteerden in gedegradeerde prestaties, terwijl grotere vaste groottes ruis en geheugenproblemen introduceerden.
Generalisatie: ANVIL demonstreerde sterke generalisatiecapaciteiten op een leakage-vrije dataset met kwetsbaarheden die na de training-cutoff van de LLM zijn onthuld, wat zijn vermogen bewijst om ongeziene kwetsbaarheden te detecteren zonder hertraining.
Praktisch Nut: Door ANVIL te integreren met fuzzers om seed-selectie te sturen, ontdekten de auteurs twee voorheen onbekende kwetsbaarheden, waarvan er één een CVE heeft gekregen, wat het praktische nut van anomalie-gestuurde detectie aantoont.

Betekenis

Het artikel beweert dat ANVIL een praktisch alternatief biedt voor supervised learning voor kwetsbaarheidsdetectie door de bottleneck van gelabelde data te omzeilen. Door gebruik te maken van de inherente "natuurlijkheid" van code die door LLM's is geleerd, isoleert ANVIL effectief kwetsbaarheden op regelniveau. De resultaten suggeries dat anomaly-based detectie, vooral wanneer deze wordt versterkt met hybride scoring en adaptive context, de huidige supervised methoden kan overtreffen, vooral in scenario's met nieuwe of ongeziene codebases waar trainingsdata niet beschikbaar is. Het werk benadrukt dat hoewel LLM's niet inherent "weten" wat een kwetsbaarheid is, ze effectief code kunnen identificeren die afwijkt van de statistische normen van correcte code.