💻 computer science

UntrustVul: An Automated Approach for Identifying Untrustworthy Alerts in Vulnerability Detection Models

UntrustVul is een geautomatiseerde aanpak die onbetrouwbare kwetsbaarheidsvoorspellingen identificeert door verdachte code-regels te markeren die geen historische kwetsbaarheidspatronen vertonen en geen kwetsbare afhankelijkheden hebben, waarmee het aanzienlijk hogere nauwkeurigheid bereikt dan bestaande methoden over meerdere datasets en modellen heen.

Oorspronkelijke auteurs: Lam Nguyen Tung, Xiaoning Du, Neelofar Neelofar, Aldeida Aleti

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lam Nguyen Tung, Xiaoning Du, Neelofar Neelofar, Aldeida Aleti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Zeker maar Verkeerde" Detective

Stel je voor dat je een zeer bekwame veiligheidsdetective (een AI-model) huurt om fouten te vinden in de blauwdruk van een gebouw (softwarecode). Deze detective is zeer snel en vindt meestal de problemen. Soms wordt de detective echter te zelfverzekerd maar misleid.

Hier is wat er gebeurt:

De detective ziet een echt probleem (een kwetsbaarheid) in de blauwdruk.
Maar in plaats van naar de gebroken pijp te wijzen, wijst de detective naar een fancy deurkruk of een specifieke kleur verf op de muur.
De detective zegt: "Ik ben 99% zeker dat dit gebouw onveilig is vanwege deze deurkruk!"
In werkelijkheid heeft de deurkruk niets te maken met de gebroken pijp. De detective heeft gewoon geleerd dat "deurkrukken" vaak voorkomen in afbeeldingen van onveilige gebouwen in zijn trainingsdata, dus neemt hij aan dat ze de oorzaak zijn.

Als een menselijke bouwer (een ontwikkelaar) deze detective vertrouwt, kan het zijn dat hij uren verspillen aan het proberen te repareren van de deurkruk, of erger: hij kan de deurkruk repareren en de gebroken pijp lekend laten, wat een ramp veroorzaakt.

Het Kernprobleem: Huidige AI-modellen kunnen zeer goed zijn in het zeggen "Dit is kapot", maar ze zijn vaak slecht in het uitleggen waarom of het wijzen op het werkelijke kapotte onderdeel. Ze vertrouwen op "spurious features" (irrelevante aanwijzingen) in plaats van de echte oorzaak.

De Oplossing: UNTRUSTVUL (De "Vertrouwens-Checker")

De auteurs hebben een nieuw hulpmiddel gecreëerd genaamd UNTRUSTVUL. Denk hierbij niet aan een detective, maar aan een kwaliteitscontroleur voor het rapport van de detective.

Zijn taak is om naar de "verdachte regels" van de detective (de aanwijzingen waar hij op wees) te kijken en te vragen: "Is deze aanwijzing echt relevant voor de misdaad, of is het gewoon een toeval?"

Hoe UNTRUSTVUL Werkt (De Twee-Staps Check)

UNTRUSTVUL gebruikt een tweestapsproces om te beslissen of een voorspelling betrouwbaar is:

Stap 1: De "Geschiedenisboek" Check (Regel-niveau Beoordeling)

De Analogie: Stel je een bibliotheek voor van elke ooit opgeloste misdaadsfeer. UNTRUSTVUL kijkt naar de specifieke regel code die de detective heeft gemarkeerd. Het vraagt zich af: "Lijkt deze regel op de delen code die meestal echte problemen veroorzaken?"
De Actie: Als de gemarkeerde regel slechts een generieke opmerking is, een variabele naam, of een veelvoorkomende coderingsstijl die ook in veilige code voorkomt, markeert UNTRUSTVUL het als een "Onschuldig Kandidaat" (een onschadelijke regel die toevallig verdacht lijkt).
Het Doel: Het filtert regels eruit die duidelijk niet het probleem zijn op basis van historische patronen.

Stap 2: De "Dominosteen" Check (Afhankelijkheidsbeoordeling)

De Analogie: Soms kan een onschuldig ogende regel wel deel uitmaken van een probleem als het een schakelaar bedient die een gevaarlijke machine aanzet. UNTRUSTVUL tekent een kaart van hoe de code verbonden is (zoals een stroomdiagram). Het vraagt zich af: "Verbindt deze onschuldige regel met een regel die WEL echt gevaarlijk is?"
De Actie: Het traceert de verbindingen.
- Als de gemarkeerde regel ver weg is van het echte gevaar (geen verbinding), is het Kwetsbaarheids-Irrelevant.
- Als de gemarkeerde regel direct verbonden is met het gevaar (zoals een schakelaar die een bom activeert), is het Kwetsbaarheids-Relevant.
Het Resultaat: Als de detective heeft gewezen op regels die zowel "onschuldig" ALS "losgekoppeld van het gevaar" zijn, markeert UNTRUSTVUL de hele voorspelling als Onbetrouwbaar.

De Score: Een "Vertrouwensmeter"

UNTRUSTVUL zegt niet zomaar "Ja" of "Nee". Het geeft een Vertrouwensscore.

Hoge Score: De detective wees op de juiste regels, en die regels zijn verbonden met het echte probleem. (Vertrouw de AI).
Lage Score: De detective wees op irrelevante regels of regels die niet verbonden zijn met het gevaar. (Negeer de uitleg van de AI; het is waarschijnlijk een vals alarm of een verkeerde diagnose).

Waarom Dit Belangrijk Is (De Resultaten)

De onderzoekers testten UNTRUSTVUL op 115.000 voorspellingen die waren gedaan door vier verschillende toonaangevende AI-modellen.

De Bevindingen: Ze ontdekten dat veel "hoog-vertrouwde" voorspellingen eigenlijk onbetrouwbaar waren. De AI was zelfverzekerd, maar haar redenering was verkeerd.
De Prestaties: UNTRUSTVUL was veel beter in het opsporen van deze slechte voorspellingen dan eerdere methoden (die vooral keken naar hoe zelfverzekerd de AI was).
- Het verbeterde het vermogen om onbetrouwbare voorspellingen op te sporen met 13% tot 92% ten opzichte van oudere methoden.
- Het slaagde erin gevallen te identificeren waar de AI "rode haringen" achterna zat (irrelevante aanwijzingen).

De Conclusie

In de wereld van softwarebeveiliging is het weten dat een programma kwetsbaar is, slechts de helft van de strijd. Je moet ook weten waar het probleem zit zodat je het kunt oplossen.

UNTRUSTVUL is een vangnet. Het voorkomt dat ontwikkelaars tijd verspillen aan het repareren van de verkeerde dingen (zoals de deurkruk) door automatisch AI-voorspellingen te markeren die gebaseerd zijn op irrelevante aanwijzingen. Het zorgt ervoor dat wanneer een AI zegt: "Repareer deze regel", de ontwikkelaar er daadwerkelijk op kan vertrouwen dat die regel degene is die gerepareerd moet worden.

Technische Samenvatting van UNTRUSTVUL: Geautomatiseerde Identificatie van Onbetrouwbare Waarschuwingen in Modellen voor Kwetsbaarheidsdetectie

1. Probleemstelling

Machine learning (ML)-modellen hebben een hoge nauwkeurigheid aangetoond bij het detecteren van softwarekwetsbaarheden. Echter, recente studies geven aan dat deze modellen vaak vertrouwen op spurious correlaties—irrelevante codekenmerken zoals specifieke identificatoren, functiesignaturen of programmeerstijlen die frequent voorkomen in kwetsbare code, maar semantisch niet gerelateerd zijn aan de daadwerkelijke kwetsbaarheid. Bijgevolg kan een model weliswaar een functie correct classificeren als kwetsbaar, maar kunnen de specifieke code-regels die het als "verdacht" markeert (via interpreteerbaarheidstechnieken zoals attention-mechanismen) niets te maken hebben met de oorzaak.

Dit fenomeen maakt voorspellingen onbetrouwbaar. Ontwikkelaars die vertrouwen op deze misleidende annotaties, kunnen tijd verspillen aan het onderzoeken van irrelevante code, inefficiënte patches creëren of zelfs nieuwe kwetsbaarheden introduceren. Bestaande metrieken, zoals modelvertrouwensscores, slagen er niet in om te onderscheiden tussen betrouwbare en onbetrouwbare voorspellingen; voorspellingen met een hoog vertrouwen kunnen nog steeds gebaseerd zijn op onjuiste redenering. Er is een kritieke behoefte aan een geautomatiseerde aanpak om deze onbetrouwbare voorspellingen te identificeren en te markeren voordat ze menselijke reviewers bereiken.

2. Methodologie: UNTRUSTVUL

Het artikel introduceert UNTRUSTVUL, de eerste geautomatiseerde aanpak die is ontworpen om onbetrouwbare kwetsbaarheidsvoorspellingen te identificeren. De kernfilosofie is dat een voorspelling onbetrouwbaar is als de regels die het markeert kwetsbaarheids-irrelevant zijn. Een regel wordt gedefinieerd als kwetsbaarheids-irrelevant als:

Het inherent niet-kwetsbaar is (een "onschuldig kandidaat").
Het geen invloed heeft op potentieel kwetsbare regels via controle- of data-afhankelijkheden.

UNTRUSTVUL werkt in twee hoofdfasen:

Fase 1: Regelniveau-beoordeling (Identificatie van Onschuldige Kandidaten)

Doel: Bepalen of een door een model gemarkeerde verdachte regel syntactisch te onderscheiden is van historische kwetsbare regels.
Mecanisme: Het systeem maakt gebruik van historische data (specifiek uit de BigVul-dataset) om een ensemble van classifiers te trainen met transformer-gebaseerde code-modellen (CodeBERT, GraphCodeBERT, UniXcoder).
Proces: Verdachte regels worden gecodeerd naar diepe representaties en vergeleken met historische kwetsbare en niet-kwetsbare regels. Regels die lijken op historische niet-kwetsbare regels (context-vrije onschuldige) worden geclassificeerd als onschuldige kandidaten. Regels die lijken op historische kwetsbare patronen zijn niet-onschuldige kandidaten (potentieel kwetsbaar).
Verfijning: Om robuustheid te waarborgen, gebruikt het systeem BLEU-scores om niet-kwetsbare regels die syntactisch te veel lijken op kwetsbare regels te filteren, zodat de "onschuldige" set duidelijk onderscheiden is.

Fase 2: Afhankelijkheidsniveau-beoordeling (Meten van Bereikbaarheid)

Doel: Beoordelen of onschuldige kandidaten invloed kunnen uitoefenen op niet-onschuldige kandidaten (potentiële kwetsbaarheden) via code-afhankelijkheden.
Mecanisme: De broncode wordt geparsed naar een Program Dependency Graph (PDG) met behulp van statische analyse-tools (Joern).
Bereikbaarheidsanalyse: Het systeem berekent de bereikbaarheidsafstand van elke onschuldige kandidaat naar de dichtstbijzijnde niet-onschuldige kandidaat.
- Als een onschuldige kandidaat geen enkele niet-onschuldige kandidaat kan bereiken via controle- of data-afhankelijkheden, wordt deze volledig kwetsbaarheids-irrelevant geacht.
- Als het een niet-onschuldige kandidaat kan bereiken, wordt de afstand gemeten; kortere afstanden impliceren een sterkere invloed.
Scorebepaling: Een continue Vertrouwensscore ( $T$ ) wordt berekend door de importantiescores van verdachte regels en hun bereikbaarheidsafstanden tot niet-onschuldige kandidaten te aggregeren.
- Een lagere $T$ -score geeft een hogere waarschijnlijkheid van onbetrouwbaarheid aan (d.w.z. het model vertrouwt zwaar op regels die zowel onschuldig zijn als losstaan van echte kwetsbaarheden).

3. Belangrijkste Bijdragen

UNTRUSTVUL Framework: De eerste geautomatiseerde aanpak om onbetrouwbare kwetsbaarheidsvoorspellingen bloot te leggen door de plausibiliteit van door het model gemarkeerde verdachte regels te analyseren.
Inzicht in Vertrouwen: Een onderzoek dat aantoont dat modelvertrouwen een onvoldoende indicator is van betrouwbaarheid; voorspellingen met een hoog vertrouwen kunnen nog steeds onbetrouwbaar zijn.
Uitgebreide Evaluatie: Uitgebreide evaluatie over vier state-of-the-art (SOTA) detectoren (LineVul, SVulD, IVDetect, ReVeal) en vier datasets (BigVul, MegaVul, SARD, PrimeVul), met meer dan 115.000 voorspellingen.
Open Bronnen: Publieke vrijgave van code en datasets om verder onderzoek te faciliteren.

4. Experimentele Resultaten

De auteurs hebben UNTRUSTVUL geëvalueerd tegen baselines, waaronder een op vertrouwen gebaseerde aanpak ("Naive") en op perturbatie gebaseerde methoden (CausalVul-varianten).

Detectieprestaties: UNTRUSTVUL behaalde een AUC van 70%–88% en een F1-score van 82%–94% bij het detecteren van onbetrouwbare voorspellingen.
Vergelijking: Het presteerde beter dan bestaande aanpakken met 6%–59% in AUC en 13%–92% in F1-score. Specifiek overtrof het aanzienlijk op vertrouwen gebaseerde baselines (die vaak faalden in het onderscheiden van betrouwbaarheid) en op perturbatie gebaseerde methoden.
Verbetering van Detectoren: Wanneer gebruikt om modelhertraining te filteren of te sturen, verbeterde UNTRUSTVUL de F1-score van kwetsbaarheidsdetectoren met maximaal 321% in cross-project settings en verbeterde het betrouwbaarheidsmetrieken (IoU en $T$ -score) met maximaal 100%.
Efficiëntie: Het hulpmiddel verwerkt een functie in ongeveer 1,02–1,47 seconden, wat de auteurs acceptabel achten voor beveiligingskritieke taken, ondanks dat het trager is dan eenvoudige vertrouwenscontroles.

5. Betekenis en Claims

Het artikel beweert dat UNTRUSTVUL een kritieke kloof in de softwarebeveiligingslevenscyclus aanpakt. Waar eerdere research zich richtte op het genereren van interpretaties (verklaringen) voor ML-modellen, richt dit werk zich op het evalueren van de plausibiliteit van die interpretaties.

Ontwikkelaarsworkflow: Door onbetrouwbare voorspellingen automatisch te filteren, vermindert UNTRUSTVUL de last van handmatige beoordeling, voorkomt het dat ontwikkelaars achter irrelevante code aanlopen en vermijdt het gebrekkige patchstrategieën.
Modelonafhankelijkheid: De aanpak vereist geen kennis van de specifieke locaties van kwetsbaarheden of de interne architectuur van de detector. Het werkt met elk model dat regelniveau-interpretaties biedt (bijvoorbeeld via attention of GNNExplainer).
Conservatief Ontwerp: De methodologie is ontworpen om conservatief te zijn om te voorkomen dat betrouwbare voorspellingen ten onrechte als onbetrouwbaar worden gemarkeerd, met prioriteit voor precisie bij het identificeren van duidelijke gevallen van irrelevantie.

De auteurs concluderen dat hoewel de aanpak momenteel gericht is op C/C++ en specifieke datasets, de onderliggende logica van het analyseren van syntaxis en afhankelijkheidsbereikbaarheid een generaliseerbare weg biedt naar betrouwbaardere ML-gebaseerde software-engineeringtools.