💻 computer science

Vulnerability Detection with Interprocedural Context in Multiple Languages: Assessing Effectiveness and Cost of Modern LLMs

Deze empirische studie toont aan dat het integreren van interprocedurale context (aanroepers en aangeroepene functies) de effectiviteit van moderne LLM's bij het detecteren van kwetsbaarheden in C, C++ en Python aanzienlijk verbetert, waarbij Gemini 3 Flash de beste kosten-batenverhouding biedt en Claude Haiku 4.5 de hoogste nauwkeurigheid in detectie en uitleg haalt.

Oorspronkelijke auteurs: Kevin Lira, Baldoino Fonseca, Davy Baía, Márcio Ribeiro, Wesley K. G. Assunção

Gepubliceerd 2026-04-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kevin Lira, Baldoino Fonseca, Davy Baía, Márcio Ribeiro, Wesley K. G. Assunção

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ De Digitale Detectives: Kunnen AI's Gevaar in Code Vinden?

Stel je voor dat je een enorm groot gebouw hebt (een softwareprogramma) met duizenden kamers (functies). In sommige kamers zitten valkuilen of gevaarlijke gaten (kwetsbaarheden) die hackers kunnen gebruiken om binnen te dringen.

Vroeger keken AI-detectives (Large Language Models of LLMs) alleen naar één kamer om te zien of die gevaarlijk was. Ze keken niet naar de gangen die naar die kamer leiden of de kamers waar die kamer weer naartoe leidt.

De onderzoekers van dit paper vroegen zich af: "Wat gebeurt er als we de detective ook de hele gang laten zien? Helpt dat om de valkuil sneller te vinden, of maakt het de detective juist in de war?"

Ze testten dit met vier moderne AI-modellen (denk aan slimme digitale assistenten zoals Claude, GPT en Gemini) op code in drie talen: C, C++ en Python.

🧩 De Drie Manieren om te Kijken

De onderzoekers gaven de AI's drie verschillende "pakketjes" met informatie:

Alleen de kamer (Code Only): De AI ziet alleen de code van de verdachte functie.
Kamer + Deuren naar buiten (Callers): De AI ziet de verdachte functie én de kamers die er direct naartoe lopen (wie belt deze functie aan?).
Kamer + Deuren naar binnen (Callees): De AI ziet de verdachte functie én de kamers die deze functie zelf aanstuurt (wat doet deze functie op zijn beurt?).

Het idee was: "Meer context moet toch helpen?"

🚨 De Verassende Bevindingen

1. Meer is niet altijd beter (De "Te veel informatie"-val)

Het bleek dat meer informatie de AI's soms juist verwarde.

Voorbeeld: Stel je voor dat je een detective vraagt: "Is deze persoon een dief?" Je geeft hem alleen de foto van de verdachte. Hij zegt: "Ja, die heeft een verdachte blik."
Nu geef je hem ook de foto's van de buren en de postbode. De detective raakt in de war, kijkt naar de buren en zegt: "Nou, die buren lijken ook wel verdacht, misschien is de verdachte wel onschuldig."
Resultaat: Bij de modellen van OpenAI (GPT-4.1 en GPT-5) zorgde het toevoegen van extra code (de "buren") ervoor dat ze minder goed werden. Ze werden tot 25% minder accuraat! Ze raakten de focus kwijt.
Uitzondering: De modellen van Google (Gemini) en Anthropic (Claude) waren als ervaren detectives. Ze keken naar de extra informatie, maar wisten precies wat belangrijk was en werden er niet door in de war. Hun prestatie bleef stabiel.

2. De Prijskaart (Kosten vs. Baat)

Elke keer dat je de AI extra informatie geeft, moet die meer "denken" (meer tokens verwerken). Dat kost geld.

Analogie: Het is alsof je een taxichauffeur vraagt om je naar de stad te rijden. Als je zegt: "Rijd maar gewoon," kost het €5. Als je zegt: "Rijd langs de hele stad, stop bij elke winkel, en kijk ook nog eens in de kelders," kost het €10.
De conclusie: De onderzoekers ontdekten dat het dubbel zo duur werd om de AI extra context te geven, maar dat de verbetering in resultaat nihil was (of zelfs negatief). Je betaalde dus dubbel voor hetzelfde, of zelfs slechtere, resultaat.

3. De Talen Verschillen

C en C++ (De oude, complexe talen): Hier zijn de valkuilen vaak verborgen in de interactie tussen verschillende functies. Maar paradoxalerwijs werkten de AI's hier het slechtst als ze te veel context kregen. Ze raakten in de war door de complexe logica.
Python (De moderne, duidelijke taal): Hier waren de resultaten iets anders, maar de trend bleef hetzelfde: meer context hielp niet echt.

4. Het Verklaren van het Gevaar

Niet alleen moesten de AI's zeggen "Ja, hier zit een fout", ze moesten ook uitleggen waarom.

Claude Haiku 4.5 was hierin de beste leraar. Hij gaf in 93% van de gevallen een perfecte uitleg: "Hier is de fout, hier is de oorzaak, en hier is hoe je het oplost."
GPT-modellen maakten vaker fundamentele fouten in hun uitleg. Als ze de fout niet goed zagen, was hun uitleg ook vaak onzin.

💡 De Gouden Tips voor de Praktijk

Wat betekent dit voor mensen die software beveiligen?

Kies je detective slim: Als je geld wilt besparen en goede resultaten wilt bij C-code, kies dan Gemini 3 Flash. Het is de beste prijs-kwaliteitverhouding. Wil je de allerbeste uitleg? Kies dan Claude Haiku.
Geef niet te veel info: Voor veel AI-modellen werkt het beter om ze alleen de verdachte stukjes code te geven, in plaats van de hele geschiedenis van de functie. "Minder is meer."
Geen "one size fits all": Wat werkt voor Python, werkt niet per se voor C. Je moet je AI-strategie afstemmen op de programmeertaal die je gebruikt.

🏁 Conclusie in één zin

Het onderzoek leert ons dat we niet blindelings moeten denken dat "meer context" voor AI altijd beter is; soms maakt het de AI juist slordig, en dat kost je alleen maar meer geld zonder dat je veiliger bent. De kunst is om de juiste detective te kiezen voor de juiste taak.

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet voor geautomatiseerde kwetsbaarheidsdetectie in software. Echter, de meeste bestaande studies beperken zich tot het analyseren van kwetsbaarheden binnen single functions (individuele functies). Hierbij worden kwetsbaarheden die ontstaan door interprocedurale afhankelijkheden (data- en controlestromen die over meerdere functies lopen) genegeerd. Voorbeelden hiervan zijn use-after-free fouten, bufferoverflows die worden getriggerd door externe controle, en injectiekwetsbaarheden die afhankelijk zijn van argumenten van de aanroeper.

Daarnaast missen veel studies:

Meertaligheid: Ze focussen vaak op één programmeertaal, terwijl moderne systemen vaak hybride zijn (C, C++, Python).
Kostenbewustzijn: De economische kosten (inference costs) en de schaalbaarheid van LLM-toepassingen worden zelden meegenomen.
Verklaringen: De kwaliteit van de door het model gegenereerde uitleg (explainability) wordt vaak niet geëvalueerd, wat essentieel is voor ontwikkelaars om alerts te vertrouwen.

Methodologie

De auteurs voerden een empirische studie uit om de effectiviteit, kosten en uitlegkwaliteit van vier moderne LLMs te beoordelen bij het detecteren van interprocedurale kwetsbaarheden.

Dataset: Er werden 509 kwetsbaarheden geselecteerd uit de ReposVul-dataset, afkomstig van CVE-records in open-source projecten. De dataset omvat code in C, C++ en Python.
Geselecteerde Modellen:
- Claude Haiku 4.5 (Anthropic)
- GPT-4.1 Mini en GPT-5 Mini (OpenAI)
- Gemini 3 Flash (Google)
Experimenteel Ontwerp: Voor elke kwetsbare functie werden drie verschillende context-configuraties getest:
1. Code Only (CO): Alleen de broncode van de doel-functie.
2. Code + Callees (CC): De doel-functie + de functies die deze aanroept.
3. Code + Callers (CK): De doel-functie + de functies die deze aanroepen.
Evaluatiemetrics:
- Effectiviteit: Gemeten via Accuracy, Precision, Recall en F1-score.
- Kosten: Berekend op basis van token-verbruik en de huidige API-prijzen (per 1 miljoen tokens).
- Kwaliteit van Uitleg: Een menselijke evaluatie (steekproef van 251 functies) op twee dimensies: Correctheid (is het type en de locatie correct?) en Omvang (bevat de uitleg exploitatie-vector en reparatie-advies?). Scores werden gegeven op een schaal van 0 tot 2.
Statistische Analyse: McNemar's test werd gebruikt om te bepalen of verschillen in prestaties tussen context-configuraties statistisch significant waren.

Belangrijkste Resultaten

1. Effectiviteit van Interprocedurale Context (RQ1 & RQ2)

Meer context is niet altijd beter: Het toevoegen van interprocedurale context (callers of callees) verbeterde de prestaties niet consistent. In veel gevallen, vooral bij de GPT-modellen in C, verslechterde de prestatie aanzienlijk.
Taalkundige verschillen:
- C: De GPT-modellen (vooral GPT-4.1 Mini) verloren tot 25% aan nauwkeurigheid wanneer context werd toegevoegd. Dit suggereert dat de extra informatie "ruis" introduceert die het model verwarrend vindt.
- Python: De trend was vergelijkbaar maar minder uitgesproken en statistisch niet significant.
- Robuustheid: Claude Haiku 4.5 en Gemini 3 Flash toonden zich robuust; hun prestaties bleven stabiel of verbeterden licht, ongeacht de context-configuratie.
Beste presterende model: Gemini 3 Flash behaalde de hoogste algehele effectiviteit (F1 ≥ 0,978 voor C) met de "Code Only"-configuratie.

2. Kosten en Efficiëntie (RQ3)

Token-gebruik: Het toevoegen van interprocedurale context verdubbelde bijna het token-verbruik (en daarmee de kosten), zonder een proportionele winst in nauwkeurigheid.
Kosten-effectiviteit:
- Gemini 3 Flash bood de beste balans tussen kosten en prestaties. Voor C-vulnerabilities kostte het ongeveer $0,50–$ 0,58 per configuratie voor een F1-score van ≥0,978.
- Claude Haiku 4.5 was de duurste optie (ongeveer $1,19–$ 1,38 per configuratie) met slechts marginaal betere resultaten dan Gemini.
- GPT-4.1 Mini was het goedkoopst, maar had de laagste nauwkeurigheid, vooral bij toegevoegde context.

3. Kwaliteit van Uitleg (RQ4)

Correctheid en Omvang: Alle modellen presteerden goed, maar Claude Haiku 4.5 leidde met een perfect score (2,2) in 93,6% van de gevallen.
Foutpatronen: De GPT-modellen hadden een veel hogere frequentie van fundamentele fouten (score 0) in zowel de detectie als de uitleg (6,1% - 6,8%) vergeleken met Haiku en Gemini (<1,2%).
Correlatie: Er is een sterke correlatie tussen detectiekwaliteit en uitlegkwaliteit; modellen die vaker fouten maken in de classificatie, leveren ook minder nauwkeurige uitleggen.

Bijdragen en Significantie

De studie levert de volgende cruciale inzichten voor de softwarebeveiligingsgemeenschap:

Challenge aan de "Meer Context" Aanneming: Het is een veelvoorkomend misverstand dat meer context altijd leidt tot betere detectie. De studie bewijst dat voor bepaalde modellen (zoals GPT-4.1 Mini) en talen (C), extra context de prestaties juist kan vertragen door ruis.
Model-afhankelijke Strategie: Prompt-engineering strategieën zijn niet universeel toepasbaar. Wat werkt voor Claude, werkt niet noodzakelijk voor GPT. Ontwikkelaars moeten de contextniveaus afstemmen op het specifieke model en de programmeertaal.
Kostenbewustzijn: Voor praktische implementaties in CI/CD-pipelines is Gemini 3 Flash momenteel de meest kosteneffectieve keuze voor C-code, terwijl Claude Haiku 4.5 de voorkeur verdient wanneer de kwaliteit van de menselijke uitleg (voor audit-doeleinden) cruciaal is.
Meertalige Evaluatie: De studie benadrukt dat kwetsbaarheidsdetectie niet "one-size-fits-all" is; de aard van de taal (bijv. handmatig geheugenbeheer in C vs. automatische beheer in Python) beïnvloedt hoe LLMs context interpreteren.

Conclusie:
Voor het bouwen van AI-gestuurde beveiligingstools is het essentieel om niet alleen te kijken naar de detectienauwkeurigheid, maar ook naar de kosten en de uitlegkwaliteit. De studie concludeert dat voor de meeste scenario's een beperkte context (alleen de doel-functie) samen met een model zoals Gemini 3 Flash of Claude Haiku 4.5 de optimale balans biedt, in plaats van het kostbare en vaak contraproductieve toevoegen van volledige call-graaf-context.