LLM-based Vulnerability Detection at Project Scale: An Empirical Study

Technische Samenvatting: LLM-gebaseerde Kwetsbaarheidsdetectie op Projectschaal: Een Empirische Studie

Probleemstelling
Naarmate de complexiteit en de schaal van softwareontwikkeling en -implementatie toenemen, worden beveiligingskwetsbaarheden frequenter en schadelijker, wat robuuste automatische detectie noodzakelijk maakt. Hoewel traditionele statische analyse-instrumenten breed worden toegepast, vertrouwen zij op handmatig ontworpen regels en vooraf gedefinieerde patronen, wat hun vermogen om te generaliseren naar onbekende of evoluerende typen kwetsbaarheden beperkt. Daarentegen beloven recente op Large Language Models (LLM) gebaseerde detectoren verbeterde semantische redenering door code-semantiek en complexe logica te interpreteren zonder expliciete regelengineering. Echter, de effectiviteit, betrouwbaarheid en schaalbaarheid van de meeste bestaande LLM-gebaseerde benaderingen op projectschaal blijven onduidelijk, aangezien zij voornamelijk worden geëvalueerd op functie-niveau of hunk-niveau snippets. Er is een gebrek aan systematisch begrip met betrekking tot de grondoorzaken van fouten (specifiek fout-positieven) en de computationele overhead wanneer deze gespecialiseerde detectoren worden toegepast op grote, reële codebases.

Methodologie
De auteurs presenteren de eerste uitgebreide empirische studie waarin vijf gespecialiseerde, op projectschaal werkende LLM-gebaseerde kwetsbaarheidsdetectoren worden vergeleken met twee traditionele statische analyse-instrumenten (CodeQL en Semgrep). De studie hanteert een duale evaluatiestrategie:

1. In-house Benchmark: Een gecureerde dataset van 222 bekende reële kwetsbaarheden (dekking van 8 CWE-typen in C/C++ en Java) afkomstig van ReposVul, CWE-Bench-Java en JLeaks. Deze setting beoordeelt de detectiecapaciteit (Recall) tegenover de grondwaarheid.
2. Reële Projecten: Een set van 24 actief onderhouden open-source projecten (waaronder componenten van de Linux-kernel, ImageMagick, Jenkins en Keycloak). Deze setting evalueert de praktische bruikbaarheid door waarschuwingsvolumes en de False Discovery Rates (FDR) te analyseren.
3. Handmatige Analyse: Twee beveiligingsexperts hebben 385 gesamplede waarschuwingen handmatig geïnspecteerd (wat meer dan 150 menselijke uren vereiste) om een taxonomie van de grondoorzaken van fout-positieven te construeren.
4. Kostenmeting: De studie kwantificeerde de computationele overhead door het verbruik van input/output-tokens en de end-to-end runtime voor elk instrument te meten.

De geëvalueerde LLM-gebaseerde methoden omvatten RepoAudit, KNighter, IRIS, LLMDFA en INFERROI, die uiteenlopende workflows vertegenwoordigen zoals multi-agent frameworks, LLM-ondersteunde checker-generatie en control-flow geleide inferentie.

Belangrijkste Bijdragen

• Eerste Vergelijking op Projectschaal: De studie biedt de eerste systematische vergelijking van vijf representatieve LLM-gebaseerde detectoren met traditionele instrumenten op projectschaal.
• Uitgebreide Evaluatie: Het evalueert de effectiviteit van detectie op 222 bekende kwetsbaarheden en de praktische bruikbaarheid over 24 reële projecten.
• Foutentaxonomie: De auteurs hebben 385 rapporten handmatig gelabeld om een gedetailleerde taxonomie van fout-positieve oorzaken te construeren, waarbij wordt gekwantificeerd hoe ontwerpkeuzes (bijv. dataflow-constructie, source/sink-inferentie) bijdragen aan fouten.
• Kostenanalyse: Het artikel meet en rapporteert de aanzienlijke token-consumptie en tijdkosten die gepaard gaan met LLM-gebaseerde detectie op projectschaal.
• Artifact Release: Alle experimentele artefacten, inclus inclusief scripts, prompts en de taxonomie-labels, worden vrijgegeven om reproduceerbaarheid te bevorderen.

Belangrijkste Resultaten

1. Lage Recall maar Unieke Detecties: Op de in-house benchmark vertoonden de LLM-gebaseerde methoden een lage gemiddelde recall (21,09% voor C/C++ en 33,82% voor Java), waarbij ze vaak kwetsbaarheden misten door niet-overeenstemmende source/sink-definities. Ze ontdekten echter nog steeds meer unieke kwetsbaarheden dan traditionele instrumenten, wat wijst op een complementerende waarde.
2. Hoge False Discovery Rates (FDR): In reële projecten genereerden zowel LLM-gebaseerde als traditionele instrumenten aanzienlijke hoeveelheden waarschuwingen met zeer hoge FDR's. Zelfs het best presterende instrument had een gemiddelde FDR van 85,3%. Zo had RepoAudit op C/C++ projecten bijvoorbeeld een gemiddelde SFDR van 97,0%.
3. Grondoorzaken van Falen: De handmatige analyse identificeerde twee dominante oorzaken die zowel door LLM als traditionele instrumenten werden gedeeld:
   • Oppervlakkige Interprocedurale Redenering (37,47% van de FP's): Instrumenten falen in het traceren van dataflows door diepe call-chains of complexe control-structuren.
   • Imprecieze Source/Sink Identificatie (19,00% van de FP's): Instrumenten identificeren onschuldige programmapunten onjuist als beveiligingsrelevant of herkennen projectspecifieke API's niet.
   • LLM-Specifieke Fouten: LLM-gebaseerde instrumenten leden daarnaast onder gehallucineerd begrip van de code, incorrecte reconstructie van de control flow (bijv. het samenvoegen van wederzijds uitsluitende paden) en het niet strikt naleven van prompt-definities of CWE-scopes.
4. Computationele Overhead: LLM-detectie op projectschaal is computationeel duur. Instrumenten zoals RepoAudit en LLMDFA vereisten honderdduizenden tot honderden miljoenen tokens per project, met runtimes variërend van meerdere uren tot meerdere dagen (bijv. tot 4.638 minuten). Traditionele instrumenten (CodeQL, Semgrep) voltooiden analyses in seconden tot minuten met verwaarloosbare tokenkosten.

Betekenis en Implicaties
Het artikel concludeert dat hoewel LLM-gebaseerde detectoren veelbelovende semantische redeneercapaciteiten bieden die kwetsbaarheden kunnen ontdekken die door traditionele pattern-matching instrumenten gemist worden, ze nog niet volwassen genoeg zijn voor betrouwbare, zelfstandige inzet in reële scenario's. De studie benadrukt kritieke beperkingen in robuustheid (hoge FDR), betrouwbaarheid (lage recall op de grondwaarheid) en schaalbaarheid (prohibitieve computationele kosten).

De auteurs leiden vijf implicaties af voor toekomstig onderzoek:

1. Verdiep Dataflow Redenering: Verder gaan dan oppervlakkige call-graph exploratie naar een holistische "input → propagatie → output" analyse.
2. Verbeter Source/Sink Inferentie: Het ontwikkelen van contextbewuste mechanismen om projectspecifieke API's nauwkeurig te identificeren in plaats van te vertrouwen op generieke of gehallucineerde definities.
3. Versterk Semantisch Begrip: Het integreren van LLM's met intermediaire programmarepresentaties en statische analyse-signalen om complexe taalfuncties (bijv. destructors, try-with-resources) beter te kunnen afhandelen.
4. Handhaaf Prompt Alignment: Het implementeren van gestructureerde multi-agent samenwerking of zelfverificatie om ervoor te zorgen dat modellen zich strikt houden aan kwetsbaarheidsdefinities.
5. Adresseren van Schaalbaarheid: Het adopteren van hiërarchische analyse, het cachen van intermediaire redeneringen en het optimaliseren van workflows om het tokenverbruik en de runtime te verminderen tot niveaus die geschikt zijn voor continue integratie.

De auteurs benadrukken dat de huidige bevindingen de noodzaak onderstrepen voor hybride benaderingen die de semantische sterktes van LLM's benutten, terwijl ze hun kosten- en betrouwbaarheidsproblemen verzachten door middel van strikte integratie met statische analyse.