💻 computer science

Representation Matters: An Empirical Study of Program Representations for LLM Vulnerability Reasoning

Dit artikel introduceert RepBench, een empirische studie die aantoont dat op statische analyse gebaseerde structurele representaties (specifiek AST+PDG) ruwe broncode aanzienlijk overtreffen bij het detecteren van kwetsbaarheden door LLM's door contextdilutie te mitigeren en een superieure nauwkeurigheid-overheadtrade-off te bieden.

Oorspronkelijke auteurs: Andrew Stoltman, Johnathan Tang, Haipeng Cai

Gepubliceerd 2026-06-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Andrew Stoltman, Johnathan Tang, Haipeng Cai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, maar licht afgeleide detective (de AI) probeert te leren hoe hij een specifiek type misdaad kan opsporen in een enorme bibliotheek vol boeken (de computercode).

Lama tijd lang namen onderzoekers aan dat de beste manier om de detective te helpen was door hem het volledige, ruwe boek te overhandigen. De logica was: "Hoe meer pagina's de detective leest, hoe meer aanwijzingen hij zal vinden."

Dit artikel, getiteld "Representation Matters," daagt dit idee uit. De auteurs bouwden een testomgeving genaamd RepBench om te zien of het de detective beter werkt als je hem een beknopte, gestructureerde samenvatting van het boek geeft in plaats van de ruwe tekst.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. Het Experiment: Ruwe Tekst vs. Het "Blauwdruk"

De onderzoekers namen 107 echte voorbeelden van kwetsbaarheden in code (zoals een verborgen valstrik in een gebouw). Ze vroegen de AI om deze vallen te vinden met behulp van drie verschillende soorten "input":

Ruwe Broncode: Het volledige, onbewerkte boek met alle woorden, commentaren en opmaak.
Grafieken (AST, CFG, PDG): Dit zijn als architectonische blauwdrukken of stroomdiagrammen. Ze strippen de woorden weg en tonen alleen de structuur: hoe kamers met elkaar verbonden zijn, waar de deuren zitten en hoe water (data) door de buizen stroomt.
Hybriden: Een mix van het ruwe boek en de blauwdrukken.

2. De Grote Verrassing: Minder is Meer

De resultaten waren contra-intuïtief.

Het Ruwe Boek Faalde: Wanneer de AI de ruwe code las, had hij het antwoord slechts 53,5% van de tijd goed. Het was alsoals proberen een specifieke lekkage in een huis te vinden door de hele encyclopedie over loodgieterswerk te lezen; de AI raakte verdwaald in de ruis.
De Blauwdrukken Wonnen: Wanneer de AI naar de gestructureerde grafieken keek (specifiek een combinatie van een "Syntax Tree" en een "Dependence Graph"), had hij het antwoord 83,2% van de tijd goed.
De Hybride Werkte Tegen: Wanneer de onderzoekers de AI zowel het ruwe boek als de blauwdrukken gaven, daalde de prestatie zelfs in vergelijking met alleen de blauwdrukken.

3. Het "Context Dilution" Effect

Waarom maakte het toevoegen van meer informatie de AI slechter? De auteurs noemen dit "Context Dilution" (contextverwatering).

Denk hierbij aan het zoeken naar een naald in een hooiberg.

De Blauwdruk is de naald zelf. Hij is klein, gefocust en gemakkelijk te zien.
De Ruwe Code is de hooiberg.
De Hybride is de hooiberg plus de naald.

De studie toonde aan dat wanneer je de AI de hele hooiberg (ruwe code) geeft samen met de naald (grafieken), de AI wordt afgeleid door het hooi. De AI begint zich te concentreren op irrelevante details — zoals een commentaar in de code of een hulpfunctie die niets met de bug te maken heeft. De "naald" raakt verloren in het "hooi" en de AI mist de kwetsbaarheid.

4. De Efficiëntiebonus

Er was nog een ander voordeel: Kosten en Snelheid.

De prompts met ruwe code waren enorm (als een 500 pagina's tellende roman).
De prompts met alleen de grafieken waren veel kleiner (als een 100 pagina's tellende samenvatting).
Ondanks dat ze kleiner en goedkoper waren om uit te voeren, waren de grafiek-prompts nauwkeuriger.

5. Wat Dit Betekent voor de Toekomst

Het artikel concludeert dat als AI goed moet zijn in het opsporen van beveiligingslekken, we er niet simpelweg ruwe code in moeten dumpen. In plaats daarvan moeten we static analysis tools (de tools die de blauwdrukken maken) gebruiken om als een "vertaler" te fungeren.

De Analogie:
In plaats van een AI te vragen een juridisch contract van 1.000 pagina's te lezen om een mazen in de wet te vinden, zouden we eerst een advocaat de opdracht moeten geven om het te lezen, de cruciale clausules samen te vatten in een memo van 2 pagina's, en die memo vervolgens aan de AI te geven. De AI kan zich dan concentreren op de logica zonder afgeleid te worden door de franje.

Kortom: Het artikel bewijst dat voor AI-beveiligingsredeneringen, gestructureerd, compact bewijs vele malen superieur is aan ruwe, ongefilterde data. Het geven van "meer" informatie maakt de AI vaak juist "minder" effectief.

Technische Samenvatting: Representatie is Cruciaal voor LLM Kwetsbaarheidsredenering

Probleemstelling

Large Language Models (LLMs) worden steeds vaker ingezet voor automatische detectie van kwetsbaarheden, maar de optimale methode om de programmastructuur en -semantiek te representeren voor LLM-gebaseerde redenering blijft onduidelijk. Huidige pipelines vertrouwen voornamelijk op ruwe broncode als primaire input, uitgaande van de impliciete aanname dat het bieden van meer context op bronniveau leidt tot betere bewijsvoering voor kwetsbaarheidsredenering.

Dit artikel daagt die aanname uit. Redeneren over kwetsbaarheden hangt vaak af van semantische relaties—zoals datapropagatie, control-flow guards en pointer aliases—die niet expliciet zijn in de oppervlakkige syntaxis. Hoewel representaties uit statische analyse (bijv. Control-Flow Graphs, Program Dependence Graphs) zijn ontworpen om deze relaties bloot te leggen, is hun effectiviteit wanneer ze als prompts voor LLM's worden gebruikt, nog niet systematisch afgezet tegen ruwe broncode. Het kernprobleem is bepalen of gestructureerde, op statische analyse gebaseerde representaties de nauwkeurigheid en efficiëntie van LLM-redenering kunnen verbeteren vergeleken met ruwe broninputs, en of het combineren ervan synergetische voordelen biedt of juist ruis introduceert.

Methodologie

De auteurs introduceren RepBench, een verenigde benchmark-pipeline ontworpen om te evalueren hoe verschillende programmarepresentaties de LLM-kwetsbaarheidsredenering beïnvloeden onder een vaste taak.

Dataset en Omvang

Corpus: De studie maakt gebruik van een gecureerde subset van 107 real-world C/C++ testcases afgeleid van de PrimeVul-dataset, die vijf Common Weakness Enumeration (CWE) categorieën beslaat:
- Arithmetische kwetsbaarheden: CWE-122 (Heap-based Buffer Overflow), CWE-190 (Integer Overflow), CWE-191 (Integer Underflow).
- Memory-lifecycle kwetsbaarheden: CWE-415 (Double Free), CWE-416 (Use After Free).
Auxiliary Track: Een aanvullende track met 19 gevallen gebruikmakend van Enriched Program Dependence Graphs (ePDGs) gegenereerd via de VulChecker/Hector-pipeline, die LLVM-niveau metadata bevat.

Experimenteel Ontwerp

De benchmark evalueert tien representatievarianten over drie prompt-families:

Source-only: Ruwe broncode (Baseline).
Graph-only: Geserialiseerde structurele representaties inclusief Abstract Syntax Trees (AST), Control-Flow Graphs (CFG), Program Dependence Graphs (PDG), en hun combinaties (AST+CFG, AST+PDG, CFG+PDG).
Source-plus-Graph: Hybriden die ruwe broncode combineren met één of meer graafrepresentaties.

Belangrijke Controles:

Taak: Vaste binaire classificatie (VULNERABLE vs. SAFE) voor een doelunctie gegeven een specifieke CWE.
Prompting: Alle varianten gebruiken een vaste Chain-of-Thought (CoT) prompting strategie met gestructureerde JSON-output en dynamische few-shot selectie.
Model: Experimenten maken gebruik van qwen3.6-plus met een vaste temperatuur ( $T=0.2$ ).
Serialisatie: Graph-artefacten (DOT/JSONL) worden omgezet naar compacte, regelgeoriënteerde tekst om prompt-overhead te minimaliseren terwijl structurele links behouden blijven.

Metrieken

Curated Accuracy: Correctheid op behouden rijen met geldige binaire voorspellingen (om de kwaliteit van de representatie te isoleren van parsing-fouten).
Effective Accuracy: End-to-end succespercentage inclusief parsing-fouten.
Prompt Overhead: Gemeten aan de hand van het aantal tekens en het aantal input-tokens.

Belangrijkste Bijdragen

RepBench Framework: Een benchmark-framework dat real-world kwetsbaarheidstestcases transformeert naar meerdere programmarepresentaties (AST, CFG, PDG, ePDG) en deze evalueert onder een gestandaardiseerde LLM-detectietaak.
Systematische Ablatie-studie: Een uitgebreide evaluatie van ruwe bron, individuele grafen, graafcombinaties en source-plus-graph hybriden, waarbij de representatie als de enige experimentele variabele wordt geïsoleerd.
Ontdekking van Context Dilution: Identificatie en karakterisering van een "context dilution effect", waarbij het toevoegen van ruwe broncode aan compacte structurele bewijslast de redeneerprestaties verslechtert in plaats van verbetert.
Identificatie van Optimale Representatie: Empirisch bewijs dat AST+PDG de meest effectieve representatie is, die significant beter presteert dan ruwe bron en andere varianten.

Resultaten

1. Graafrepresentaties Presteren Beter dan Ruwe Bron

In tegen tegenstelling tot de aanname dat meer broncontext beter is, behaalden graph-only prompts een curated accuracy van 74,4%, een verbetering van 20,9 procentpunt (pp) ten opzichte van de ruwe bron-baseline (53,5%). Dit demonstreert dat compact structureel bewijs kan fungeren als vervanging voor en beter kan presteren dan directe broncode-prompting.

2. AST+PDG is de Optimale Variant

De AST+PDG combinatie bereikte de hoogste nauwkeurigheid van 83,2% (een verbetering van 29,7 pp ten opzichte van de ruwe bron).

AST biedt lokale syntactische ankers (operators, calls, declaraties).
PDG biedt cross-statement dependency bewijs (data flow, control guards).
AST+CFG volgde nauw met 80,4%, terwijl CFG+PDG 73,8% scoorde.
Source-plus-graph hybriden (bijv. pdg_plus_source, full) presteerden consequent slechter dan hun graph-only tegenhangers (bijv. pdg_plus_source op 65,7% vs. pdg op 69,0%), wat aangeeft dat ruwe bron afleidende ruis toevoegt in plaats van complementaire waarde.

3. Het Context Dilution Effect

De studie identificeert een context dilution effect: het toevoegen van ruwe broncode aan structurele grafen vergroot de promptgrootte (2,4× meer tekens, 2,2× meer tokens) maar verlaagt de nauwkeurigheid.

Mechanisme: Zelfs wanneer prompts het contextbudget niet overschrijden (geen afkorting), zorgt de extra brontekst ervoor dat het model aandacht besteedt aan irrelevante code (bijv. ongerelateerde helperfuncties of interface-routines), waardoor het relevante structurele bewijs voor de kwetsbaarheid wordt vertroebeld.
Efficiëntie: Graph-only prompts behalen de hoogste nauwkeurigheid met de laagste overhead (gemiddeld 5.973 tokens vs. 12.938 voor source-plus-graph).

4. Variatie per Type Kwetsbaarheid

Arithmetische Kwetsbaarheden (CWE-190): Graph-only prompts presteerden significant beter dan source-plus-graph prompts (77,8% vs. 65,8%), wat suggereert dat gefocust structureel bewijs cruciaal is voor source-to-sink redenering.
Memory-Lifecycle Kwetsbaarheden (CWE-415/416): Source-plus-graph prompts presteerden competitief of licht beter op CWE-415, wat suggereert dat ruwe context incidenteel kan helpen bij het redeneren over de volgorde van opschoning en pointer levensduur, hoewel graph-only robuust blijft.
Label Asymmetrie: Het model was betrouwbaarder bij SAFE gevallen (76,1% curated accuracy) dan bij VULNERABLE gevallen (66,0%), waarschijnlijk door de moeilijkheid van het redeneren over de afwezigheid van guards of subtiele datastromen.

5. Aanvullende ePDG Bevindingen

De ePDG-track (LLVM-niveau verrijkte metadata) behaalde een curated accuracy van 57,9%. Hoewel dit lager is dan de Joern-gebaseerde varianten, suggereert dit dat kwetsbaarheid-georiënteerde metadata potentieel heeft, hoewel beperkingen in leesbaarheid (abstracte LLVM IR) en de haalbaarheid van artefactgeneratie het nut beperken.

Betekenis en Claims

Het artikel claimt dat de keuze van representatie een primaire drijfveer is voor de kwaliteit van LLM-kwetsbaarheidsredenering, vaak zelfs meer dan de hoeveelheid inputcontext.

Herwaardering van Huidige Praktijken: Systemen die uitsluitend vertrouwen op ruwe broncode-prompting, kunnen er niet in slagen de decennia aan vooruitgang in statische analyse te benutten. De aanname dat "meer context beter is" wordt uitgedaagd; bij beveiligingsredenering is gefocust structureel bewijs superieur aan ongefilterde brontekst.
Statische Analyse als Prompt-laag: De auteurs stellen voor dat statische analyse moet dienen als een prompt-constructielaag. Door compact, beveiligingsrelevante structurele bewijslast te extraheren (zoals AST+PDG) en dit aan LLM's te presenteren, kunnen ontwikkelaars een hogere nauwkeurigheid bereiken met lagere inferentiekosten en een verminderd risico op context dilution.
Empirisch Fundament: Dit werk biedt het eerste empirische fundament voor het ontwerpen van representatie-bewuste LLM-kwetsbaarheidsanalyse-systemen, waarbij men verder gaat dan eenvoudige code-injectie naar gestructureerde, analyse-gestuurde prompting.

De studie concludeert dat hoewel ruwe broncode natuurlijk is voor LLM's, het niet optimaal is voor beveiligingsredenering. Nauwkeurig gekozen structurele representaties bieden een sterkere trade-off tussen nauwkeurigheid en overhead, wat motiveert om over te stappen naar het gebruik van statische analyse om gefocuste prompts te construeren voor beveiligingsgerichte LLM-redenering.