💻 computer science

Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection

Dit artikel presenteert het eerste systematische onderzoek dat aantoont dat op LLM gebaseerde detectie van kwetsbaarheden in code significant gevoelig is voor menselijke cognitieve heuristieken (framing-, verankering- en halo-effecten), die de oordelen van het model kunnen veranderen en geëxploiteerd kunnen worden om tot 97% van de gedetecteerde kwetsbaarheden te onderdrukken.

Oorspronkelijke auteurs: Asif Shahriar, Hongyu Cai, Hadjer Benkraouda, Gang Wang, Z. Berkay Celik

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Asif Shahriar, Hongyu Cai, Hadjer Benkraouda, Gang Wang, Z. Berkay Celik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot-beveiliger hebt wiens taak het is om naar computercode te kijken en te beslissen: "Is dit veilig, of is dit een tikkende tijdbom?"

Lama tijd hebben we aangenomen dat deze robot alleen naar de code zelf keek — de logica, de wiskunde, de structuur. Maar dit paper onthult een verbijsterende waarheid: De robot leest niet alleen de code; hij leest het verhaal rondom de code. En net als mensen heeft deze robot mentale afkortingen (zogenaamde "cognitieve heuristieken") die hem kunnen misleiden tot een verkeerde beslissing.

Hier is de uitsplitsing van hun bevindingen, gebruikmakend van eenvoudige analogieën.

De drie manieren waarop de robot wordt misleid

De onderzoekers testten drie specifieke manieren om de geest van de robot te "hacken" zonder een enkele regel code te veranderen. Ze veranderden simpelweg de context (de metadata) rondom de code.

1. Het Halo-effect (De "Celebrity"-bias)

De analogie: Stel je een rechter voor in een rechtszaal. Als de verdachte een beroemde, gerespecteerde CEO is, kan de rechter onbewust denken: "Hij is een goed mens, hij zou niets verkeerds doen," en daard matter streng zijn. Als de verdachte een jonge, onbekende stagiair is, kan de rechter denken: "Hij is onervaren, hij heeft waarschijnlijk een fout gemaakt," en strenger zijn.

De bevinding:

Wanneer de code werd toegeschreven aan een "Principal Security Engineer" (een expert met een hoge status), werd de robot lui en vertrouwend. Hij miste echte kwetsbaarheden omdat hij ervan uitging: "Een expert zou geen slechte code schrijven."
Wanneer dezelfde code werd toegeschreven aan een "Junior Developer" (een beginner met een lage status), werd de robot achterdochtig en paranoïde. Hij vond de kwetsbaarheden die hij eerder had gemist, maar begon ook "Wolf!" te roepen bij veilige code, wat leidde tot valse alarmen.
De twist: Sommige robots (zoals de robot genaamd Claude) deden precies het tegenovergestelde door de junior meer te vertrouwen dan de expert, maar de bias was er nog steeds.

2. Het Framing-effect (De "Waarschuwingslabel"-bias)

De analogie: Denk aan een medicijnflesje.

Label A: "Dit medicijn geneest 90% van de patiënten." (Positieve framing)
Label B: "Dit medicijn faalt bij 10% van de patiënten." (Negatieve framing)
Hoewel de wiskunde hetzelfde is, verandert je reactie.

De bevinding:

Positieve framing: Wanneer de robot te horen kreeg: "Je taak is om ervoor te zorgen dat de pipeline soepel verloopt en valse alarmen te vermijden," werd hij te ontspannen. Hij negeerde gevaarlijke bugs om zaken snel te laten verlopen.
Negatieve framing: Wanneer de robot te horen kreeg: "Je taak is om beveiligingsdreigingen te vinden voordat ze het systeem vernietigen," werd hij hyper-waakzaam. Hij vond meer bugs, maar begon ook veilige code als gevaarlijk te markeren.
Het resultaat: Dit was de sterkste truc van allemaal. Elke geteste robot werd beïnvloed door hoe de taak werd beschreven.

3. Het Anchoring-effect (De "Eerste Indruk"-bias)

De analogie: Als je een vriend vraagt: "Is dit huis 500k waard?" en hij zegt "Ja", dan denk je misschien dat het een koopje is. Als je vraagt: "Is dit huis 1 miljoen waard?" en hij zegt "Nee", dan denk je misschien dat het goedkoop is. Het eerste getal dat je hoort, fungeert als een "anker" voor je oordeel.

De bevinding:

Als de robot te horen kreeg: "Een eerdere scan zei dat deze code VEILIG is," had hij de neiging om daarmee in te stemmen en nieuwe bugs te missen.
Als de robot te horen kreeg: "Een eerdere scan zei dat deze code KWETSBAAR is," had hij de neiging om hiermee in te stemmen en bugs te vinden (zelfs als die er niet waren).
De robot zei in feite: "Nou, de ander zei dat het veilig is, dus ik vertrouw dat," in plaats van zijn eigen onafhankelijke werk te doen.

De grote problemen die ontdekt zijn

De onderzoekers ontdekten drie belangrijke problemen met de manier waarop deze robots werken:

1. Het "Volume-knop"-probleem
De robots werden niet slimmer of dommer in het vinden van bugs. Ze werden alleen luider of stiller.

Wanneer de context de robot achterdochtig maakte, draaide hij de "Volume-knop" omhoog: Hij markeerde alles als gevaarlijk (vond echte bugs, maar ook veel valse alarmen).
Wanneer de context de robot vertrouwend maakte, draaide hij de "Volume-knop" omlaag: Hij markeerde niets als gevaarlijk (miste echte bugs, maar had ook minder valse alarmen).
De les: De robot heeft niet echt geleerd om beter onderscheid te maken tussen goede en slechte code; hij veranderde alleen zijn stemming.

2. De "Hallucinatie"-valstrik
Wanneer de robot werd misleid om te denken dat een veilige code gevaarlijk was (door een "Junior Developer"-label of een "Kwetsbaar"-anker), zei hij niet alleen "Het is gevaarlijk." Hij verzon vaak een nepreden.

Voorbeeld: De robot zag veilige code, maar omdat hij in een "achterdochtige" stemming was, beweerde hij: "Dit lijkt op een geheugenlek!" terwijl er geen lek was. Hij was zelfverzekerd, maar volkomen onjuist.

3. "Slimme" versus "Domme" code

Makkelijke bugs: Sommige bugs zijn overduidelijk, zoals een typefout of een ontbrekende puntkomma. De robot vond deze gemakkelijk, ongeacht de context.
Moeilijke bugs: Sommige bugs vereisen diep nadenken (zoals het volgen van hoe een variabele in de loop van de tijd verandert). Dit waren de bugs waar de robot het meest op werd misleid. Als de context "vertrouwend" was, miste hij de moeilijke bugs. Als de context "achterdochtig" was, verzon hij nep-moeilijke bugs.

De "Cognitieve Aanval" (Het echte gevaar)

De onderzoekers stopten niet bij testen; ze bouwden een proof-of-concept aanval.

Stel je voor dat een hacker gevaarlijke code in de software van een bedrijf wil smokkelen. In plaats van te proberen de hersenen van de robot direct te hacken (wat moeilijk is), vervalst de hacker gewoon de papieren.

Ze schrijven de code.
Ze voegen een nep-e-mail toe waarin staat dat de code afkomstig is van een beroemde beveiligingsexpert (Halo).
Ze schrijven een notitie: "Laten we de pipeline draaiende houden, wees niet te kritisch" (Framing).
Ze voegen een nepverslag toe: "Eerdere scans zeiden dat dit veilig is" (Anchoring).

Het resultaat: De robot, die dit "geruststellende" pakketje zag, besloot dat de gevaarlijke code VEILIG was. De aanval slaagde erin om tot wel 97% van de kwetsbaarheden te onderdrukken die de robot normaal gesproken zou hebben opgemerkt.

De Conclusie

Dit paper bewijst dat Large Language Models (LLMs) die voor beveiliging worden gebruikt, geen objectieve machines zijn. Ze worden beïnvloed door dezelfde psychologische trucs die ook mensen beïnvloeden.

Ze vertrouwen de verkeerde mensen (experts te veel, junioren te weinig).
Ze reageren op hoe je de vraag stelt (angst versus comfort).
Ze blijven hangen in eerste indrukken (vorige rapporten).

Het gevaarlijkste deel? Je hoeft geen genie-hacker te zijn om ze te breken. Je moet alleen weten hoe je een overtuigende e-mail of een mooi uitziend commit-bericht schrijft. De robot is niet kapot; hij is gewoon menselijk in zijn gebreken.

Technische Samenvatting: Woorden spreken luider dan code

Probleemstelling
Large Language Models (LLMs) worden steeds vaker ingezet als geautomatiseerde beveiligingsbewakers in real-world workflows, zoals CI/CD-pipelines en pull request-reviews. Hoewel eerder onderzoek heeft vastgesteld dat LLM's cognitieve heuristieken vertonen bij algemene redeneringen en subjectieve taken, heeft geen enkele systematische studie onderzocht of deze heuristieken LLM's bevoordelen bij de objectieve taak van het detecteren van kwetsbaarheden in code. In de praktijk analyseren scanners voor kwetsbaarheden code niet in isolatie; ze verwerken niet-code contextuele metadata, waaronder auteuridentiteit, commitberichten, taakinstructies en eerdere analysegegevens. Dit artikel stelt dat dergelijke organische, niet-adversariële context onbedoeld cognitieve heuristieken (halo-, framing- en anchoring-effecten) kan triggeren, wat leidt tot inconsistente beveiligingsoordelen over identieke code. Het kernproblek is dat deze biases kunnen worden geëxploiteerd om de detectie van kwetsbaarheden te onderdrukken of valse positieven op te blazen zonder de code zelf te wijzigen.

Methodologie
De auteurs presenteren een gecontroleerd framework om de impact van niet-code context op LLM-oordelen te isoleren.

Experimenteel Ontwerp: De studie houdt het codefragment ( $S$ ) vast terwijl alleen de omliggende context ( $C$ ) wordt gevarieerd om specifieke cognitieve heuristieken te triggeren. De detectorfunctie wordt gedefinieerd als $f(C, S) \rightarrow \{0, 1\}$ , waarbij het oordeel afhangt van de interactie tussen code en context.
Onderzochte Heuristieken:
1. Halo-effect: Gemanipuleerd via auteurstoeschrijving. Varianten zijn onder meer beveiligingsrelevante prestige (bijv. "Principal Security Engineer van Project Zero" versus "Junior Developer") en niet-beveiligingsgerelateerde prestige (bijv. "Langdurige contributor" versus "Eerste keer contributor").
2. Framing-effect: Gemanipuleerd via taakinstructies en gevolgverklaringen. Varianten zijn winst-verlies framing (het benadrukken van de voordelen van veilige code versus de kosten van inbreuken) en doel-framing (het verifiëren van compliance versus het identificeren van overtredingen).
3. Anchoring-effect (Verankering): Gemanipuleerd via eerdere analysegegevens. Varianten zijn harde ankers (expliciete "VEILIGE" of "KWETSBARE" oordelen) en zachte ankers (impliciete uitkomsten zoals "geslaagd" of "niet geslaagd" voor pre-merge controles).
Evaluatieopstelling: Het framework werd toegepast op acht state-of-the-art LLM's (vijf open-source, drie commercieel) over drie programmeertalen (C/C++, Java, Python). De gebruikte datasets waren PRIMEVUL (C/C++ met zowel benign als kwetsbare samples) en CLEANVUL (Python en Java, uitsluitend kwetsbaar).
Metrieken: De studie mat Recall ( $R$ ), False Positive Rate (FPR), Precisie en F1-score. Cruciaal is dat zij de Recall Gap ( $\Delta R$ ) en FPR Gap ( $\Delta FPR$ ) introduceerden om de omvang van de bias tussen polariteiten te kwantificeren (bijv. hoge vs. lage halo). Een Utility Index (UI) werd berekend om te bepalen of een heuristiek de detectie constructief verbeterde (door de recall te verhogen meer dan de FPR).

Belangrijkste Bijdragen

Eerste Systematische Onderzoek: Dit werk is de eerste die cognitieve heuristieken in door LLM aangestuurde detectie van codekwetsbaarheden systematisch onderzoekt, waarbij drie verschillende heuristieken worden geëvalueerd over acht modellen en drie talen.
Gedetailleerde Analyse: De auteurs bieden een analyse op codeniveau die laat zien dat heuristieken het analytische vermogen van een model niet verbeteren. In plaats daarvan fungeren ze als een "volumeknop", die de bereidheid van het model om code als kwetsbaar te markeren verschuift zonder de capaciteit te verbeteren om echte kwetsbaarheden te onderscheiden van benign code.
Adversariële Demonstratie: Het artikel demonstreert een proof-of-concept black-box cognitieve aanval. Door ogenschijnlijk onschuldige metadata te vervalsen (auteuridentiteit, PR-beschrijvingen en commitberichten), kan een aanvaller tot 97% van de eerder gedetecteerde kwetsbaarheden onderdrukken in een gesimuleerde CI/CD-workflow.

Resultaten

Universele Vatbaarheid: Alle acht geëvalueerde modellen vertoonden vatbaarheid voor cognitieve heuristieken. De gemiddelde vatbaarheid over de modellen was het hoogst voor Framing (33,2%), gevolgd door Anchoring (23,5%) en Halo (18,4%).
Directionaliteit:
- Framing: Elk model reageerde in de verwachte richting (negatieve framing verhoogde de recall, positieve framing verlaagde deze).
- Halo & Anchoring: Reacties varieerden. Open-source modellen vertoonden over het algemeen de verwachte reacties (lage prestige/veilige anker verminderde detectie), terwijl commerciële modellen zoals Claude en GPT inverse of gemengde reacties vertoonden (bijv. GPT werd juist verdachter onder attributie van een auteur met hoge prestige).
Geen Constructieve Bruikbaarheid: Cognitieve heuristieken verbeterden de detectiecapaciteit niet. De Utility Index was negatief of bijna nul voor de meeste modellen. Wanneer de recall toenam, nam de FPR met een bijna identieke omvang toe, waardoor de precisie constant bleef (0,48–0,55). Modellen veranderden vaak hun oordeel van "Veilig" naar "Kwetsbaar" (of vice versa) op basis van context, maar faalden in het identificeren van de werkelijke kwetsbaarheid, waarbij ze vaak plausibele maar incorrecte problemen hallucineerden.
Redeneerafhankelijke Kwetsbaarheden: Kwetsbaarheden die semantisch redeneren vereisen (bijv. het volgen van de programmastaat, exception handling) waren significant gevoeliger voor heuristieken (1,5x–2x hogere gap) dan die identificeerbaar zijn via patroonherkenning.
Succes van de Aanval: De cognitieve aanval slaagde erin de detectie te onderdrukken in een realistisch dreigingsmodel. Standaard prompt-gebaseerde defensies (bijv. het instrueren van het model om metadata te negeren) faalden om de aanval te mitigeren.

Betekenis
Het artikel concludeert dat cognitieve vatbaarheid een consistente en exploiteerbare eigenschap is van LLM-gebaseerde kwetsbaarheidsdetectie. De bevindingen dagen de betrouwbaarheid uit van geautomatiseerde beveiligingsbewakers die vertrouwen op LLM's, door aan te tonen dat niet-code context systematisch beveiligingsoordelen kan beïnvloeden. De studie benadrukt dat huidige modellen niet simpelweg "fouten maken", maar ook vatbaar zijn voor psychologische biases die kunnen worden ingezet om beveiligingscontroles te omzeilen. Dit suggere-ert dat de inzet van LLM's in beveiligingskritische rollen een rigoureuze evaluatie vereist van hun robuustheid tegen contextuele manipulatie, en niet enkel van codekwaliteit.

De drie manieren waarop de robot wordt misleid

1. Het Halo-effect (De "Celebrity"-bias)

2. Het Framing-effect (De "Waarschuwingslabel"-bias)

3. Het Anchoring-effect (De "Eerste Indruk"-bias)

De grote problemen die ontdekt zijn

De "Cognitieve Aanval" (Het echte gevaar)

De Conclusie

Meer zoals dit