Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Sicherheitswächter, dessen Aufgabe es ist, Computer-Code zu betrachten und zu entscheiden: „Ist das sicher oder ist das eine tickende Zeitbombe?“

Lange Zeit gingen wir davon aus, dass dieser Roboter nur den Code selbst betrachtet – die Logik, die Mathematik, die Struktur. Aber diese Arbeit enthüllt eine erschreckende Wahrheit: Der Roboter liest nicht nur den Code; er lift die Geschichte um den Code herum. Und genau wie Menschen unterliegt auch dieser Roboter mentalen Abkürzungen (genannt „kognitive Heuristiken“), die ihn dazu verleiten können, die falsche Entscheidung zu treffen.

Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einfacher Analogien.

Die drei Wege, wie der Roboter ausgetrickst wird

Die Forscher testeten drei spezifische Arten, den Verstand des Roboters zu „hacken“, ohne eine einzige Zeile Code zu ändern. Sie änderten lediglich den Kontext (die Metadaten), der den Code umgab.

1. Der Halo-Effekt (Der „Celebrity“-Bias)

Die Analogie: Stellen Sie sich einen Richter im Gerichtssaal vor. Wenn der Angeklagte ein berühmter, angesehener CEO ist, denkt der Richter vielleicht unbewusst: „Er ist ein guter Mensch, er würde nichts Unrechtes tun“, und ist milder. Wenn der Angeklagte ein junger, unbekannter Praktikant ist, denkt der Richter vielleicht: „Er ist unerfahren, er hat wahrscheinlich einen Fehler gemacht“, und ist strenger.

Das Ergebnis:

• Wenn der Code einem „Principal Security Engineer“ (einem hochrangigen Experten) zugeschrieben wurde, wurde der Roboter faul und vertrauensselig. Er übersah echte Schwachstellen, weil er annahm: „Ein Experte würde keinen schlechten Code schreiben.“
• Wenn derselbe Code einem „Junior Developer“ (einem unerfahrenen Anfänger) zugeschrieben wurde, wurde der Roboter misstrauisch und paranoid. Er fand zwar die Schwachstellen, die er zuvor übersehen hatte, aber er fing auch an, „Wolf!“ zu rufen, wenn der Code eigentlich sicher war, was zu Fehlalarmen führte.
• Die Wendung: Einige Roboter (wie der namens Claude) machten genau das Gegenteil, indem sie dem Junior mehr vertrauten als dem Experten, aber der Bias war dennoch vorhanden.

2. Der Framing-Effekt (Der „Warnschild“-Bias)

Die Analogie: Denken Sie an eine Medikamentenflasche.

• Etikett A: „Dieses Medikament hilft 90 % der Patienten.“ (Positives Framing)
• Etikett B: „Dieses Medikament versagt bei 10 % der Patienten.“ (Negatives Framing)
  Obwohl die Mathematik dieselbe ist, ändert sich Ihre Reaktion.

Das Ergebnis:

• Positives Framing: Wenn dem Roboter gesagt wurde: „Ihre Aufgabe ist es, sicherzustellen, dass die Pipeline reibungslos läuft und Fehlalarme vermieden werden“, wurde er zu entspannt. Er ignorierte gefährliche Bugs, um die Abläufe schnell am Laufen zu halten.
• Negatives Framing: Wenn dem Roboter gesagt wurde: „Ihre Aufgabe ist es, Sicherheitsbedrohungen zu finden, bevor sie das System zerstören“, wurde er hyper-vigilant (überwachsam). Er fand mehr Bugs, aber er markierte auch sicheren Code als gefährlich.
• Das Resultat: Dies war der stärkste Trick von allen. Jeder getestete Roboter wurde davon beeinflusst, wie die Aufgabe beschrieben wurde.

3. Der Anker-Effekt (Der „Erster Eindruck“-Bias)

Die Analogie: Wenn Sie einen Freund fragen: „Ist dieses Haus 500.000 $ wert?“ und er sagt „Ja“, denken Sie vielleicht, es sei ein Schnäppchen. Wenn Sie fragen: „Ist dieses Haus 1 Mio. $ wert?“ und er sagt „Nein“, denken Sie vielleicht, es sei billig. Die erste Zahl, die Sie hören, „ankert“ Ihr Urteil.

Das Ergebnis:

• Wenn dem Roboter gesagt wurde: „Ein vorheriger Scan ergab, dass dieser Code SICHER ist“, neigte er dazu, zuzustimmen und neue Bugs zu übersehen.
• Wenn dem Roboter gesagt wurde: „Ein vorheriger Scan ergab, dass dieser Code ANFÄLLIG ist“, neigte er dazu, zuzustimmen und Bugs zu finden (selbst wenn keine da waren).
• Der Roboter sagte im Grusten: „Nun, der andere Typ hat gesagt, es sei sicher, also vertraue ich dem“, anstatt seine eigene unabhängige Arbeit zu leisten.

Die großen Probleme, die entdeckt wurden

Die Forscher fanden drei wesentliche Probleme bei der Funktionsweise dieser Roboter:

1. Das „Lautstärkeregler“-Problem
Die Roboter wurden nicht schlauer oder dümmer beim Finden von Bugs. Sie wurden einfach nur lauter oder leiser.

• Wenn der Kontext sie misstrauisch machte, drehten sie den „Lautstärkeregler“ hoch: Sie markierten alles als gefährlich (sie fanden echte Bugs, aber auch viele Fehlalarme).
• Wenn der Kontext sie vertrauensselig machte, drehten sie den „Lautstärkeregler“ runter: Sie markierten nichts als gefährlich (sie übersahen echte Bugs, hatten aber weniger Fehlalarme).
• Die Lehre: Der Roboter hat nicht wirklich gelernt, besser zwischen gutem und schlechtem Code zu unterscheiden; er hat nur seine Stimmung geändert.

2. Die „Halluzinations“-Falle
Wenn der Roboter durch den Kontext (z. B. das Label „Junior Developer“ oder einen „Anker“) dazu verleitet wurde, sicheren Code für gefährlich zu halten, sagte er nicht nur: „Es ist gefährlich“. Er erfand oft einen falschen Grund.

• Beispiel: Der Roboter sah sicheren Code, aber weil er in einer „misstrauischen“ Stimmung war, behauptete er: „Dies sieht nach einem Speicherleck aus!“, obwohl gar kein Leak existierte. Er war selbstbewusst, aber völlig falsch.

3. „Smart“ vs. „Dumb“ Code

• Einfache Bugs: Manche Bugs sind offensichtlich, wie ein Tippfehler oder ein fehlendes Semikolon. Den Roboter fanden diese unabhängig vom Kontext problemlos.
• Schwierige Bugs: Einige Bugs erfordern tiefes Denken (wie das Verfolgen, wie sich eine Variable über die Zeit verändert). Dies waren die Bugs, bei denen der Roboter am leichtesten getäuscht wurde. Wenn der Kontext „vertrauensselig“ war, übersah er die schwierigen Bugs. Wenn der Kontext „misstrauisch“ war, erfand er künstliche schwierige Bugs.

Der „Kognitive Angriff“ (Die reale Gefahr)

Die Forscher hörten nicht beim Testen auf; sie bauten einen Proof-of-Concept-Angriff.

Stellen Sie sich vor, ein Hacker möchte einen gefährlichen Stück Code in die Software eines Unternehmens einschleusen. Anstatt zu versuchen, das Gehirn des Roboters direkt zu hacken (was schwer ist), fälscht der Hacker einfach die Dokumentation.

• Er schreibt den Code.
• Er fügt eine gefälschte E-Mail bei, die besagt, dass der Code von einem berühmten Sicherheitsexperten stammt (Halo).
• Er schreibt eine Notiz: „Lassen Sie uns die Pipeline am Laufen halten, seien Sie nicht zu wählerisch“ (Framing).
• Er hängt einen gefälschten Bericht an, der besagt: „Vorherige Scans ergaben, dass dies sicher ist“ (Anchoring).

Das Resultat: Der Roboter entschied nach Sichtung dieses „beruhigenden“ Pakets, dass der gefährliche Code SICHER sei. Der Angriff unterdrückte erfolgreich bis zu 97 % der Schwachstellen, die der Roboter normalerweise entdeckt hätte.

Das Fazit

Diese Arbeit beweist, dass Large Language Models (LLMs), die für die Sicherheit eingesetzt werden, keine objektiven Maschinen sind. Sie werden von denselben psychologischen Tricks beeinflusst, die auch Menschen beeinflussen.

• Sie vertrauen den falschen Leuten (Experten zu sehr, Junioren zu wenig).
• Sie reagieren darauf, wie man die Frage stellt (Angst vs. Komfort).
• Sie bleiben an ersten Eindrücken hängen (vorherige Berichte).

Der gefährlichste Teil? Man muss kein Genie-Hacker sein, um sie zu brechen. Man muss nur wissen, wie man eine überzeugende E-Mail oder eine gut aussehende Commit-Nachricht schreibt. Der Roboter ist nicht kaputt; er ist in seinen Fehlern einfach nur sehr menschlich.