Vulnerability Detection with Interprocedural Context in Multiple Languages: Assessing Effectiveness and Cost of Modern LLMs
Diese Studie untersucht empirisch die Wirksamkeit, Kosten und Erklärungsqualität moderner LLMs bei der Erkennung von interprozeduralen Sicherheitslücken in C, C++ und Python und zeigt, dass Gemini 3 Flash und Claude Haiku 4.5 besonders kosteneffiziente und präzise Lösungen bieten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Rätsel: Finden KI-Scanner Sicherheitslöcher wirklich?
Stell dir vor, du bist ein Hausmeister, der ein riesiges, altes Gebäude (ein Computerprogramm) auf Sicherheitslücken überprüft. Früher haben Forscher gedacht: „Wenn ich mir nur den Raum ansehe, in dem das Problem aufgetreten ist, finde ich den Fehler."
Diese neue Studie sagt jedoch: „Moment mal! Manchmal ist das Problem gar nicht im Raum selbst, sondern entsteht erst, wenn jemand von außerhalb hereinkommt oder wenn der Raum mit dem Flur verbunden ist."
Das nennt man interprozedurale Abhängigkeit. Einfach gesagt: Ein Fehler entsteht oft erst, wenn zwei oder mehr Teile eines Programms miteinander reden.
Was haben die Forscher gemacht?
Die Forscher haben vier moderne KI-Modelle (die „digitalen Hausmeister") getestet:
- Claude Haiku 4.5
- Gemini 3 Flash
- GPT-4.1 Mini
- GPT-5 Mini
Sie haben diese KIs mit 509 echten Sicherheitslücken aus Programmen in den Sprachen C, C++ und Python gefüttert. Aber sie haben es auf drei verschiedene Arten gemacht:
- Nur der Raum (Code Only): Die KI sieht nur den verdächtigen Codeabschnitt.
- Raum + Nachbarn (Code + Callers): Die KI sieht den Code und wer ihn aufruft (die Nachbarn, die hereinkommen).
- Raum + Gäste (Code + Callees): Die KI sieht den Code und wen er selbst aufruft (die Gäste, die er losgeschickt hat).
Die Hoffnung war: „Je mehr Informationen die KI hat, desto besser findet sie den Fehler."
Die überraschenden Ergebnisse
Hier wird es spannend, denn die Ergebnisse widersprechen der Intuition:
1. Mehr Infos sind nicht immer besser (Das „Lärm"-Problem)
Stell dir vor, du versuchst, ein leises Geräusch in einem Raum zu hören. Wenn du nur den Raum hörst, ist es klar. Wenn du aber plötzlich auch noch den Lärm von der Straße, dem Nachbarn und dem Fernseher im Keller dazu hörst, wirst du vielleicht verwirrt und hörst das Geräusch gar nicht mehr.
- Das passiert bei den GPT-Modellen: Wenn man ihnen zu viel Kontext (Nachbarn oder Gäste) gab, wurden sie schlechter. Sie haben sich von den zusätzlichen Informationen ablenken lassen. Bei manchen Modellen sank die Trefferquote um bis zu 25 %.
- Die Gewinner (Claude & Gemini): Diese Modelle waren wie erfahrene Detektive. Sie konnten den Kontext ignorieren, wenn er nicht nötig war, oder ihn clever nutzen. Ihre Leistung blieb stabil, egal ob sie nur den Raum sahen oder das ganze Haus.
2. Der Preis für mehr Informationen
Jedes Mal, wenn man der KI mehr Code gibt (die Nachbarn oder Gäste), muss sie mehr lesen. Das kostet Geld (Token-Kosten).
- Die Erkenntnis: Wenn man den Kontext hinzufügte, verdoppelten sich die Kosten fast. Aber die Leistung wurde nicht besser. Im Gegenteil: Oft wurde sie schlechter.
- Der Preis-Leistungs-Sieger: Gemini 3 Flash war der beste Kompromiss. Er fand die Fehler fast perfekt (in C-Programmen) und kostete dabei nur etwa 50 Cent pro Test. Claude Haiku war etwas teurer, aber sehr genau.
3. Erklärungen sind wichtig
Eine KI, die sagt „Hier ist ein Fehler", ist gut. Eine KI, die sagt „Hier ist ein Fehler, weil Variable X NULL wird, wenn Funktion Y sie nicht prüft, und das passiert, weil..." ist viel besser.
- Claude Haiku war hier der Meister. Er erklärte die Fehler in 93,6 % der Fälle perfekt und verständlich.
- Die GPT-Modelle machten öfter fundamentale Fehler in ihren Erklärungen. Wenn die KI den Fehler nicht richtig verstand, war ihre Erklärung auch oft Unsinn.
Was bedeutet das für die Praxis?
Die Studie gibt uns drei wichtige Tipps für die Zukunft:
- Nicht immer „mehr ist mehr": Wenn du eine KI nutzt, um Sicherheitslücken zu finden, gib ihr nicht blindlings den ganzen Code drumherum. Bei manchen Modellen (wie den GPT-Varianten) macht das sie sogar dümmer.
- Wähle dein Werkzeug klug:
- Willst du gute Erklärungen und bist bereit, etwas mehr zu zahlen? Nimm Claude Haiku.
- Willst du das beste Preis-Leistungs-Verhältnis und hohe Genauigkeit? Nimm Gemini 3 Flash.
- Willst du billig arbeiten, aber akzeptierst, dass du mehr Fehler machst? Nimm GPT-4.1 Mini (aber nur ohne zu viel Kontext!).
- Sprache macht den Unterschied: In C-Programmen (sehr alt, sehr komplex) war der Effekt des „zu viel Kontexts" am schlimmsten. In Python war es weniger dramatisch, aber immer noch da.
Fazit in einem Satz
Die Studie zeigt, dass wir KI-Scanner nicht einfach mit „mehr Daten" füttern sollten, um sie besser zu machen. Stattdessen müssen wir das richtige Modell für die Aufgabe wählen und verstehen, dass manchmal weniger Informationen (weniger Kontext) zu besseren Ergebnissen und niedrigeren Kosten führen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.