Evaluating LLMs for Real-World Web Vulnerability Detection
Dieses Paper benchmarkt sechs Frontier- und Open-Weight-Large-Language-Models hinsichtlich ihrer Fähigkeit, reale Web-Schwachstellen in WordPress-Plugins zu erkennen, wobei sich zeigt, dass zwar alle Modelle valide Probleme identifizieren können, die Erkennungsraten jedoch je nach Modell und Prompt-Design signifikant variieren und kein Modell eine konsistente Berichterstattung oder perfekte Genauigkeit über Iterationen hinweg erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek digitaler „Bedienungsanleitungen“ (Code) zum Bau von Websites. Einige dieser Anleitungen enthalten versteckte Fallen – wie eine lose Diele, die in einen Keller voller Diebe (Hacker) führt. Diese Fallen werden als Schwachstellen bezeichnet.
Lange Zeit erforderte das Finden dieser Fallen ein Team von Sicherheitsexperten, die jede einzelne Seite jeder Anleitung manuell lesen mussten. Doch vor kurzem ist ein neuer Typ von „Super-Leser“ eingetroffen: Large Language Models (LLMs). Dies sind KI-Systemien, die Code fast so verstehen und lesen können wie ein Mensch.
Dieses Paper ist im Grunde ein Zeugnis, das testet, wie gut sechs verschiedene „Super-Leser“ diese versteckten Fallen in WordPress-Website-Plugins (den Add-ons, die Websites zusätzliche Funktionen verleihen) finden können.
Hier ist die Aufschlüsselung ihres Experiments und ihrer Ergebnisse, unter Verwendung einfacher Analogien:
1. Das Setup: Die „Fallenjagd“
Die Forscher wählten vier beliebte WordPress-Plugins aus, die für spezifische, reale Fallen bekannt waren (wie SQL-Injection, was wie ein Trick eines Hackers ist, um eine Datenbank dazu zu bringen, ihre Geheimnisse preiszugeben, oder Cross-Site Scripting, was wie das Einschleusen einer gefälschten Notiz auf ein öffentliches Schwarzes Brett ist).
Sie baten sechs verschiedene KI-Modelle, als Sicherheitsprüfer zu fungieren. Sie stellten die Frage nicht nur einmal; sie führten den Test dreimal durch, um zu sehen, ob die KI konsistent ist – so als würde man einem Schüler dreimal hintereinander denselben Test geben.
Sie probierten auch verschiedene Arten aus, die Frage zu stellen (genannt „Prompts“):
- Der „faule“ Prompt: Es hieß nur: „Finde die Bugs.“
- Der „allgemeine“ Prompt: Es hieß: „Du bist ein Sicherheitsexperte. Finde alle wichtigen Arten von Bugs.“
- Der „spezifische“ Prompt: Es hieß: „Du bist ein Sicherheitsexperte. Suche gezielt nach dieser exakten Art von Bug.“
2. Die Ergebnisse: Wer hat den Test bestanden?
Die Ergebnisse waren eine Mischung aus beeindruckendem Erfolg und frustrierender Inkonsistenz.
- Der Musterschüler: Ein Modell, Claude Opus 4.6, war am besten in seinem Job. Es fand etwa 63 % der bekannten Fallen. Es war der zuverlässigste „Detektiv“.
- Die Überraschung aus dem Open-Source-Bereich: Ein Modell namens MiniMax M2.5, das man auf dem eigenen Computer ausführen kann (im Gegensatz zu den anderen, für die man ein Abonnement benötigt), schnitt genauso gut ab wie die besten kostenpflichtigen Modelle und fand etwa 48 % der Fallen. Das ist so, als würde ein hausgemachtes Essen genauso gut schmecken wie ein Gericht aus einem Fünf-Sterne-Restaurant.
- Die Schwierigkeiten habenden: Die Qwen-Modelle (eine weitere Open-Source-Option) fanden nur etwa 35 % der Fallen. Sie versagten mehr als die Hälfte der Zeit.
Das wichtigste Ergebnis: Selbst die beste KI übersah fast 40 % der Fallen. Keine einzige KI fand jede Falle in jedem Plugin.
3. Die „magische Frage“ (Prompt-Design)
Die Forscher entdeckten, dass es wichtiger ist, wie man die KI fragt, als welche KI man verwendet.
- Spezifisch ist besser: Wenn man der KI sagte: „Suche speziell nach SQL-Injection“, fand sie mehr Bugs als wenn man sagte: „Suche nach allem, was falsch ist.“ Es ist, als würde man einem Metalldetektor-Nutzer sagen: „Suche nach Goldmünzen“, anstatt: „Suche nach irgendetwas Metallischem.“
- Komplexität hilft nicht: Der KI eine lange, komplizierte Schritt-für-Schritt-Anleitung zu geben, machte sie nicht klüger. Einfache, direkte Anweisungen funktionierten genauso gut.
4. Das „Münzwurf-Problem“ (Konsistenz)
Dies war die überraschendste Erkenntnis. Die KI war unzuverlässig.
Wenn man derselben KI dreimal dieselbe Frage zu demselben Code stellt, liefert sie jedes Mal eine andere Antwort.
- Manchmal sagte sie: „Ich habe eine Falle gefunden!“
- Das nächste Mal sagte sie: „Alles sieht sicher aus.“
- Ein drittes Mal sagte sie vielleicht: „Ich habe eine Falle gefunden, aber es ist eine andere.“
Nur ein Modell (Gemini) war zu 95 % konsistent, war aber auch dasjenige, das die wenigsten Fallen fand. Die besten Modelle waren oft inkonsistent und verhielten sich wie ein Münzwurf. Das bedeutet, dass man nicht einen einzelnen Scan vertrauen kann; man muss den Scan mehrmals durchführen, um sicher zu sein.
5. Die „Geisterfalle“ (Die, die alle übersehen haben)
Es gab ein spezielles Plugin mit einer tückischen Falle namens „Stored Cross-Site Scripting“. Keine der sechs KIs fand sie, selbst nach 90 Versuchen.
Warum? Die Falle war hinter einer sehr spezifischen Einstellung versteckt, die standardmäßig nicht aktiviert war. Die KIs nahmen an: „Da die Einstellung nicht aktiv ist, spielt dieser Code keine Rolle“, und übersprangen sie. Es war ein Fall, in dem die KI eine logische Annahme traf, die sich als falsch herausstellte.
6. Wie vergleicht sich das mit alten Werkzeugen?
Die Forscher ließen den Code auch durch einen traditionellen Sicherheits-Scanner (Semgrep) laufen, der wie ein Metalldetektor ist, der nur auf bestimmte Formen anspringt.
- Das Ergebnis: Der traditionelle Scanner fand null der bekannten Fallen.
- Die Lehre: Die KIs waren viel besser darin, diese spezifischen realen Fallen zu finden als die alten Werkzeuge, aber auch sie übersahen noch einige.
Das endgültige Urteil
Das Paper kommt zu dem Schluss, dass KI ein mächtiger Assistent ist, aber kein Ersatz für menschliche Sicherheitsexperten.
- Es funktioniert: KI kann echte, gefährliche Bugs in Website-Code finden.
- Es ist nicht perfekt: Sie übersieht etwa die Hälfte der Bugs und ändert häufig ihre Meinung.
- So nutzt man es: Man erzielt die besten Ergebnisse, indem man ein erstklassiges Modell (wie Claude) verwendet, eine spezifische Frage stellt („Suche nach SQL-Bugs“) und den Test mehrmals durchführt.
- Die Warnung: Man kann dem Bericht der KI nicht einfach vertrauen. Menschen müssen die Ergebnisse dennoch überprüfen, da die KI manchmal „halluziniert“ (Bugs erfindet, die nicht existieren) oder komplexe Fallen übersieht.
Kurz gesagt: Die KI ist eine großartige neue Taschenlampe, um Löcher in der Rüstung Ihrer Website zu finden, aber Sie brauchen immer noch einen Menschen, der die Taschenlampe hält, die Schatten prüft und sicherstellt, dass die Wand tatsächlich stabil ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.