SEC-bench Pro: Can Language Models Solve Long-Horizon Software Security Tasks?
Dieser Beitrag stellt SEC-bench Pro vor, einen strengen Benchmark mit 183 realen Schwachstellen in V8 und SpiderMonkey, der zeigt, dass aktuelle auf Sprachmodellen basierende Codierungsagenten bei Software-Sicherheitsaufgaben mit langem Zeithorizont Schwierigkeiten haben und selbst mit Frontier-Modellen eine Erfolgsquote von höchstens 38,8 % erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen ein Team von superscharfsinnigen, KI-gestützten Detektiven ein, um versteckte Fallen in einer riesigen, komplexen Video-Game-Engine zu finden. Diese Engines (JavaScript-Engines genannt) führen den Code aus, der Websites und Apps funktionsfähig macht. Wenn ein Detektiv eine Falle findet, muss er genau zeigen, wie man sie auslöst (ein „Proof of Concept" oder PoC), damit die Spieleentwickler sie beheben können.
Diese Arbeit stellt einen neuen, sehr strengen Test namens SEC-bench Pro vor, um zu prüfen, wie gut diese KI-Detektiven in der realen Welt dabei sind, diese Fallen zu finden.
Das Problem mit alten Tests
Frühere Tests waren so, als würde man dem Detektiv eine Schatzkarte geben, auf der das „X" bereits dort markiert war, wo der Schatz lag. Sie hätten vielleicht gesagt: „Gehen Sie zur Zeile 500 und drücken Sie diesen Knopf, um das Spiel zu zerstören."
- Das Problem: Echte Fehlersuche funktioniert nicht so. Echte Detektive müssen den gesamten Code untersuchen, herausfinden, wo die Falle möglicherweise liegt, und dann versuchen, sie auszulösen, ohne genau zu wissen, wo sie ist. Alte Tests maßen diese echte Fähigkeit nicht; sie maßen nur, ob die KI einer Karte folgen konnte.
Der neue Test: SEC-bench Pro
Die Autoren entwickelten einen neuen, härteren Test unter Verwendung zweier berühmter Game-Engines: V8 (von Google Chrome verwendet) und SpiderMonkey (von Firefox verwendet).
- Das Setup: Sie griffen auf 183 echte, bestätigte Fallen zurück, die zuvor von Menschen gefunden worden waren.
- Die Umgebung: Sie rekonstruierten die exakte „Zeitmaschinen"-Version der Software, in der die Falle existierte, sowie die Version, in der sie behoben war.
- Die Regeln: Die KI-Agenten erhielten den Rohcode und eine vage Beschreibung eines Problems. Sie mussten:
- Den spezifischen Codepfad zur Falle herausfinden.
- Ein Skript (das PoC) schreiben, um den Absturz auszulösen.
- Nachweisen, dass das Skript nur die alte Version zum Absturz bringt und in der neuen Version behoben ist.
Der „Drei-Bilder"-Richter
Dies ist der wichtigste Teil ihres neuen Tests. In der Vergangenheit erhielt eine KI einen Punkt, wenn sie irgendeinen Absturz verursachte. Aber eine KI könnte versehentlich etwas anderes im Spiel kaputt machen, das nicht die spezifische Falle war, nach der sie suchte.
SEC-bench Pro verwendet einen Drei-Bilder-Richter (ein hochentwickelter KI-Schiedsrichter):
- Bild 1 (Die Falle): Bringt das Skript die alte Version zum Absturz?
- Bild 2 (Die Reparatur): Hört das Skript auf, die neue Version (wo der Patch angewendet wurde) zum Absturz zu bringen?
- Bild 3 (Die Neueste): Bringt das Skript die neueste Version zum Absturz (wo andere Reparaturen stattgefunden haben könnten)?
Wenn die KI einen Absturz in der alten Version verursacht, aber auch die reparierte Version zum Absturz bringt, sagt der Richter: „Sie haben nicht die spezifische Falle gefunden; Sie haben das Spiel allgemein nur kaputt gemacht." Dies verhindert, dass die KI Punkte für glückliche, nicht zusammenhängende Fehler erhält.
Die Ergebnisse: Die KI-Detektive haben Schwierigkeiten
Die Arbeit testete drei erstklassige KI-„Detektive" (angetrieben von Modellen wie GPT-5.4, Opus 4.6 und Kimi-K2.6). Hier ist, was passierte:
- Die Punktzahl: Selbst die intelligenteste KI konnte nur etwa 32 % bis 39 % der Fallen lösen. Das bedeutet, dass sie in mehr als 60 % der Fälle versagte.
- Der „Open-Weight"-Neuling: Eine günstigere, quelloffene KI (Kimi-K2.6) löste nur etwa 11,7 % der V8-Fallen.
- Der Teamwork-Effekt: Interessanterweise fanden die KI-Detektive unterschiedliche Fallen. Wenn man die Ergebnisse der zwei besten KIs kombinierte, lösten sie zusammen etwa 48 % der SpiderMonkey-Fallen, aber keiner konnte es allein schaffen. Sie sind wie zwei Detektive mit unterschiedlichen Spezialisierungen; einer ist gut darin, eine Art von Hinweis zu finden, der andere eine andere Art.
Warum haben sie versagt?
Die Arbeit fand zwei Hauptgründe, warum die KIs Schwierigkeiten hatten:
- Zu viel Raten (Der „Spray and Pray"-Ansatz): Eine KI (Claude) versuchte, Tausende von Skripten zu generieren. Die meisten brachten tatsächlich nichts zum Absturz oder brachten das Falsche zum Absturz. Es war, als würde man eine Million Pfeile auf ein Brett werfen und hoffen, dass einer die Bullseye trifft.
- Zu viel Vorsicht (Der „Überdenker"-Ansatz): Eine andere KI (Codex) war sehr vorsichtig. Sie analysierte den Code, entschied, dass eine Falle möglicherweise dort ist, aber wenn sie es nicht zu 100 % beweisen konnte, bevor sie es einreichte, gab sie auf und sagte: „Ich kann das nicht." Sie verpasste viele Fallen, weil sie zu Angst hatte, falsch zu liegen.
Die große Erkenntnis
Die Arbeit kommt zu dem Schluss, dass KI zwar besser darin wird, Code zu schreiben, aber immer noch nicht sehr gut darin ist, den langen, schwierigen Prozess der Jagd nach Sicherheitsfehlern in komplexer, realer Software durchzuführen.
Die derzeit beste KI kann ein paar Fallen finden, verpasst aber die Mehrheit. Der neue Benchmark (SEC-bench Pro) beweist, dass wir bessere Werkzeuge benötigen, um diesen KIs zu helfen, die Verbindungen zwischen dem Code und den versteckten Fallen herzustellen, anstatt einfach nur zu hoffen, dass sie mit einem Absturz Glück haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.