From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts
Diese vorregistrierte Reproduzierbarkeitsstudie zeigt auf, dass zwar über die Hälfte der durch LLMs/Agenten generierten Schwachstellenartefakte öffentlich verfügbar ist, die meisten jedoch nicht zuverlässig ausführbar sind oder semantisch bestätigte Ergebnisse liefern, was eine kritische Lücke zwischen ausführbarem Code und verifizierbaren Sicherheitsnachweisen aufgrund inkonsistenter Identifikatoren und unzuverlässiger automatisierter Orakel verdeutlicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, in der Softwareprogramme die Gebäude sind. Manchmal haben diese Gebäude versteckte Risse in ihrem Fundament – diese werden als „Schwachstellen“ oder „Bugs“ bezeichnet. Lange Zeit haben Sicherheitsforscher (die Inspektoren der Stadt) diese Risse gefunden und detaillierte Berichte darüber geschrieben, wie man einbricht und sie repariert. Doch vor kurzem ist eine neue Art von Inspektor eingetroffen: Künstliche Intelligenz, speziell „Large Language Models“ oder „Agents“. Dies sind superintelligente Computerprogramme, die Code lesen, die Risse finden und sogar ihre eigenen „Proof-of-Concept“ (PoC)-Skripte schreiben können – im Grunde kleine digitale Schlüssel, die beweisen, dass ein Schloss kaputt ist.
Die große Frage, die sich alle stellen, lautet: Können wir diesen KI-Inspektoren vertrauen? Wenn eine KI sagt: „Ich habe einen Riss gefunden und hier ist der Schlüssel“, ist das tatsächlich wahr oder rät die KI nur? In der Welt der Wissenschaft gibt es einen Unterschied zwischen etwas, das verfügbar ist (man kann die Datei herunterladen), ausführbar ist (sie startet tatsächlich) und verifiziert ist (sie tut tatsächlich das, was sie behauptet). Diese Studie ist wie ein massives, geplantes Audit, bei dem die Forscher nicht einfach dem Wort der KI vertraut haben; sie sind selbst ins Labor gegangen, haben versucht, jeden einzelnen KI-generierten Schlüssel auszuführen, und haben geprüft, ob die Türen wirklich aufgingen. Sie wollten sehen, ob die KI eine Meisterdiebin oder nur eine sehr selbstbewusste Fälscherin war.
Das Große KI-Schlüssel-Audit: Ein Realitätscheck
In dieser Studie agierten die Forscher als ein Team von skeptischen Detektiven. Sie sammelten eine große Sammlung von 104 Forschungsarbeiten aus den Jahren 2023 bis 2026, in denen Autoren behaupteten, KI zur Identifizierung und Validierung von Software-Schwachstellen eingesetzt zu haben. Betrachten Sie dies als eine riesige Bibliothek von „KI-Detektivberichten“. Das Team wollte sehen, wie viele dieser Berichte tatsächliche wahre Geschichten waren und wie viele bloß Märchen.
Das Verfügbarkeits-Rätsel
Zuerst prüften sie, ob die „Schlüssel“ (die Code-Dateien) überhaupt in der Bibliothek vorhanden waren. Von 104 Papieren hatten nur 59 (etwa 57 %) einen Link, der tatsächlich funktionierte. Die restlichen waren wie Bücher mit fehlenden Seiten, Links, die zu Sackgassen führten, oder Dateien, die im digitalen Äther verschwunden waren. Es stellt sich heraus, dass nur weil ein Papier sagt „Code ist hier“, das auch nicht bedeutet, dass man ihn tatsächlich finden kann.
Der „Es läuft“-Test
Als Nächstes versuchten sie, die 59 funktionierenden Schlüssel auf einem sauberen, frischen Computer auszuführen. Das ist so, als würde man versuchen, ein Auto mit einem brandneuen Motor zu starten. Schockierend genug konnten nur 10 von 18 getesteten Papieren (56 %) überhaupt ihre Motoren starten, ohne Hilfe zu benötigen. Wenn sie stecken blieben, versuchten sie eine kleine „Umgebung-Reparatur“ – das Installieren fehlender Werkzeuge oder das Korrigieren geringfügiger Einstellungen –, aber sie durften den eigentlichen „Schlossknacker“-Code nicht verändern. Selbst mit dieser Hilfe konnten nur 11 von 18 (61 %) ihre Mission erfüllen. Die meisten Fehler waren auf fehlende Anweisungen oder Werkzeuge zurückzuführen, die nicht mit dem Computer übereinstimmten, auf dem sie ausgeführt wurden.
Das „Fehlalarm“-Problem
Hier wird es wirklich interessant. Die Forscher fanden heraus, dass viele der KI-generierten Skripte „Ich habe einen Bug gefunden!“ schrien, obwohl sie dies gar nicht getan hatten. Sie nennen dies einen „Signal erzeugenden“ Fehler.
- Die Diskrepanz: In 58 von 102 Fällen (57 %) enthielt das Skript ein geheimes Etikett im Inneren, das nicht mit dem Etikett auf dem Ordner übereinstimmte. Es war, als würde ein Detektiv einen Bericht über „Den Banküberfall“ schreiben, während er tatsächlich in einen „Spielzeugladen“ einbricht. Die KI testete etwas völlig anderes.
- Der kaputte Alarm: Wenn sie die Skripte tatsächlich ausführten, waren die „Alarme“ (die Signale, die melden, dass ein Bug gefunden wurde) oft unzuverlässig. Die Forscher testeten dies, indem sie prüften, ob der Alarm auch auf einer gepatchten (reparierten) Version der Software auslöste. Wenn der Alarm auch auf der fixierten Version noch auslöste, handelte es sich um einen Fehlalarm.
- Sie fanden heraus, dass 20 von 30 Fällen (67 %) den Alarm immer noch auslösten, selbst nachdem der Bug angeblich behoben worden war.
- Die „Sensitivität“ (wie gut der Alarm echte Bugs erfasst) lag nur bei 60 %, und die „Spezifität“ (wie gut er falsche Bugs ignorierte) war mit 45 % katastrophal. Das bedeutet, dass die eingebauten Alarme der KI im Grunde nur rätten und fast die Hälfte der Zeit falsch lagen.
Der „Goldstandard“-Check
Um wirklich sicher zu sein, dass ein Bug echt ist, benötigt man drei Dinge:
- Das Skript muss laufen.
- Es muss den spezifischen Absturz oder Fehler auslösen, den es zu finden vorgibt.
- Es darf denselben Fehler nicht auf einer fixierten Version der Software auslösen.
Als die Forscher diesen strengen „Goldstandard“ anwandten (den sie als E1-Evidenz bezeichnen), waren die Ergebnisse drastisch. Von allen Fällen, die ein Signal erzeugten, erfüllten nur 2 von der gesamten Gruppe alle drei Kriterien. Der Rest war entweder defekt, testete das Falsche oder löste aus irgendeinem Grund einfach nur den Alarm aus.
Das Fazit
Diese Studie hat keinen Zauberstab gefunden; sie hat eine Menge kaputter Taschenlampen gefunden. Die wichtigste Erkenntnis ist, dass nur weil eine KI ein Skript generiert, das „läuft“ und „eine gruselige Nachricht ausgibt“, das nicht bedeutet, dass sie tatsächlich eine echte Schwachstelle gefunden hat.
Die Forscher entdeckten eine riesige Lücke zwischen „es läuft und sieht gruselig aus“ und „es reproduziert tatsächlich den Bug“. Sie fanden heraus, dass:
- Mehr als die Hälfte der Skripte eine völlig andere Schwachstelle testeten.
- Die meisten Skripte ohne Hilfe nicht laufen konnten.
- Zwei Drittel der Skripte, die behaupteten, einen Bug gefunden zu zu haben, eigentlich Fehlalarme waren, die auch auf einem reparierten Computer ausgelöst hätten werden können.
Der Autor sagt nicht, dass die KI diese Arbeit nicht leisten kann, aber er warnt die Sicherheitsgemeinschaft: Vertrauen Sie nicht dem eigenen Alarmsystem der KI. Wenn Sie wissen wollen, ob ein Bug echt ist, müssen Sie die Arbeit selbst überprüfen, insbesondere indem Sie testen, ob der Bug verschwindet, wenn die Software repariert wird. Bis dahin könnten viele dieser „KI-Entdeckungen“ nur digitaler Nebel und Spiegelbilder sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.