One Successful Run Is Not an Exploit: Replaying LLM-Written Exploit Scripts with the Model Out of the Loop

In der Welt der Computersicherheit gibt es ein ständiges Wettrennen zwischen denen, die Verteidigungen bauen, und denen, die versuchen, sie zu brechen. Wenn ein Computersystem eine versteckte Schwachstelle hat, die als Vulnerability (Schwachstelle) bekannt ist, kann ein geschickter Angreifer ein kleines Stück Code schreiben, um diese auszunutzen und unbefugten Zugriff zu erlangen. Heute nutzen Forscher künstliche Intelligenz, um diese Code-Stücke automatisch zu schreiben. Diesen KI-Systemen, die oft als Agenten bezeichnet werden, wird eine Herausforderung und ein Satz von Regeln gegeben, und sie versuchen, ein Skript zu generieren, das erfolgreich in ein Testsystem eindringt. Wenn das Skript auch nur ein einziges Mal funktioniert, gilt dies nach dem Standardmaß für den Erfolg in diesem Bereich als ein Sieg. Die Annahme war bisher, dass, wenn eine KI ein Skript schreiben kann, das einmal funktioniert, sie einen zuverlässigen Weg gefunden hat, das System zu brechen. Doch diese Annahme lässt eine entscheidende Frage unbeantwortet: Wenn man genau dasselbe Skript nimmt und es ein zweites Mal auf einem frischen System ausführt, wird es ein zweites Mal funktionieren?

Ein Forscher setzte sich zum Ziel, diese Frage zu beantworten, indem er die Art und Weise änderte, wie diese KI-generierten Skripte getestet wurden. Anstatt die KI zu bitten, es immer wieder zu versuchen – was die Fähigkeit der KI testen würde, zu denken und sich anzupassen –, entschied er sich, die Skripte selbst zu testen. Er nahm die bereits von der KI produzierten erfolgreichen Skripte und führte sie wiederholt auf brandneuen, sauberen Kopien der Zielsysteme aus, ohne die KI in der zweiten Runde teilnehmen zu lassen. Dieser Ansatz ist vergleichbar damit, einen Schlüssel, der eine Tür einmal erfolgreich geöffnet hat, an einem Dutzend neuer, identischer Türen auszuprobieren, um zu sehen, ob er noch passt. Der Forscher wollte wissen, ob der Schlüssel wirklich gut war oder ob er nur aufgrund einer spezifischen, vorübergehenden Bedingung der ersten Tür funktionierte.

Die Studie umfasste vierzehn verschiedene Sicherheitsherausforderungen, die von einfachen Login-Fehlern bis hin zu komplexeren Problemen reichten, bei denen das System Benutzereingaben auf gefährliche Weise verarbeitet. Die KI wurde gebeten, diese Herausforderungen zu lösen, und sie war erfolgreich darin, Skripte zu generieren, die in 196 verschiedenen Versuchen funktionierten. Der Forscher nahm dann jeden dieser 196 Skripte und führte sie jeweils zehnmal auf frischen Systemen aus, was insgesamt 1.960 Testläufe ergab. Die Ergebnisse waren frappierend klar: In 1.950 dieser Läufe funktionierte das Skript exakt so wie beim ersten Mal. Das bedeutet, dass für die überwältigende Mehrheit der Fälle, sobald die KI eine Lösung gefunden hatte, diese Lösung ein stabiles, zuverlässiges Stück Code war, das wiederverwendet werden konnte. Das Skript hing nicht vom Glück oder einem flüchtigen Moment des Erfolgs ab; es war ein solides Werkzeug, das konsistent funktionierte.

Die Studie deckte jedoch auch eine faszinierende Ausnahme auf, die erklärt, warum die alte Testmethode unzureichend war. Es gab ein Skript von den 196, das bei jedem einzelnen Durchlauf auf einem frischen System fehlschlug. Es war ein „totes“ Skript, das die Tür nicht öffnen konnte. Doch als der Forscher die gesamte Sequenz der Schritte durchführte, die die KI zur Erstellung dieses Skripts unternommen hatte – indem er die vorherigen Versuche der KI in der richtigen Reihenfolge nachspielte, bevor er das endgültige Skript ausführte – funktionierte das Skript plötzlich jedes Mal perfekt. Der Grund war subtil und verborgen. Das Skript verließ sich auf den internen Zustand des Computersystems, speziell auf eine Liste von Klassen, die die Programmiersprache des Systems im Speicher hielt. Die früheren Versuche der KI hatten unbewusst Elemente zu dieser Liste hinzugefügt und dadurch die Positionen der Elemente verschoben. Das endgültige Skript war fest programmiert (hard-coded), um nach spezifischen Elementen an bestimmten Positionen zu suchen. Auf einem frischen System waren diese Positionen leer oder enthielten die falschen Dinge. Aber nachdem die vorangegangenen Schritte ausgeführt worden waren, war die Liste gewachsen und verschoben worden, wodurch die korrekten Elemente genau dort platziert wurden, wo das Skript sie erwartete. Der Erfolg gehörte der gesamten Reise, nicht nur dem letzten Schritt.

Diese Entdeckung verdeutlicht einen großen Unterschied zwischen der Art und Weise, wie die KI denkt, und der Art und Weise, wie der von ihr produzierte Code sich verhält. Der Forscher fand heraus, dass die Fähigkeit der KI, eine Lösung zu generieren, recht instabil war. In vielen Fällen scheiterte die KI beim ersten Versuch, war erfolgreich beim zweiten und scheiterte dann wieder beim dritten. Wenn man nur den Generierungsprozess der KI betrachtete, würde man eine große Inkonsistenz sehen. Aber sobald die KI es geschafft hatte, ein Skript zu schreiben, das funktionierte, war dieses Skript selbst fast immer stabil. Die Instabilität lag im Denkprozess, nicht in dem erstellten Werkzeug. Dies bedeutet, dass ein einziger erfolgreicher Durchlauf durch eine KI nicht beweist, dass die KI konsistent gut darin ist, Lösungen zu finden, aber es beweist, dass die spezifische gefundene Lösung meist zuverlässig ist.

Der Forscher testete auch, ob diese Skripte funktionieren würden, wenn das angegriffene Computersystem leicht anders wäre, wie etwa durch die Verwendung einer neueren Version der Programmiersprache. Er baute die Zielsysteme mit einer leicht aktualisierten Version der Software nach und führte die Skripte erneut aus. Fast alle von ihnen funktionierten immer noch, aber ein Skript, das auf dem alten System perfekt zuverlässig gewesen war, versagte auf dem neuen System vollständig. Dies zeigte, dass selbst eine kleine Änderung in der Umgebung ein Skript brechen konnte, das perfekt schien, was die Idee verstärkte, dass der Erfolg eines Skripts an die spezifischen Bedingungen geknüpft ist, unter denen es erstellt wurde.

Die wichtigste Erkenntnis dieser Arbeit ist, dass wir die Art und Weise, wie wir den Erfolg von KI in der Sicherheit bewerten, ändern müssen. Ein einzelner Erfolg reicht nicht aus, um ein Skript als Exploit zu bezeichnen. Um wirklich zu wissen, ob eine KI eine echte Schwachstelle gefunden hat, müssen wir verifizieren, dass das von ihr geschriebene Skript wiederholt auf eigene Faust funktioniert, ohne die Hilfe der KI. Die Studie zeigt, dass während der Generierungsprozess der KI oft wackelig und unvorhersehbar ist, die von ihr erzeugten Skripte meist solide und verlässlich sind. Der eine Fall, in dem ein Skript alleine nicht funktionierte, lag daran, dass es auf einen verborgenen Zustand angewiesen war, den die früheren Versuche der KI hinterlassen hatten – ein Detail, das ein einzelner Testlauf niemals offenbart hätte. Durch die Trennung des Aktes des Codewriting von dem Akt des Ausführens des Codes lieferte der Forscher ein klareres Bild davon, wozu diese KI-Systeme tatsächlich fähig sind, und zeigte auf, dass die Werkzeuge, die sie bauen, oft zuverlässiger sind als der Prozess, der sie erschafft.