Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing
Dieses Paper schlägt ein zweistufiges, entkoppeltes Evaluierungsframework vor, das die Rekonnaissance von der Exploitation trennt, um aufzuzeigen, dass LLM-basierte Agenten zwar eine Erfolgsquote von bis zu 90 % bei der Ausführung bekannter Schwachstellen erreichen können, ihre autonomen Entdeckungskapazitäten jedoch aufgrund von Parsing-Fehlern auf etwa 50 % begrenzt sind, wobei unterschiedliche architektonische Stärken über verschiedene Schwachstellentypen hinweg hervortreten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen ein Team von Experten-Detektiven ein, um eine Reihe von verschlossenen Räumen (diese Web-Schwachstellen) zu lösen. In der Vergangenheit haben Forscher diese Detektive mit einer „Black-Box“-Methode getestet: Sie gaben dem Detektiv einen verschlossenen Raum und beobachteten, ob er hineinkam. Wenn der Detektiv scheiterte, nahmen die Forscher an, der Detektiv sei schlecht im Schlösserknacken.
Das Problem: Der „Kettenreaktions“-Fehler
Das Paper argumentiert, dass diese alte Testmethode fehlerhaft ist, da sie unter einem „Kettenreaktions“-Problem leidet.
- Das Szenario: Ein Detektiv könnte ein Genie im Schlösserknacken sein, aber wenn er sich im Flur verirrt (fehlende Reconnaissance) oder eine Karte falsch liest, kommt er gar nicht erst zur Tür.
- Das Ergebnis: Der Test protokolliert ihn als Versager in allem, obwohl er die Tür spielend leicht hätte öffnen können, wenn er nur gewusst hätte, welche Tür er ausprobieren muss. Das Scheitern beim Finden der Tür „maskiert“ seine tatsächliche Fähigkeit, sie aufzubrechen.
Die Lösung: Der „Zweistufige“ Test
Um dies zu beheben, entwickelten die Autoren einen neuen, zweiteiligen Test, der das „Finden der Tür“ vom „Öffnen der Tür“ trennt.
- Stufe 1: Die Reconnaissance (Das Finden der Tür)
Der Detektiv versucht, die verwundbare Tür selbstständig zu finden, indem er nur seine Augen und Werkzeuge benutzt. Die Forscher messen, wie oft er tatsächlich die richtige Tür findet. - Stufe 2: Die Exploitation (Das Öffnen der Tür)
Wenn der Detektiv in Stufe 1 die Tür nicht findet, greifen die Forscher ein und sagen: „Okay, Sie haben sie übersehen, aber hier ist die exakte Adresse der Tür. Versuchen Sie nun, sie zu öffnen.“
- Dies wird als Ground-Truth-Injection bezeichnet. Es beseitigt die Verwirrung des Flurs, damit sie beweisen können, ob sie tatsächlich gut im Schlösserknacken sind.
Die Ergebnisse: Eine große Lücke in den Fähigkeiten
Als die Forscher fünf verschiedene KI-Detektiv-Teams (unter Verwendung von Large Language Models) an 70 verschiedenen „Räumen“ testen ließen, fanden sie eine riesige Lücke zwischen dem Finden des Problems und dem Beheben des Problems:
- Das Problem finden: Wenn sie auf sich allein gestellt waren, fanden die KI-Detektive die richtige Tür nur etwa 50 % der Zeit. Sie wurden durch unordentliche, unstrukturierte Hinweise (wie verwirrende Fehlermeldungen oder verrauschte Logs) abgelenkt.
- Das Problem beheben: Sob aber die Forscher ihnen die exakte Adresse gaben (die „Ground Truth“), öffneten dieselben Detektive die Tür in 90 % der Fälle erfolgreich.
- Das Fazit: Die KI ist nicht unbedingt schlecht darin, einzubrechen; sie ist nur schrecklich darin, durch den unordentlichen Flur zu navigieren, um die richtige Tür zu finden.
Die „Detektiv-Stile“ (Architekturen)
Das Paper untersuchte auch, wie diese Detektiv-Teams organisiert waren, und fand heraus, dass unterschiedliche Stile für unterschiedliche Arten von Schlössern besser geeignet sind:
- Das „Spezialisierte Squad“ (Multi-Agent): Diese Teams bestehen aus verschiedenen Mitgliedern mit spezifischen Rollen, die sich nicht gegenseitig im Weg stehen. Sie sind großartig bei komplexen, langen Rätseln (wie „Deserialisierungs“-Angriffen), denn wenn ein Mitglied verwirrt ist, bleiben die anderen fokussiert.
- Der „Einzeldetektiv“ (Monolithisch): Eine Person erledigt alles. Diese Teams sind schnell und effizient für kurze, einfache Aufgaben (wie kurze „Injection“-Angriffe), neigen aber dazu, überfordert zu sein und Details zu vergessen, wenn die Aufgabe zu lang wird.
- Die „Kartenzeichner“ (Graph-gesteuert): Diese Teams zeichnen eine große Karte der Verbindungen zwischen Hinweisen. Sie sind exzellent darin, Logikfehler aufzuspüren, bei denen man verschiedene Benutzerkonten vergleichen muss (wie bei „Access Control“-Problemen).
Der „Spickzettel“-Effekt
Die Forscher testeten auch, ob es den Detektiven half, einen „Spickzettel“ (eine Datenbank bekannter Schwachstellen) zu besitzen.
- Ohne den Spickzettel: Die Leistung sank signifikant. Die KI hatte Schwierigkeiten, sich an spezifische technische Details zu erinnern.
- Mit dem Spickzettel: Die Leistung schoss in die Höhe. Dies beweist, dass die KI ein Nachschlagewerk benötigt, um effektiv zu sein, anstatt sich rein auf ihr internes Gedächtnis zu verlassen.
Fazschluss
Das Paper kommt zu dem Schluss, dass wir aufhören müssen, die „Schlossknack-Fähigkeiten“ zu beschuldigen, wenn das eigentliche Problem die „Navigation“ ist, um bessere automatisierte Sicherheitstools zu bauen. Durch die Trennung dieser beiden Aufgaben sehen wir, dass die KI tatsächlich sehr gut darin ist, Schwachstellen auszunutzen, wenn wir ihr nur helfen können, sie zuerst zu finden. Die Zukunft dieser Tools liegt in einer besseren „State Isolation“ – die Detektive dabei zu unterstützen, bei der aktuellen Aufgabe konzentriert zu bleiben, ohne durch das Rauschen des Flurs abgelenkt zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.