Autonomous LLM Agents & CTFs: A Second Look
Dieser Beitrag bewertet die Fähigkeiten von Large-Language-Model-Agenten in der offensiven Sicherheit neu, indem er zeigt, dass zwar allgemeine Agenten wie Claude Code bei CTF-Herausforderungen die Leistung komplexer, ingenieurtechnisch gestalteter Architekturen erreichen, beide jedoch weiterhin erheblichen menschlichen Barrieren unterliegen, wobei eine strukturierte, rollenbasierte Orchestrierung monolithischen Designs in Bezug auf Konsistenz und Kosteneffizienz überlegen ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben ein Team digitaler Detektive, das versucht, in eine Reihe verschlossener digitaler Tresore (sogenannte „CTF-Herausforderungen") einzubrechen, um einen verborgenen Schatz (die „Flagge") zu finden. Seit geraumer Zeit behaupten Menschen, dass künstliche Intelligenz (KI)-Agenten so klug werden, dass sie dies fast genauso gut können wie menschliche Experten.
Dieser Artikel ist wie ein „Realitätscheck"-Bericht. Die Autoren haben beschlossen, diese Behauptungen selbst zu testen, um herauszufinden, ob die KI wirklich einsatzbereit ist oder ob sie nur Glück hat.
Hier ist die Aufschlüsselung ihres Experiments und ihrer Erkenntnisse, unter Verwendung einiger alltäglicher Analogien:
1. Das Experiment: Aufbau verschiedener Detektiv-Teams
Die Forscher haben nicht nur eine Art von KI verwendet. Sie bauten drei verschiedene „Teamstrukturen" auf, um zu sehen, welche am besten funktioniert, und testeten zudem einen berühmten, fertigen KI-Detektiven namens Claude Code.
- Der Solo-Detektiv (Executor): Stellen Sie sich eine Person vor, die versucht, alles zu erledigen: das Schloss betrachten, den Plan ausarbeiten, das Schloss aufbrechen und prüfen, ob sie den Schatz erhalten haben. Die Studie ergab, dass diese Person überfordert ist und Fehler macht.
- Der Detektiv mit einem Kritiker (Executor + Evaluator): Hier versucht der Detektiv, die Arbeit zu verrichten, aber eine zweite Person (der Kritiker) steht ihm über die Schulter. Bevor der Detektiv das Schloss aufbricht, sagt der Kritiker: „Warten Sie, das ist eine schlechte Idee, versuchen Sie es erneut." Das hilft, aber der Kritiker sieht manchmal nicht das ganze Bild und meckert nur an kleinen Details herum.
- Der Detektiv mit einem Strategen und einem Kritiker (Planner + Executor + Evaluator): Dies ist das komplexeste Team.
- Der Stratege (Planner): Betrachtet zuerst den Tresor und erstellt eine schrittweise Karte.
- Der Detektiv (Executor): Folgt der Karte.
- Der Kritiker (Evaluator): Prüft die Arbeit anhand der Karte.
- Ergebnis: Dieses Team war am effizientesten. Sie verschwendeten die wenigste Zeit und Geld, weil sie nicht ziellos herumirrten.
Sie testeten auch Claude Code, das wie ein „kluger Generalist" ist. Es hat keine feste Teamstruktur; es entscheidet selbstständig, ob es Helfer engagiert oder allein arbeitet.
2. Die Ergebnisse: Die „19 von 30"-Decke
Die große Neuigkeit ist, dass unabhängig davon, wie sie das Team organisierten, die KI auf eine harte Decke stieß.
- Die Punktzahl: Das beste menschlich gestaltete Team und die intelligente „Generalist"-KI (Claude Code) lösten jeweils genau 19 von 30 Herausforderungen.
- Der Vergleich: Dies ist niedriger als von einigen früheren Studien behauptet. Die Autoren vermuten, dass diese früheren Studien zu optimistisch waren oder einfachere Tests verwendeten.
- Der Effizienzgewinn: Während die Punktzahl gleich war, war das Team „Stratege + Detektiv + Kritiker" viel besser darin, wie sie arbeiteten. Sie benötigten weniger Schritte und kosteten weniger zu betreiben als der Solo-Detektiv. Es ist wie bei zwei Läufern, die ein Rennen in der gleichen Zeit beenden, aber einer eine gerade Linie lief, während der andere im Kreis rannte.
3. Wo die KI stecken bleibt (Das „Warum")
Die Forscher gruben tief, um zu sehen, warum die KI bei den anderen 11 Herausforderungen scheiterte. Sie stellten fest, dass die KI aus zwei sehr unterschiedlichen Gründen versagt:
A. Das Problem der „fehlenden Werkzeuge" (technische Grenzen)
Manchmal weiß die KI genau, was zu tun ist, aber sie hat nicht die richtige Ausrüstung.
- Analogie: Stellen Sie sich vor, die KI weiß, wie man ein Schloss aufbricht, versucht es aber, während sie dicke Ofenhandschuhe trägt.
- Beispiele: Einige Herausforderungen verlangten von der KI, eine Webseite in einem Browser zu sehen (um einen versteckten Code zu erkennen), aber die KI arbeitete in einer rein textbasierten Umgebung. Andere erforderten, zwei Dinge gleichzeitig zu tun (wie eine Race Condition), aber die KI arbeitet strikt schrittweise.
B. Das Problem des „Gehirnnebels" (kognitive Grenzen)
Manchmal hat die KI alle Werkzeuge, aber sie „begreift" die Logik einfach nicht.
- Analogie: Stellen Sie sich einen Detektiv vor, der hervorragend darin ist, zerbrochene Fenster zu finden (technische Hacks), aber völlig übersieht, dass der Besitzer die Hintertür offen gelassen hat, weil er auf den Lieferjungen wütend war (Geschäftslogik).
- Beispiele:
- Geschäftslogik-Fehler: Die KI konnte die Geschichte nicht verstehen, wie die Webseite funktionieren sollte, und konnte sie daher nicht täuschen.
- Lange Ketten: Wenn eine Aufgabe 20 Schritte erforderte, wobei Schritt 20 von Schritt 1 abhing, geriet die KI in Verwirrung und vergaß den Anfang der Geschichte, bis sie das Ende erreichte.
- Blindes Raten: Bei einigen komplexen Rätseln versuchte die KI einfach weiter, zufällige Dinge auszuprobieren, bis die Zeit abgelaufen war, anstatt es sich durchzudenken.
4. Das Fazit
Die Studie kommt zu dem Schluss, dass KI-Agenten zwar besser werden, aber noch nicht „auf menschlichem Niveau" sind.
- Die gute Nachricht: Wenn Sie einer KI einen klaren Plan und eine Teamstruktur geben (Stratege + Detektiv + Kritiker), arbeitet sie sehr effizient und konsistent.
- Die schlechte Nachricht: Es gibt eine „Glasdecke". Ob Sie ein benutzerdefiniertes Team oder eine allgemeinzweckige KI verwenden, alle stoppen am selben Punkt (19/30).
- Der eigentliche Engpass: Das Hauptproblem ist nicht, wie die KI einen Plan ausführt; es ist vielmehr, dass die KI oft nicht in der Lage ist, den richtigen Problemtyp überhaupt zu erkennen. Sobald die KI die Schwachstelle korrekt identifiziert hat, ist sie normalerweise gut darin, sie zu lösen. Aber wenn sie nicht herausfinden kann, was das Problem ist, kann sie nicht beginnen.
Kurz gesagt: Die KI ist eine sehr effiziente Arbeitskraft, aber sie braucht immer noch einen Menschen, der ihr sagt, was die Aufgabe eigentlich ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.