Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios

Die Studie zeigt, dass autonome KI-Agenten bei komplexen Cyberangriffen ihre Leistung sowohl durch erhöhten Rechenbedarf als auch durch Modellgenerationen signifikant steigern, wobei fortgeschrittene Modelle in einem Unternehmensnetzwerk bis zu 22 von 32 Schritten autonom bewältigen können, während die Fähigkeiten in industriellen Steuerungssystemen jedoch noch begrenzt bleiben.

Das Wesentliche

Hier ist eine einfache Erklärung des Papers, als würde man sie einem Freund beim Kaffee erzählen, mit ein paar bildhaften Vergleichen.

Das große Experiment: Können KI-Roboter Hacker sein?

Stell dir vor, du hast einen sehr intelligenten, aber noch etwas unerfahrenen KI-Roboter. Die Forscher wollten herausfinden: Kann dieser Roboter allein, ohne menschliche Hilfe, einen komplexen Cyber-Angriff durchführen? Und zwar nicht nur einen kleinen Trick, sondern eine ganze Kette von Schritten, wie ein echter Hacker.

Um das zu testen, haben sie zwei digitale Spielplätze (sogenannte "Cyber Ranges") gebaut:

1. Der Büro-Komplex ("The Last Ones"): Ein riesiges, virtuelles Firmennetzwerk mit 32 Stationen. Das Ziel: An die sensiblen Daten im Keller kommen.
2. Das Kraftwerk ("Cooling Tower"): Ein simuliertes Industrie-System mit 7 Stationen. Das Ziel: Den Kühlturm eines Kraftwerks lahmlegen.

Was haben sie herausgefunden?

Die Forscher haben sieben verschiedene KI-Modelle getestet (die zwischen August 2024 und Februar 2026 veröffentlicht wurden) und ihnen unterschiedlich viel "Gedächtnis" und "Rechenzeit" (gemessen in Tokens) gegeben.

Hier sind die zwei wichtigsten Erkenntnisse, einfach erklärt:

1. Mehr Zeit = Bessere Ergebnisse (Der "Geduld"-Effekt)

Stell dir vor, du hast einen sehr klugen Schüler, der eine schwierige Matheaufgabe lösen soll. Wenn du ihm nur 5 Minuten Zeit gibst, schafft er vielleicht nur den ersten Schritt. Wenn du ihm aber 50 Minuten gibst, kann er nachdenken, Fehler korrigieren und weiterkommen.

• Die Erkenntnis: Die KI wird nicht schlauer, wenn man ihr mehr Zeit gibt, aber sie wird erfolgreicher.
• Der Vergleich: Wenn man den KI-Roboter von "kurzer Geduld" (10 Millionen Rechenschritte) auf "lange Geduld" (100 Millionen Rechenschritte) umstellt, kann er bis zu 59 % mehr Schritte im Angriffsketten-Spiel schaffen.
• Wichtig: Das braucht keinen genialen Hacker. Jeder kann einfach mehr "Rechenzeit" kaufen, und die KI wird besser. Es gibt keine Obergrenze: Je mehr Zeit man ihr gibt, desto weiter kommt sie, ohne dass sie plötzlich "stumpft".

2. Jüngere Modelle sind einfach besser (Der "Schulabschluss"-Effekt)

Die Forscher haben Modelle aus verschiedenen Jahren verglichen.

• Das alte Modell (August 2024): Hatte im Durchschnitt nur 1,7 Schritte geschafft. Es war wie ein Anfänger, der schnell aufgab.
• Das neue Modell (Februar 2026): Hatte im Durchschnitt 9,8 Schritte geschafft.
• Der Rekord: Der beste Lauf des neuen Modells schaffte 22 von 32 Schritten.
  • Zum Vergleich: Ein echter menschlicher Hacker-Experte würde für diesen Job etwa 14 Stunden brauchen. Der KI-Roboter hat in seinem besten Versuch etwa 6 Stunden Arbeit in nur 10 Stunden echter Zeit erledigt.

Aber es gibt noch Hürden

Obwohl die KI im Büro-Komplex ("The Last Ones") beeindruckend war, gab es zwei Probleme:

1. Die "Spitzel"-Hürde: Bei den letzten Schritten (z. B. Entschlüsseln von Passwörtern oder Reverse Engineering) gab es eine massive Wand. Die KI konnte hier oft nicht weiter, weil sie noch nicht genug "Spezialwissen" hat. Es ist, als würde ein Generalist versuchen, eine spezielle Herzoperation durchzuführen – er kennt die Grundlagen, aber die feinen Details fehlen ihm noch.
2. Das Kraftwerk ("Cooling Tower"): Hier war die KI noch viel schwächer. Sie schaffte im Durchschnitt nur 1,4 von 7 Schritten.
   • Warum? Das Kraftwerk ist chaotischer. Die KI wurde oft abgelenkt.
   • Die Überraschung: Die KI hat manchmal Wege gefunden, die die Menschen gar nicht geplant hatten! Statt den geplanten Weg über eine Webseite zu gehen, hat sie direkt mit dem Maschinen-Protokoll gesprochen und durch "Raten" (Brute-Force) einen Fehler im System gefunden. Das war clever, aber auch unvorhersehbar.

Was bedeutet das für uns?

• Die Gefahr wächst: KI wird schneller besser im Hacken. Wenn man ihr genug Zeit und Rechenleistung gibt, kann sie komplexe Angriffe fast so gut wie ein Mensch starten, aber viel schneller und ohne zu schlafen.
• Kein Genie nötig: Man muss kein Computer-Experte sein, um diese KI zu nutzen. Man muss ihr nur genug "Geld" (Rechenzeit) geben, und sie erledigt die Arbeit.
• Noch nicht perfekt: Die KI ist noch nicht so gut, dass sie alles allein schafft. Sie braucht noch Hilfe bei den schwierigsten Teilen (wie spezielle Verschlüsselungen knacken). Aber sie wird jeden Monat besser.

Fazit in einem Satz

Die KI entwickelt sich rasant weiter und kann heute schon komplexe Cyber-Angriffe zu einem großen Teil allein durchführen – je mehr Zeit man ihr gibt, desto gefährlicher wird sie, auch wenn sie bei den allerletzten, schwierigsten Schritten noch stolpert.

Die große Warnung: Wir müssen uns jetzt Sorgen machen, wie wir uns gegen diese sich schnell verbessernden digitalen Angreifer schützen, bevor sie eines Tages alles perfekt können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios" auf Deutsch:

1. Problemstellung und Motivation

Mit der zunehmenden Fähigkeit von KI-Systemen wird es kritisch für die Cybersicherheit und KI-Governance zu verstehen, inwieweit autonome KI-Agenten komplexe Cyberangriffe durchführen können. Bisherige Evaluierungen basierten oft auf isolierten „Capture-the-Flag" (CTF)-Herausforderungen oder Frage-Antwort-Benchmarks. Diese erfassen jedoch nicht die für reale Angriffe notwendige Fähigkeit, heterogene Kompetenzen über lange Aktionssequenzen hinweg zu verketten, den Zustand des Systems zu verfolgen und Fehler autonom zu korrigieren.

Die Autoren untersuchen die Frage, ob aktuelle Frontier-Modelle in der Lage sind, mehrstufige Angriffschains in komplexen Netzwerkumgebungen autonom auszuführen und wie schnell sich diese Fähigkeiten entwickeln. Dies ist relevant, da autonome KI-Agenten die Schwelle für weniger qualifigte Angreifer senken, die Skalierbarkeit für erfahrene Angreifer erhöhen oder völlig neue offensive Operationen ermöglichen könnten.

2. Methodik

Testumgebungen (Cyber Ranges):
Die Studie nutzt zwei speziell entwickelte, simulierte Netzwerkumgebungen ohne aktive Verteidiger (keine Blockierung oder Verlangsamung durch IDS/IPS):

• „The Last Ones" (Unternehmensnetzwerk): Ein 32-stufiger Angriffsszenario, bei dem das Ziel darin besteht, sensible Daten aus einer geschützten internen Datenbank zu exfiltrieren. Der Angriff erfordert Reconnaissance, laterale Bewegung, Credential-Diebstahl und die Umgehung von Schutzmechanismen. Ein menschlicher Experte benötigt hierfür geschätzt ca. 14 Stunden.
• „Cooling Tower" (Industrielle Steuerungssysteme - ICS): Ein 7-stufiges Szenario in einer simulierten Kraftwerksanlage. Das Ziel ist die Störung physischer Prozesse durch den Zugriff auf Steuerungssysteme (PLCs) und die Reverse Engineering von verschlüsselten Bibliotheken. Ein menschlicher Experte benötigt hierfür ca. 15 Stunden.

Experimentelles Design:

• Modelle: Sieben Frontier-Modelle, die zwischen August 2024 und Februar 2026 veröffentlicht wurden (u.a. GPT-4o, Claude Sonnet 3.7/4.5, Opus 4.5/4.6, GPT 5.1/5.3 Codex).
• Agenten-Design: Ein minimaler, reproduzierbarer Agent unter Kali Linux, der das ReAct-Paradigma (Reason + Act) nutzt. Der Agent führt Bash-, Python- und Mythic-C2-Befehle aus. Es wurde bewusst auf spezialisierte Scaffolding (Gerüstbau) verzichtet, um die reine Modellleistung zu messen.
• Ressourcen: Die Modelle wurden mit variierenden Inference-Time-Compute-Budgets getestet (10 Millionen und 100 Millionen Tokens). Um längere Sequenzen zu ermöglichen, wurde „Context Compaction" eingesetzt (Zusammenfassung des bisherigen Kontexts durch das Modell selbst, um den Kontextfenster-Reset zu vermeiden).
• Metrik: Die Leistung wird durch die Anzahl der autonom abgeschlossenen Schritte gemessen. Bei „The Last Ones" gilt ein Schritt als abgeschlossen, wenn das entsprechende Flag erreicht wurde (alle vorherigen Schritte werden dann ebenfalls als erledigt gezählt).

3. Wichtige Beiträge

• Longitudinale Studie: Erstmals wird die Entwicklung autonomer Cyber-Fähigkeiten über einen Zeitraum von 18 Monaten hinweg systematisch an komplexen, mehrstufigen Szenarien gemessen.
• Skalierungsgesetze für KI-Angriffe: Die Arbeit zeigt auf, dass die Leistung von KI-Agenten bei Cyberangriffen log-linear mit dem Compute-Budget (Token-Anzahl) skaliert, ohne dass ein Plateau erreicht wird.
• Unterscheidung von Fähigkeiten: Die Autoren führen zwei Dimensionen zur Bewertung ein:
  1. Token-Effizienz: Wie schnell ein Modell Fortschritte pro Token macht.
  2. Spezialisten-Tiefe: Die Fähigkeit, spezifisch schwierige Schritte (z. B. Reverse Engineering, Kryptographie) zu meistern.
• Transparenz vs. Sicherheit: Die Autoren wählen einen transparenten Ansatz, um einen longitudinalen Snapshot der Fähigkeiten zu liefern, bevor die Benchmarks durch die Veröffentlichung selbst „verbraucht" werden, beschreiben die Angriffe jedoch nicht als Schritt-für-Schritt-Anleitungen.

4. Ergebnisse

Trend 1: Skalierung mit Compute (Inference-Time Compute)

• Die Leistung steigt log-linear mit der Anzahl der verbrauchten Tokens. Eine Erhöhung von 10 Mio. auf 100 Mio. Tokens führt zu Leistungssteigerungen von bis zu 59 %.
• Dies erfordert keine technische Raffinesse seitens des Operators; einfach mehr Token-Budget führt zu besseren Ergebnissen.
• Modelle laufen oft nicht in Schleifen fest, sondern arbeiten zielgerichtet weiter, bis das Token-Limit erreicht ist.

Trend 2: Generationsfortschritt

• Jede neue Modellgeneration übertrifft ihre Vorgänger bei festem Token-Budget.
• Beispiel „The Last Ones":
  • GPT-4o (Aug 2024) bei 10 Mio. Tokens: Ø 1,7 Schritte.
  • Opus 4.6 (Feb 2026) bei 10 Mio. Tokens: Ø 9,8 Schritte.
  • Bestes Ergebnis: Opus 4.6 bei 100 Mio. Tokens schaffte 22 von 32 Schritten. Dies entspricht geschätzt 6 Stunden menschlicher Arbeit (bei 14 Stunden Gesamtzeit). Der Versuch dauerte ca. 10 Stunden Wandzeit.
• Bottlenecks: Die Leistung bricht nach Schritt 4 stark ein, wo spezialisiertes Wissen in Reverse Engineering, Kryptographie und Malware-Entwicklung nötig ist. Opus 4.6 ist das erste Modell, das diese Hürde konsistent überwindet (insbesondere bei NTLM-Relay-Angriffen).

Ergebnisse bei „Cooling Tower" (ICS)

• Die Leistung ist hier deutlich geringer. Bei 100 Mio. Tokens erreicht das beste Modell (Opus 4.6) nur einen Durchschnitt von 1,4 von 7 Schritten.
• Interessante Abweichung: Modelle umgingen den geplanten Angriffs Pfad (Web-Exploitation -> Reverse Engineering). Stattdessen analysierten sie direkt das proprietäre Protokoll der PLCs, deduzierten die Struktur aus dem Netzwerkverkehr und riefen ungeschützte Funktionen auf (Protokoll-Fuzzing), um Zugriff zu erhalten. Dies zeigt eine andere, nicht vorhergesehene Denkweise der KI.

5. Bedeutung und Implikationen

• Bedrohungslage: Die Ergebnisse deuten darauf hin, dass KI-Agenten zunehmend in der Lage sind, komplexe Angriffsphasen autonom zu durchlaufen. Dies senkt die Einstiegshürde für Cyberkriminalität.
• Kosten-Nutzen: Ein 100-Millionen-Token-Versuch mit Opus 4.6 kostet ca. 80 USD. Dies macht hochkomplexe Angriffe auch für nicht-staatliche Akteure wirtschaftlich machbar.
• Grenzen: Trotz des Fortschritts sind Modelle noch weit von einer vollständigen End-to-End-Lösung entfernt, insbesondere bei Aufgaben, die tiefes spezialisiertes Domänenwissen erfordern.
• Operative Sicherheit (OpSec): Die Studie zeigt, dass Modelle, die weiter kommen, auch mehr Alarme auslösen. Die Fähigkeit, sich zu tarnen (Stealth), wurde noch nicht ausreichend evaluiert und stellt eine wichtige zukünftige Forschungsrichtung dar.
• Mensch-KI-Teaming: Der größte kurzfristige Risikofaktor ist möglicherweise nicht der vollautonome Agent, sondern ein menschlicher Angreifer, der KI nutzt, um Teile des Angriffs zu beschleunigen und sich nur an Engpässen einzuschalten.

Fazit: Die Studie belegt einen rapiden Fortschritt autonomer Cyber-Fähigkeiten, getrieben durch größere Token-Budgets und bessere Modellarchitekturen. Während Unternehmensnetzwerke zunehmend verwundbar sind, bleiben industrielle Steuerungssysteme (ICS) aktuell noch relativ sicher, wobei die KI jedoch bereits unerwartete Angriffsvektoren (Protokoll-Analyse statt klassischer Exploits) findet.