💻 computer science

A Red Teaming Framework for Evaluating Robustness of AI-enabled Security Orchestration, Automation, and Response Systems

Dieser Beitrag stellt ein autonomes Red-Teaming-Framework vor, das Large Language Models mit Reinforcement Learning integriert, um adaptive, mehrstufige Angriffskampagnen gegen KI-gestützte Security Orchestration, Automation and Response-Systeme effektiv zu generieren, und zeigt, dass dieser hybride Ansatz bei der Bewertung der Resilienz von Cyberabwehrsystemen sowohl eigenständige Large Language Models als auch domänenspezifische Modelle übertrifft.

Ursprüngliche Autoren: Ayan Javeed Shaikh, Nathaniel D. Bastian, Ankit Shah

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ayan Javeed Shaikh, Nathaniel D. Bastian, Ankit Shah

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein hochriskantes Schachspiel auf einem digitalen Schlachtfeld vor. Auf der einen Seite haben Sie das Blue Team: ein hochintelligentes, automatisiertes Sicherheitssystem (eine KI), das entwickelt wurde, um das Computernetzwerk eines Unternehmens zu schützen. Auf der anderen Seite benötigen Sie ein Red Team: eine Hacker-KI, die entwickelt wurde, um einzudringen – nicht um Daten zu stehlen, sondern um zu testen, ob das Blue Team tatsächlich stark genug ist.

Das Problem, das die Autoren dieses Papers identifiziert haben, ist, dass die alten Methoden zum Testen dieser Sicherheitssysteme defekt sind. Traditionelle „Hacker-Skripte" sind wie Roboter, die einer strengen, vorab geschriebenen Liste von Zügen folgen. Sie können nicht improvisieren. Wenn das Blue Team seine Strategie ändert, versucht der Roboter einfach weiterhin denselben Zug und scheitert.

Das Paper schlägt eine neue, intelligentere Methode zum Aufbau einer Red-Team-KI vor. Sie nennen dies ein Hierarchisches LLM-RL-Framework. So funktioniert es, unter Verwendung einfacher Analogien:

Das Problem: Zwei fehlerhafte Spieler

Die Forscher versuchten zwei verschiedene Arten von KI-Spielern einzeln, und beide versagten kläglich:

Der „Redner" (nur LLM): Stellen Sie sich einen brillanten Militärstrategen vor, der jedes je geschriebene Buch über Krieg gelesen hat. Er kann einen perfekten, komplexen Schlachtplan entwerfen. Aber er hat nie ein Schwert gehalten oder eine Waffe abgefeuert. Wenn er versucht, den Plan in einer echten, chaotischen Schlacht umzusetzen, gerät er in Verwirrung, vergisst die Schritte und wiederholt ständig denselben Fehler. Im Test des Papers konnten diese „Redner"-KIs zwar gute Ideen entwickeln, aber keinen langen, mehrstufigen Angriff tatsächlich durchführen.
Der „Macher" (nur RL): Stellen Sie sich einen Soldaten vor, der unglaublich gut darin ist, auf das zu reagieren, was direkt vor ihm passiert. Er lernt durch Versuch und Irrtum. Aber er hat keine Strategie. Er weiß nicht, warum er kämpft oder was das ultimative Ziel ist. Im Test steckte diese „Macher"-KI in einer Schleife fest und stieß immer wieder gegen die feindlichen Mauern, weil sie nicht wusste, wie man eine vollständige Invasion plant. Sie gab das große Ganze auf.

Die Lösung: Der General und der Soldat

Die Autoren erkannten, dass man zum Gewinnen sowohl den Strategen als auch den Soldaten braucht, die in einem einzigen Team zusammenarbeiten. Sie bauten ein zweigeteiltes System:

Der General (Der LLM-Planer): Dies ist der „Redner". Er betrachtet das große Ganze. Er entscheidet die Strategie: „Wir müssen uns einschleichen, die Hintertür finden, die Leiter hochklettern und dann den Server übernehmen." Er greift nicht in die Steuerung ein; er gibt nur Befehle. Er bleibt „eingefroren" (er lernt während des Spiels nichts Neues), damit er sein umfangreiches Wissen darüber behält, wie Angriffe funktionieren.
Der Soldat (Der RL-Controller): Dies ist der „Macher". Er hört auf die Befehle des Generals. Seine Aufgabe ist es, genau herauszufinden, welche Taste in jeder einzelnen Sekunde gedrückt werden muss, um diesen Befehl auszuführen. Er lernt durch Versuch und Irrtum und wird im Laufe des Spiels besser darin, den Plan des Generals auszuführen.

Der magische Bestandteil: Das „Reflexions"-Notizbuch
Um den General noch intelligenter zu machen, fügten sie einen „Reflexions"-Schritt hinzu. Nach jedem Spiel schreibt der General eine kurze Notiz in ein Notizbuch: „Ich habe versucht, die Leiter hochzuklettern, aber das Blue Team hat mich erwischt. Beim nächsten Mal versuche ich eine andere Route." Der General liest diese Notiz, bevor das nächste Spiel beginnt. Dies hilft dem General, seine Strategie zu verbessern, ohne alles von Grund auf neu lernen zu müssen.

Die Ergebnisse: Ein gewinnendes Team

Sie testeten dieses neue „General + Soldat"-Team in einer hochrealistischen Simulation eines Unternehmensnetzwerks (genannt CAGE 4) gegen die stärksten verfügbaren automatisierten Verteidiger.

Der „Redner" allein schaffte es nur in etwa 30 % der Fälle einzudringen (und meist nur den ersten Schritt).
Der „Macher" allein schaffte es in 0 % der Fälle einzudringen. Er blieb dabei stecken, dasselbe nutzlose Ding immer wieder zu tun.
Das „General + Soldat"-Team gelang es in 94 % bis 100 % der Fälle einzudringen. Sie navigierten erfolgreich durch die gesamte „Kill Chain" (den vollständigen Pfad vom Auffinden des Netzwerks bis zur Übernahme der Kontrolle).

Die große Erkenntnis

Das Paper kommt zu dem Schluss, dass man sich nicht auf nur eine Art von KI verlassen kann, um Sicherheit zu testen.

Nur zu denken reicht nicht aus: Man braucht jemanden, der die Arbeit tatsächlich tun kann.
Nur zu tun reicht nicht aus: Man braucht jemanden, der weiß, was zu tun ist.

Durch die Kombination eines intelligenten Planers (LLM) mit einem schnellen Lerner (RL) schufen sie ein Red Team, das robust, anpassungsfähig und in der Lage ist, die Grenzen moderner KI-Sicherheitssysteme zu testen. Dies hilft Unternehmen herauszufinden, ob ihre Verteidigung wirklich bereit für einen echten, intelligenten Hacker ist.

Technische Zusammenfassung: Ein Red-Teaming-Framework zur Bewertung der Robustheit KI-gestützter SOAR-Systeme

Problemstellung

Da Unternehmen zunehmend KI-gestützte Systeme für Security Orchestration, Automation and Response (SOAR) zur autonomen Bedrohungserkennung und -abwehr einsetzen, bleibt die Resilienz dieser Systeme gegenüber adaptiven, strategischen Gegnern weitgehend unerforscht. Traditionelle Penetrationstests und regelbasierte Red-Teaming-Ansätze erfassen die dynamische, mehrstufige Natur realer Angriffsaktionen nicht ausreichend. Zwar bieten jüngste Fortschritte bei Large Language Models (LLMs) und Reinforcement Learning (RL) Potenzial für autonomes Red Teaming, doch zeigen beide Paradigmen bei alleiniger Anwendung fundamentale Grenzen:

LLMs: Haben Schwierigkeiten mit der Verfolgung von Zuständen über lange Zeiträume, der Konsistenz von Aktionen und der Anpassung durch Umgebungsfeedback. Sie scheitern häufig daran, mehrstufige Angriffsaktionen gegen adaptive Verteidiger aufrechtzuerhalten.
RL: Leidet unter Ineffizienz bei der Probennutzung, begrenzter Interpretierbarkeit und schlechter Generalisierung über heterogene Cyber-Umgebungen hinweg. Reine RL-Agenten konvergieren häufig zu degenerierten Strategien (z. B. Wiederholung von Aufklärungsaktionen), wenn sie mit spärlichen Belohnungen und komplexen Zustandsräumen konfrontiert werden.

Es besteht eine kritische Lücke bei der Bewertung der Robustheit KI-gestützter Cyber-Abwehrsysteme gegenüber Agenten, die hochrangiges strategisches Denken mit adaptiver taktischer Ausführung kombinieren können.

Methodik

Die Autoren schlagen ein hierarchisches hybrides Framework vor, das strategische Planung auf Basis von LLMs mit taktischer Ausführung auf Basis von RL für autonomes Red Teaming integriert. Das System wird als Partially Observable Markov Decision Process (POMDP) modelliert und operiert innerhalb der Umgebung CybORG CAGE Challenge 4, einer hochfidelitätigen Simulation eines Unternehmensnetzwerks mit teilweiser Beobachtbarkeit und koordinierten KI-Verteidigern.

Architektur

Das Framework entkoppelt den Agenten in zwei unterschiedliche Ebenen:

Strategischer Planer (LLM): Ein eingefrorenes LLM arbeitet mit einer groben zeitlichen Auflösung (z. B. alle 20 Schritte). Es generiert strukturierte „Intents" (Absichten) basierend auf aktuellen Beobachtungen und optionalem Gedächtnis. Diese Intents kodieren hochrangige Entscheidungen wie Aktionstyp, MITRE ATT&CK-Taktik, Zielauswahl und Risikoposition. Die LLM-Parameter bleiben während des Trainings fest, um externes Wissen zu bewahren.
Taktischer Controller (RL): Ein trainierbarer RL-Controller (unter Verwendung von Proximal Policy Optimization, PPO) führt Aktionen in jedem Zeitschritt aus. Er konditioniert seine Policy sowohl auf die aktuelle Umgebungsbeobachtung als auch auf den vom LLM generierten Intent. Dies ermöglicht dem Controller, umgebungsgefundene Policies zu erlernen, während er hochrangigen strategischen Leitlinien folgt.

Schlüsselmechanismen

Hierarchisches Reward Shaping: Um spärliche und verzögerte Belohnungen zu adressieren, führen die Autoren eine mehrkomponentige Belohnungsfunktion ein ( $r_t = r_{env} + r_{progress} + r_{constraint} + r_{alignment}$ ). Diese umfasst Strafen für ungültige Aktionen und Bonuspunkte für den Fortschritt durch Kill-Chain-Stadien (z. B. Entdeckung, Ausnutzung, Privilegienausweitung, Wirkung), abgestimmt auf MITRE ATT&CK.
Reflexion (Gedächtnis): Ein optionaler Mechanismus ermöglicht es dem LLM-Planer, am Ende jedes Episodenlaufs natürliche Sprach-Selbstreflexionen zu generieren. Diese Reflexionen (Zusammenfassung von Erfolgen, Misserfolgen und Verteidigerverhalten) werden in einem FIFO-Puffer gespeichert und als Eingabe für den Planer in nachfolgenden Episoden zurückgespeist, was eine strategische Anpassung ohne Parameter-Updates ermöglicht.
Zustandsrepräsentation: Beobachtungen werden für das LLM in eine Textzusammenfassung und für den RL-Controller in einen numerischen Merkmalsvektor transformiert. Der strukturierte Intent des LLM wird in einen Embedding-Raum kodiert, der mit dem Policy-Netzwerk des RL kompatibel ist.

Hauptbeiträge

Hierarchische LLM-RL-Architektur: Die Arbeit stellt eine neuartige Architektur vor, die strategische Planung (LLM) von taktischer Ausführung (RL) entkoppelt und eine strukturierte Interaktion zwischen hochrangiger Intent-Generierung und niedrigrangiger, umgebungsgefundener Steuerung ermöglicht.
Kill-Chain-abgestimmtes RL-Framework: Die Autoren führen einen Reward-Shaping-Mechanismus ein, der speziell darauf ausgelegt ist, langfristiges adversarisches Verhalten zu steuern, das mit den Stadien von MITRE ATT&CK übereinstimmt, und damit das Lernen in Umgebungen mit spärlichen Belohnungen zu stabilisieren.
Umfassende empirische Studie: Die Arbeit bewertet eine breite Palette von LLMs (0,6B bis 70B Parameter), darunter allgemeine Modelle (Qwen3, Llama), Reasoning-Spezialisten (DeepSeek-R1, QwQ) und domänenspezifische Cybersicherheitsmodelle (Foundation-Sec, DeepHat).
Rigoroses Benchmarking: Das Framework wird gegen die stärkste veröffentlichte autonome Verteidiger-Policy für das CAGE-4-Szenario (H-MARL Expert policy) evaluiert und bietet so einen robusten Test der Red-Teaming-Fähigkeiten unter realistischen adversarischen Bedingungen.

Ergebnisse

Die Experimente wurden über 200 Episoden in der CAGE-4-Umgebung durchgeführt. Die primäre Metrik war die Episode Compromise Rate (ECR).

Leistung des hybriden Frameworks: Die vorgeschlagenen LLM+RL-Agenten erreichten einen nahezu perfekten Erfolg.
- Qwen3 + RL: Erreichte eine ECR von 100% (200/200 Episoden).
- Foundation-Sec + RL: Erreichte eine ECR von 94%.
- Diese Agenten durchliefen zuverlässig mehrere Angriffsstadien, einschließlich Privilegienausweitung und Wirkung.
Grenzen von Standalone-LLMs: Nur-LLM-Agenten (Zero-Shot) zeigten eine begrenzte End-to-End-Fähigkeit.
- Nur 6 von 14 Modellen erreichten irgendeinen Kompromiss über den initialen Fußabdruck hinaus.
- Das stärkste Standalone-Modell (QwQ-32B) gelangte in nur 30% der Episoden zum Erfolg.
- Domänenspezifische Modelle (z. B. Foundation-Sec-8B) generierten hohe Aktionsvolumen, scheiterten jedoch daran, dies in einen sinnvollen Angriffsfortschritt umzusetzen (6,5% ECR), was darauf hindeutet, dass Domänenwissen allein ohne konsistente Ausführung unzureichend ist.
Grenzen von Standalone-RL: Der RL-only-Agent kollabierte zu einer degenerierten Policy, wählte in nahezu allen Zeitschritten eine einzige Aufklärungsaktion und erreichte eine ECR von 0%. Er scheiterte daran, die strukturierte Abfolge von Aktionen zu entdecken, die für mehrstufige Angriffe unter der gegebenen Belohnungsstruktur erforderlich ist.
Skalierungsbeobachtungen: Die Leistung in der Qwen3-Familie war nicht monoton; kleinere Modelle (0,6B, 1,7B) erzielten einige Erfolge, während größere Varianten (4B+) trotz effektiver Exploration keine Ausnutzungsversuche unternahmen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass autonomes Red Teaming gegen KI-gestützte SOAR-Systeme die enge Kopplung von strategischem Denken und erlernter Ausführung erfordert. Die Autoren argumentieren, dass:

Standalone-Ansätze unzureichend sind: Weder reine Denk- (LLM) noch reine Lernsysteme (RL) können vollständige Kill-Chain-Verhalten gegen adaptive Verteidiger ausführen.
Hybride Integration zu multiplikativer Verbesserung führt: Die Kombination von LLM-Planung mit RL-Ausführung führt zu erheblichen Verbesserungen beim Erfolg mehrstufiger Angriffe und der Robustheit.
Strukturierte Planung kritischer ist als Domänenspezialisierung: Allgemeine Modelle schnitten im hybriden Setting konsistent besser ab als größere, auf Cybersicherheit spezialisierte Modelle. Dies deutet darauf hin, dass Zuverlässigkeit der Ausgabe und strukturierte Kontrollierbarkeit Schlüsselanforderungen für LLMs in hierarchischen Entscheidungssystemen sind und die Vorteile einer spezifischen Domänen-Finetuning überwiegen.

Die Studie kommt zu dem Schluss, dass dieses hybride Framework die Lücke zwischen den Fähigkeiten des strategischen Denkens von LLMs und der adaptiven taktischen Ausführung von RL schließt und einen prinzipiellen Ansatz zur Stressprüfung der Robustheit autonomer Cyber-Abwehrsysteme bietet.