🤖 AI

Trident : How to Break Deep Reinforcement Learning Cyber Defenses (Agentic)

Das Papier stellt Trident vor, ein agentisches LLM-Red-Teaming-Framework, das eine „Code-as-Policy“-RLVR-Architektur nutzt, um adaptive Angriffsstrategien zu generieren, und zeigt auf, dass bestehende Deep-Reinforcement-Learning-Cyberabwehren fundamental brüchig sind und von dynamischen Bedrohungen im Vergleich zu statischen heuristischen Baselines leicht übertroffen werden.

Ursprüngliche Autoren: Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

Veröffentlicht 2026-08-06

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein hochkarätiges digitales Schachspiel vor, bei dem es jedoch nicht darum geht, Figuren auf einem Brett zu bewegen, sondern zwei Teams um ein weit verzweigtes, unsichtbares Netzwerk von Computern kämpfen. Das eine Team, das „Blue Team“, baut einen KI-Verteidiger, der lernt, Eindringlinge zu erkennen und defekte Computer in Echtzeit zu reparieren. Das andere Team, das „Red Team“, versucht einzubrechen. Jahrelang haben Wissenschaftler diese Blue-Team-Verteidiger gegen Red-Team-Angreifer getestet, die wie Roboter sind, die einem strengen, unveränderlichen Skript folgen. Sie führen dieselben Züge immer und immer wieder aus, wie ein mechanisches Spielzeug. Das Problem ist: Echte Hacker sind keine mechanischen Spielzeuge; sie sind clever, anpassungsfähig und ändern ihre Taktiken, sobald sie eine Verteidigung bemerken. Währenddessen ist eine neue Art von superintelligenter KI, bekannt als Large Language Model (LLM), unglaublich gut darin geworden, Rätsel zu lösen und Code zu schreiben. Die große Frage, die sich Wissenschaftler stellen, lautet: Wenn wir diese superintelligenten KIs lehren, das Red Team zu sein, können sie die Verteidigungen des Blue Teams dann endlich auf eine Weise überlisten, wie es alte, statische Roboter niemals könnten?

Genau das wollten die Forscher hinter einem Projekt namens Trident herausfinden. Sie bauten einen neuen, dynamischen Testplatz, auf dem ein intelligenter KI-Angreifer durch Tun lernen konnte, anstatt nur einem vorgefertigten Skript zu folgen. Sie erstellte eine riesige Bibliothek von über 13.000 simulierten Schlachten zwischen Angreifern und Verteidigern, um ihre KI zu trainieren. Anstatt der KI beizubringen, jeden einzelnen Schritt einzeln zu wählen, lehrten sie sie, ihre eigene „Angriffsstrategie“ als Stück Computercode zu schreiben, den sie dann gegen den Verteidiger ausführt.

Die Ergebnisse waren verblüffend. Die Trident-KI, die auf nur einem einzigen 7-Milliarden-Parameter-Modell (eine relativ kleine Größe für moderne KIs) trainiert wurde, besiegte die Verteidiger nicht nur, sondern verursachte einen massiven Einbruch in deren Effektivität. Während die alten, statischen Angreifer kaum einen Kratzer hinterließen, reduzierte Trident die defensive Leistung des Blue Teams im Vergleich zum Ausgangswert um durchschnittlich 522 %. Dies deutet darauf an, dass viele der heutigen „smarten“ Cyber-Verteidigungen in Wirklichkeit viel fragiler sind, als wir dachten, weil sie lediglich gegen dumme, vorhersehbare Feinde getestet wurden. Trident folgte nicht nur Regeln; es entdeckte selbstständig clevere neue Tricks, wie zum Beispiel zu erkennen, wenn ein Verteidiger versuchte, es mit einem falschen Ziel (einem „Decoy“) zu täuschen, und lernte, dieses zu ignorieren, oder herauszufinden, welche Computer zuerst gehackt werden müssten, um den größten Wert zu erzielen. Das Paper legt nahe, dass wir, um wirklich sichere Systeme zu bauen, aufhören müssen, sie gegen statische Roboter zu testen, und stattd beginnen müssen, sie gegen adaptive, lernende KIs wie Trident zu testen.

Technisches Resümee: Trident – Wie man Deep Reinforcement Learning bricht

Problemstellung

Autonome Cybers Verteidigungssysteme auf Basis von Deep Reinforcement Learning (DRL) werden zunehmend eingesetzt, um Netzwerke zu überwachen und kompromittierte Hosts in Echtzeit wiederherzustellen. Ihre Robustheit gegenüber adaptiven Bedrohungen bleibt jedoch kritisch unteruntersucht. Die derzeitigen Evaluierungen stützen sich fast ausschließlich auf statische, heuristische „Red Agents“ mit festen Verhaltenssignaturen. Infolgedessen entwickeln DRL-Verteidiger Policys, die implizit auf diese statischen Muster konditioniert sind, was systematische Schwachstellen schafft, die traditionelle Evaluierungsmethoden nicht aufdecken können.

Gleichzeitig hat die Integration von Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) in den Bereich der Cybersicherheit, obwohl RLVR das LLM-Reasoning in Domänen wie Mathematik und Softwaretechnik vorangebracht hat, durch einen Mangel an geeigneten Benchmark-Umgebungen gehemmt. Bestehende Cybersicherheits-Datensätze bieten typischerweise statische Korpora oder isolierte Capture-The-Flag (CTF)-Herausforderungen, denen es an den kontinuierlichen, mehrstufigen Interaktionen mangelt, die für das Training von Agenten gegen aktive, adaptive Verteidiger erforderlich sind. Es besteht eine kritische Lücke in der Infrastruktur, die in der Lage ist, stabile, reproduzierbare adversarielle Umgebungen mit verifizierbaren Belohnungssignalen für das RLVR-Training von LLM-basierten Red Agents bereitzustellen.

Methodik

Um diese Lücken zu schließen, führen die Autoren Trident ein, ein dynamisches Red-Teaming-Framework, das aus einer Benchmark-Infrastruktur, einem Datensatz und einer agentischen Architektur besteht.

1. Trident Benchmark und Datensatz

Trident operiert über zwei hochgradig realistische Simulatoren: CybORG CAGE 4 (welches ein segmentiertes militärisches Netzwerk mit kooperativen Multi-Agenten-Verteidigern modelliert) und CyberWheel (welches Angriffe in realen MITRE ATT&CK-Techniken verankert).

Infrastruktur: Das Framework nutzt isolierte, containerisierte Sandbox-Server mit einer Client-Server-Architektur. Generierte Attack-Policies werden an diese Sandboxes übertragen, dort nativ gegen Live-DRL-Verteidiger ausgeführt und liefern deterministische, verifizierbare Ausführungsprotokolle zurück.
Datensatz: Die Autoren konstruierten einen Datensatz von über 13.000 hochgradig realistischen Red-Blue-Interaktions-Trajektorien. Diese Trajektorien werden in strukturierte natürliche Sprachprotokolle serialisiert, welche partielle Beobachtungen, differenzielle Host-Intelligenz und Aktionsergebnisse erfassen und somit die Grundlage für das RLVR-Post-Training bilden.

2. Trident Agentic Architektur

Trident Agentic reformuliert das Trainingsproblem des Red Agents von einem dezentralen partiell beobachtbaren Markov-Entscheidungsprozess (Dec-POMDP) in ein Kontextuelles Bandit-Problem unter Verwendung eines „Code-as-Policies“-Paradigmas. Die Architektur besteht aus drei spezialisierten Modulen:

Log Summarizer: Ein hybrides Modul, das regelbasiertes Parsing und ein eingefrorenes LLM verwendet, um rohe Ausführungsprotokolle zu komprimieren. Es bewahrt kritische „Meilenstein“-Ereignisse (z. B. erfolgreiche Exploits, Privilegieneskalationen), während es fehlgeschlagene Versuche sammelt, und synthetisiert so eine dichte semantische Zusammenfassung für den Planer.
Planner ( $\pi_\theta$ ): Die einzige trainierbare Komponente (ein 7B-Parameter LLM). Er erhält die komprimierte Zusammenfassung als Kontext und generiert in einem einzigen Forward-Pass eine High-Level-Angriffsstrategie, wobei er ein strukturiertes JSON-Payload ausgibt. Er wird mittels Group Relative Policy Optimization (GRPO) unter Verwendung verifizierbarer Belohnungen optimiert, die aus der Sandbox-Ausführung abgeleitet werden.
Coder: Ein eingefrorenes LLM, das die JSON-Strategie des Planners in ausführbaren Python-Code übersetzt. Es verwendet einen AST-basierten (Abstract Syntax Tree) Patching-Mechanismus und eine iterative Self-Repair-Schleife (bis zu $K=3$ Versuchen), um Syntaxfehler vor dem Deployment zu korrigieren, wodurch sichergestellt wird, dass der Planner nicht für inkrementellen Implementierungsrauschen bestraft wird.

3. Reward-Design

Das System nutzt eine dichte, verifizierbare Belohnungsfunktion, die direkt aus den Ausführungsprotokollen abgeleitet wird:

Positive Meilensteine ( $R^+$ ): Gewichtete Belohnungen für den Fortschritt in der Killchain (z. B. Systemauswirkung, Privilegieneskalation), ergänzt durch einen Effizienzkofizienten basierend auf dem Verhältnis von Erreichung zu Schritten.
Negative Ereignisse ( $R^-$ ): Strafen für fehlgeschlagene Exploits, ungültige Aktionen und operationales Rauschen.
Ausführungsstrafen: Strenge Strafen werden für Syntaxfehler, Laufzeitfehler oder Versuche angewendet, auf unbeobachtbare Simulator-Interna (z. B. Decoy-Flags) zuzugreifen, um sicherzustellen, dass der Agent sich auf behaviorale Inferenz statt auf privilegierten Zustugriff verlässt.

Kernbeiträge

Trident Evaluation Benchmark und Datensatz: Der erste kreuz-umgebungsbezogene Red-Teaming-Benchmark, der CAGE 4 und CyberWheel umfasst und eine isolierte Sandbox-Ausführung für verifizierbare Belohnungen gegen Live-DRL-Verteidiger bereitstellt. Er enthält einen Datensatz von über 13.000 Trajektorien, die speziell zur Unterstützung des RLVR-Trainings entwickelt wurden.
Trident Agentic: Eine tripartite agentische LLM-Architektur, die „Code-as-Policies“ nutzt, um die direkte Generierung ausführbarer Angriffsstrategien zu ermöglichen. Durch die Behandlung der Strategiegenerierung als kontextueller Bandit umgeht sie die rechnerische Unlösbarkeit der schrittweisen POMDP-Planung.
Empirischer Beleg für die Sprödigkeit von DRL: Das Framework demonstriert, dass aktuelle autonome Verteidiger signifikant spröder gegenüber adaptiven Angreifern sind, als es durch statische Evaluierungen bisher indiziert wurde.

Experimentelle Ergebnisse

Die Autoren evaluierten Trident Agentic gegen State-of-the-Art DRL Blue Agents (einschließlich GNN-, HMARL- und MARL-Varianten) sowohl in CAGE 4 als auch in CyberWheel.

Leistungsreduktion: Trident Agentic reduzierte die defensive Leistung der Blue Agents um durchschnittlich 522 % im Vergleich zu Standard-Heuristik-Baselines.
Vergleich zu Baselines:
- Statische Heuristiken: Traditionelle Red Agents konnten die Schwachstellen in den gelernten Policies nicht aufdecken.
- Zero-Shot/CoT: Während Zero-Shot-Prompting und Chain-of-Thought (CoT)-Ansätze zwar eine gewisse Verbesserung gegenüber statischen Baselines zeigten, wurden sie von dem via RLVR trainierten Trident Agentic deutlich übertroffen.
- Frontier-Modelle: Ein 7B-Parameter-Modell, das via RLVR trainiert wurde (Trident Agentic), übertraf die Performance von Frontier-Scale-Modellen (z. B. GPT-4o) im Zero-Shot-Modus, was die Effektivität von aufgabenspezifischem RLVR-Training gegenüber reiner Modellgröße hervorhebt.
Emergente Verhaltensweisen: Die trainierten Agenten entdeckten autonom neuartige Angriffsvektoren, die statische Heuristiken nicht darstellen konnten, darunter:
- Decoy Avoidance (Vermeidung von Täuschern): In CyberWheel lernte der Agent, Angriffe auf Hosts abzubrechen, die wiederholte Fehler aufwiesen, und identifizierte sowie umging effektiv Honeypots.
- Adaptive State Prioritization (Adaptive Zustandspriorisierung): In CAGE 4 lernte der Agent, hochwertige Ziele (z. B. Root/User-Zugriff) gegenüber grundlegender Rekonnaissance zu priorisieren, und verschob seinen Fokus dynamisch basierend auf dem Netzwerkzustand.

Bedeutung und Ansprüche

Das Paper behauptet, dass Trident eine fundamentale Evaluierungslücke in der autonomen Cyber-Verteidigung aufzeigt: Aktuelle Praktiken unterschätzen die Verwundbarkeit von DRL-Verteidigern gegenüber adaptiven, generativen Angreifern massiv. Indem sie zeigen, dass ein kompaktes, Open-Weight 7B LLM systematisch State-of-the-Art-Verteidigungen demontieren kann, argumentieren die Autoren, dass das Feld über statische Adversary-Evaluierungen hinausgehen muss.

Trident wird nicht bloß als offensives Werkzeug präsentiert, sondern als notwendige Infrastruktur für die „Ko-Evolution“ von Cyber-Offense und -Defense. Sein simulator-agnostisches, RESTful Sandbox-Design ermöglicht die Integration hochgradig realistischer Umgebungen, was das Training von Blue Agents ermöglicht, die robust gegenüber generativen, adaptiven Bedrohungen sind. Die Autoren betonen, dass Transparenz hinsichtlich dieser Fähigkeiten essenziell ist, um die Entwicklung ebenso adaptiver, RL-gestützter defensiver Systeme voranzutreiben, bevor solche Angriffsstrategien unabhängig durch Adversaries eingesetzt werden.