⚡ electrical engineering

Learning Red Agent Policy from Observations for Neurosymbolic Autonomous Cyber Agents

Dieses Paper schlägt eine Imitationslerntechnik vor, um neurosymbolischen autonomen Cyber-Abwehr-Agenten zu ermöglichen, nicht beobachtbare Red-Agent-Policies und deren Aktionen aus Netzwerkbeobachtungen vorherzusagen, wodurch deren Fähigkeit zur Anpassung an raffinierte Cyber-Angriffe in teilweise beobachtbaren Umgebungen verbessert wird.

Ursprüngliche Autoren: Ankita Samaddar, Sandeep Neema, Daniel Balasubramanian, Xenofon Koutsoukos

Veröffentlicht 2026-06-17

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ankita Samaddar, Sandeep Neema, Daniel Balasubramanian, Xenofon Koutsoukos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein hochkarätiges Schachspiel in einem nebligen Raum vor. Sie sind der Verteidiger (der „Blue Agent“), der versucht, seine Burg zu schützen. Ihr Gegner ist der Angreifer (der „Red Agent“), der versucht, einzubrechen.

Das Problem? Sie können Ihren Gegner nicht sehen. Sie sehen nur die Ergebnisse seiner Züge: Eine Tür wird plötzlich geöffnet, ein Licht flackert oder ein Möbelstück wird bewegt. Sie kennen Ihre eigenen Züge, aber Sie müssen erraten, was Ihr unsichtbarer Gegner gerade getan hat, basierend darauf, wie sich der Raum verändert hat.

Dieses Paper beschreibt einen neuen Weg für den Verteidiger, den „Gedanken zu lesen“ des Angreifers in einem digitalen Netzwerk, selbst wenn der Angreifer verborgen bleibt.

Die Umgebung: Eine digitale Burg

Die Forscher verwendeten ein simuliertes Netzwerk namens CybORG. Stellen Sie sich dieses Netzwerk wie eine Burg mit drei Bereichen vor:

Der Innenhof (User Subnet): Wo reguläre Menschen arbeiten.
Das Büro (Enterprise Subnet): Wo wichtige Server und Daten liegen.
Der Tresorraum (Operational Subnet): Die kritischste, sensibelste Maschinerie.

Der Angreifer versucht, vom Innenhof durch das Büro schließlich in den Tresorraum einzuschleichen, um Schaden anzurichten. Der Verteidiger versucht, ihn zu stoppen.

Das Problem: Der „Black Box“-Nebel

In diesem Spiel ist der Verteidiger „teilweise beobachtbar“ (partially observable). Das ist eine schicke Art zu sagen: „Ich kann den Angreifer nicht sehen.“

Der Verteidiger sieht den Zustand des Netzwerks (z. B. „Server A ist nun kompromittiert“).
Der Verteidiger weiß, was er selbst getan hat (z. B. „Ich habe das Netzwerk gescannt“).
Aber der Verteidiger weiß nicht, was der Angreifer getan hat, um diese Änderung zu verursachen. Hat er gescannt? Hat er ein Passwort gehackt? Hat er einen Virus installiert?

Ohne zu wissen, was der Angreifer spezifisch getan hat, ist es schwer, seinen nächsten Schritt vorherzusagen oder zu verstehen, wie tief er in das System eingedrungen ist.

Die Lösung: Eine „Sherlock Holmes“-KI

Die Autoren schlagen eine Technik namens Policy Learning vor, die einer Methode ähnlich ist wie dem Imitation Learning.

Hier ist die Analogie: Stellen Sie sich vor, Sie beobachten einen Zauberer bei einem Trick. Sie sehen die Hände des Zauberers sich bewegen (die Aktion des Verteidigers) und Sie sehen, dass ein Kaninchen erscheint (die Änderung des Netzwerkzustands). Sie sehen nicht den geheimen Griff, den der Zauberer gemacht hat, um das Kaninchen aus dem Hut zu ziehen.

Die Forscher haben eine KI gebaut, die wie ein Detektiv agiert:

Beobachten und Lernen: Sie ließen die KI tausende von Spielen beobachten, in denen Angreifer und Verteidiger gegeneinander spielen. Obwohl die KI die Züge des Angreifers während des Spiels nicht sieht, hat sie während des Trainings ein „Spickzettel“ (die Ground Truth), um zu sehen, was tatsächlich passiert ist.
Muster finden: Die KI lernt ein Muster: „Wenn der Verteidiger das Netzwerk scannt und der Server plötzlich anders aussieht, muss der Angreifer X getan haben.“
Die Zukunft vorhersagen: Sob: Die KI kann in einem neuen Spiel in Echtzeit agieren. Sie sieht den Zug des Verteidigers und die daraus resultierende Änderung und sagt: „Ich wette, der Angreifer hat gerade X gemacht.“

Wie es funktioniert: Der dreistufige Detektiv-Prozess

Das Paper unterteilt dies in drei Phasen, wie ein Detektiv, der einen Fall löst:

Die „Was ist passiert?“-Phase (Inverse Dynamics): Die KI betrachtet das „Vorher“ und „Nachher“ des Netzwerks sowie den Zug des Verteidigers. Sie versucht zu erraten, welchen „unsichtbaren“ Zug der Angreifer gemacht hat, der die Änderung verursacht hat. Sie erstellt eine grobe, abstrakte Vermutung (eine „latente Aktion“).
Die „Übungs“-Phase (Policy Learning): Die KI trainiert sich selbst, um besser im Raten zu werden. Sie versucht, die unsichtbaren Züge nachzuahmen, die sie in Schritt 1 herausgefunden hat. Es ist wie ein Schüler, der einen Tanz übt, indem er die Fußabdritte des Lehrers beobachtet.
Die „Übersetzungs“-Phase (Mapping): Die Vermutungen der KI sind noch vage. Dieser Schritt übersetzt die vage Vermutung in einen spezifischen, realen Angriffsnamen (z. B. „Exploit Remote Service“) und ein spezifisches Ziel (z. B. „Server 3“).

Das „neurosymbolische“ Gehirn

Das Paper erwähnt Neurosymbolische KI und Behavior Trees.

Neurosymbolisch bedeutet, zwei Arten des Denkens zu kombinieren:
- Neural: Aus Daten lernen (wie ein Mensch, der durch Erfahrung lernt).
- Symbolisch: Logischen Regeln folgen (wie ein Computer, der einer strikten Checkliste folgt).
Behavior Trees sind wie ein Flussdiagramm oder ein Entscheidungsbaum. Stellen Sie sich einen Sicherheitswachmann mit einem Klemmbrett vor. Der Wachmann prüft: „Ist die Tür offen? Ja. Gibt es einen Eindringling? Ja. Dann schlage Alarm.“
Die Forscher haben ihre neue „Gedankenleser“-KI in diesen Flussdiagramm integriert. Nun reagiert der Wachmann nicht nur darauf, dass die Tür offen ist; der Wachmann kann vorhersagen, dass der Eindringling wahrscheinlich als Nächstes in den Tresorraum geht, und sich darauf vorbereiten.

Die Ergebnisse: Wie gut war es?

Die Forscher testeten dies in der simulierten „CybORG“-Umgebung gegen zwei Arten von Angreifern:

Der „B-Line“-Angreifer: Ein direkter, geradliniger Pfad zum Ziel. (Wie ein Einbrecher, der direkt auf den Tresor zuläuft).
Der „Meander“-Angreifer: Ein umherwandernder Angreifer, der jeden Raum kontrolliert und versucht, in jeden Computer einzudringen, bevor er weiterzieht. (Wie ein Einbrecher, der im ganzen Haus herumschleicht).

Die Ergebnisse:

Direkte Angreifer: Die KI war unglaublich genau (über 99 %) bei der Vorhersage der Züge des direkten Angregers. Da ihr Pfad vorhersehbar ist, konnte die „Detektiv“-KI den nächsten Schritt leicht erraten.
Umherwandernde Angreifer: Die KI war immer noch sehr gut (etwa 95 % für den allgemeinen Bereich, obwohl etwas weniger präzise bezüglich des exakten Computers), beim Vorhersagen des wandernden Angreifers.
Strategiewechselnde Angreifer: Sie testeten sogar einen Angreifer, der die Strategie auf halbem Weg wechselt. Die KI konnte sich anpassen und die Vorhersage fortsetzen, auch wenn sie einen Moment brauchte, um sich nach dem Strategiewechsel einzufangen.

Warum das wichtig ist

Die Kernaussage ist, dass dieses System es einem Verteidiger ermöglicht, das Unsichtbare zu sehen. Indem der Verteidiger vorhersagt, was der Angreifer gerade jetzt tut, kann er:

Ein Eindringen früher erkennen.
Verstehen, wie tief der Angreifer bereits eingedrungen ist (z. B. „Sie haben Benutzerzugriff, aber noch keinen Admin-Zugriff“).
Effektiver reagieren, weil er nicht nur rät, sondern eine fundierte Vorhersage basierend auf der verborgenen „Policy“ des Angreifers trifft.

Kurz gesagt präsentiert das Paper einen Weg, ein nebliges, blindes Verteidigungsspiel in ein klareres Match zu verwandeln, bei dem der Verteidiger den nächsten Zug des Angreifers antizipieren kann, selbst ohne ihn zu sehen.

Technisches Resümee: Lernen der Red-Agent-Policy aus Beobachtungen für neurosymbolische autonome Cyber-Agenten

Problemstellung

Moderne autonome Cyber-Verteidigungssysteme verlassen sich zunehmend auf Reinforcement Learning (RL)-Agenten, um Sicherheitsregeln durchzusetzen und sich an evolvierende Bedrohungen anzupassen. Diese Umgebungen sind jedoch inhärent teilweise beobachtbar (partially observable). Insbesondere kann der Verteidiger (Blue-Agent) die Aktionen oder Policies des Angreifers (Red-Agent) nicht direkt beobachten. Der Verteidiger nimmt lediglich partielle Zustandsübergänge und indirekte Auswirkungen von Angriffen wahr. Dieser Mangel an Sichtbarkeit erschwert die Rekonstruktion der wahren Systemdynamik, die Vorhersage von Angreiferbewegungen oder die effektive Einschätzung von Intrusion-Levels.

Obwohl Imitationslernen bereits zur Inferenz latenter Policies in klassischen Steuerungs- und Videodomänen angewendet wurde, sind bestehende Methoden nicht direkt auf autonome Netzwerke übertragbar. Dies liegt daran, dass Netzwerkzustände typischerweise diskret sind (Snapshots von Host-/Serveraktivitäten) und Zustandsübergänge von den gemeinsamen Aktionen sowohl des Red- als auch des Blue-Agents abhängen. Folglich besteht ein kritischer Bedarf an einer Technik, die Red-Agent-Policies lernen und Red-Aktionen zur Laufzeit unter Verwendung ausschließlich von Blue-Beobachtungen und Blue-Aktionen vorhersagen kann.

Methodik

Die Autoren schlagen eine Policy-Learning-Technik vor, die auf Imitationslernen basiert und darauf ausgelegt ist, Red-Agent-Policies ( $\pi'$ ) zu inferieren und Red-Aktionen ( $r_{t-1}$ ) aus aufeinanderfolgenden Blue-Beobachtungen ( $o^b_{t-1}, o^b_t$ ) und der vorherigen Blue-Aktion ( $b_{t-1}$ ) vorherzusagen. Der Ansatz ist in drei Phasen gegliedert und in ein neurosymbolisches Framework integriert.

1. Problemformulierung

Das Netzwerk wird als diskreter Partially Observable Markov Decision Process (POMDP) modelliert. Das Ziel ist es, die Red-Policy $\pi'$ zu lernen, gegeben eine bekannte Blue-Policy $\pi$ . Der Input besteht aus:

Blue-Beobachtungen bei $t-1$ und $t$ .
Der zum Zeitpunkt $t-1$ ausgeführten Blue-Aktion.
Das Ziel ist die Vorhersage der zum Zeitpunkt $t-1$ ausgeführten Red-Aktion.

2. Drei-Phasen-Lerntechnik

Die Technik verwendet ein mehrstufiges Dynamikmodell unter Verwendung von Deep Neural Networks (DNNs):

Phase I: Datengenerierung
- Das System interagiert mit der Umgebung, um Übergänge $(o^b_{t-1}, b_{t-1} \to o^b_t)$ zu sammeln.
- Ein Datensatz $D$ wird für das Training generiert.
- Ein gelabelter Datensatz $D_R$ wird erstellt, indem die Ground-Truth-Red-Aktionen ( $r_{t-1}$ ) aus dem System extrahiert (während der eigentlichen Laufzeit nicht beobachtbar) und in Komponenten vorverarbeitet werden: Aktionsname, Ziel-Host und Subnetz.
Phase II: Policy-Lernen (Latente Aktions-Inferenz)
- Kodierung: Blue-Aktionen und Ziele werden One-Hot-kodiert.
- Latentes Aktions-Lernen: Zwei Modelle werden gemeinsam trainiert:
  1. Inverse Dynamics Model (IDM1): Schätzt eine latente Red-Aktion ( $l_{t-1}$ ) gegeben Beobachtungen und Blue-Aktionen.
  2. Forward Dynamics Model (FDM1): Prädiziert die aktuelle Beobachtung ( $\tilde{o}^b_t$ ) gegeben den vorherigen Zustand, die Blue-Aktion und die inferierte latente Aktion.
  - Diese werden trainiert, um den Beobachtungsfehler $|\tilde{o}^b_t - o^b_t|$ zu minimieren, wodurch die latente Aktion gezwungen wird, die fehlende Red-Dynamik zu erfassen.
- Policy-Imitation: Ein zweites Inverse Dynamics Model (IDM2) wird trainiert, um die von IDM1 gelernten latenten Aktionen zu imitieren, wodurch effektiv die Policy $\pi'$ gelernt wird.
- Abbildung auf diskrete Aktionen: Ein Forward Dynamics Model (FDM2) bildet die kontinuierlichen latenten Aktionen zurück auf diskrete Red-Aktionskomponenten (Aktionsname, Host, Subnetz). Diese Ausgaben werden geschwelligwertet, um binäre One-Hot-Kodierungen für die endgültige vorhergesagte Red-Aktion $\hat{r}_{t-1}$ zu erzeugen.

3. Integration in neurosymbolische Agenten

Die gelernte Policy wird in einen Evolving Behavior Tree (EBT) integriert, eine neurosymbolische Architektur, die Behavior Trees (BTs) mit Learning-Enabled Components (LECs) kombtiniert.

Neue Verhaltensweisen werden zum EBT hinzugefügt, um die Vorhersage zur Laufzeit durchzuführen.
Ein Konditionsknoten stellt sicher, dass eine ausreichende Beobachtungshistorie vorhanden ist, bevor eine Vorhersage erfolgt.
Der EBT wählt die entsprechende gelernte Red-Policy basierend auf der aktiven Blue-Strategie (z. B. Unterscheidung zwischen „Meander“- und „B line“-Angreiferstrategien).
Falls keine Policy existiert, protokolliert das System die Übergänge für die Offline-Analyse.

Wichtigste Beiträge

Das Paper skizziert drei primäre Beiträge:

Policy-Learning-Technik: Eine neuartige Methode, um Red-Agent-Policies zu lernen und Red-Aktionen in teilweise beobachtbaren RL-Umgebungen mit diskreten Zuständen und Aktionen vorherzusagen, wobei ausschließlich Blue-Beobachtungen und Blue-Aktionen genutzt werden.
Neurosymbolische Integration: Die erfolgreiche Integration dieser Technik in einen Behavior-Tree-basierten autonomen Cyber-Verteidigungsagenten, der die Vorhersage von Angreiferbewegungen zur Laufzeit ermöglicht.
Empirische Evaluierung: Eine umfassende Evaluierung unter Verwendung der CybORG CAGE Challenge 2 Umgebung, welche MITRE ATT&CK-Taktiken nutzt. Der Ansatz demonstriert eine hohe Genauigkeit über diverse Strategien hinweg, einschließlich dynamischem Strategiewechsel.

Experimentelle Ergebnisse

Die Autoren evaluierten die Technik in der CybORG CAGE Challenge 2 Umgebung unter Verwendung zweier statischer Angreiferstrategien (Meander und B line) sowie einer dynamischen Wechselstrategie (RedSwitch).

Vorhersagegenauigkeit:
- B line: Erzielte die höchste Genauigkeit (99,93 % für die Blue-Beobachtungsvorhersage, 95,28 % für die Red-Aktion auf Host-Ebene) aufgrund ihrer deterministischen, zielorientierten Natur.
- Meander: Zeigte eine geringere Genauigkeit (94,96 % Beobachtung, 77,71 % Host-Ebene) aufgrund der höheren Variabilität im Verhalten.
- RedSwitch: Die Leistung variierte je nach aktiver Strategie; die Genauigkeit stieg an, wenn der Agent zur B-line-Strategie wechselte.
- Subnetz vs. Host: Die Genauigkeit der Vorhersage auf Subnetz-Ebene lag konsistent über der auf Host-Ebene, was auf die inhärente Zufälligkeit bei der Auswahl des Ziel-Hosts zurückzuführen ist.
Schätzung des Intrusion-Levels:
- Die vorhergesagten Aktionen wurden verwendet, um Intrusion-Scores basierend auf Kompromiss-Stufen (Kein, User-Level, Privilege-Level) zu berechnen.
- Die Ergebnisse zeigten, dass der Blue EBT-Agent bei der Bekämpfung von Angriffen unter der Meander-Strategie deutlich effektiver war als bei B line und RedSwitch, was durch weniger Zeitschritte ersichtlich wurde, die ein Privilege-Level Compromise erreichten.

Bedeutung und Ansprüche

Das Paper behauptet, dass die vorgeschlagene Technik die Herausforderung der teilweisen Beobachtbarkeit in der autonomen Cyber-Verteidigung effektiv adressiert. Durch die Inferenz von Red-Policies zur Laufzeit ermöglicht das System:

Früherkennung von Angreiferbewegungen vor einem tiefgreifenden Netzwerk-Kompromiss.
Einschätzung des Intrusion-Levels des Angreifers über die Zeit.
Verfeinerung von Minderungsstrategien durch Identifizierung von Netzwerk Schwachstellen, die durch vorhergesagte Red-Aktionen offengelegt werden.

Die Autoren merken an, dass die aktuelle Evaluierung auf einer simulierten Umgebung (CybORG CAGE Challenge 2) basiert, die von MITRE ATT&CK abgeleitet ist, die Technik jedoch auf jeden teilweise beobachtbaren RL-basierten Agenten mit diskreten Zuständen und Aktionen verallgemeinerbar ist. Als zukünftige Arbeit wird die Validierung des Ansatzes in realistischen emulierten Umgebungen sowie die Nutzung der vorhergesagten Red-Aktionen zur Ausbildung robusterer Blue-Agenten identifiziert. Die Arbeit wird als ein Schritt hin zu adaptiveren und interpretierbaren autonomen Verteidigungssystemen präsentiert.