⚡ electrical engineering

Learning Red Agent Policy from Observations for Neurosymbolic Autonomous Cyber Agents

Dit artikel stelt een imitatieleertechniek voor om neurosymbolische autonome cyberdefensie-agenten in staat te stellen onwaarneembare red-agentbeleid en -acties te voorspellen vanuit netwerkobservaties, waardoor hun vermogen om zich aan te passen aan geavanceerde cyberaanvallen in gedeeltelijk waarneembare omgevingen wordt verbeterd.

Oorspronkelijke auteurs: Ankita Samaddar, Sandeep Neema, Daniel Balasubramanian, Xenofon Koutsoukos

Gepubliceerd 2026-06-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ankita Samaddar, Sandeep Neema, Daniel Balasubramanian, Xenofon Koutsoukos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een hoogwaardig schaakspel voor dat wordt gespeeld in een mistige kamer. Jij bent de verdediger (de "Blue Agent"), die probeert je kasteel te beschermen. Je tegenstander is de aanvaller (de "Red Agent"), die probeert binnen te dringen.

Het probleem? Je kunt je tegenstander niet zien. Je ziet alleen de resultaten van hun zetten: een deur staat plotseling open, een licht knippert, of een meubelstuk is verplaatst. Je kent je eigen zetten, maar je moet raden wat je onzichtbare tegenstander net heeft gedaan op basis van hoe de kamer is veranderd.

Dit artikel beschrijft een nieuwe manier voor de verdediger om de "gedachten te lezen" van de aanvaller in een digitaal netwerk, zelfs wanneer de aanvaller verborgen is.

De Setting: Een Digitaal Kasteel

De onderzoekers gebruikten een gesimuleerd netwerk genaamd CybORG. Denk aan dit netwerk als een kasteel met drie gebieden:

De Binnenplaats (User Subnet): Waar gewone mensen werken.
De Kantoorruimte (Enterprise Subnet): Waar belangrijke servers en data zich bevinden.
De Kluis (Operational Subnet): De meest kritieke, gevoelige machines.

De aanvaller probeert vanuit de Binnenplaats, door de Kantoorruimte, naar de Kluis te sluipen om schade aan te richten. De verdediger probeert hen te stoppen.

Het Probleem: De "Black Box" Mist

In dit spel is de verdediger "gedeeltelijk observeerbaar". Dat is een chique manier van zeggen: "Ik kan de aanvaller niet zien."

De verdediger ziet de staat van het netwerk (bijv. "Server A is nu gecompromitteerd").
De verdediger weet wat hijzelf deed (bijv. "Ik heb het netwerk gescand").
Maar de verdediger weet niet wat de aanvaller deed om die verandering te veroorzaken. Hebben ze gescand? Hebben ze een wachtwoord gehackt? Hebben ze een virus geïnstalleerd?

Zonder te weten wat de specifieke zet van de aanvaller was, is het moeilijk om de volgende stap te voorspellen of te begrijpen hoe diep zij in het systeem zijn doorgedrongen.

De Oplossing: Een "Sherlock Holmes" AI

De auteurs stellen een techniek voor genaamd Policy Learning met behulp van een methode die lijkt op Imitation Learning.

Hier is de analogie: Stel je voor dat je een goochelaar een truc ziet uitvoeren. Je ziet de handen van de goochelaar bewegen (de actie van de verdediger) en je ziet het konijn verschijnen (de verandering in de staat van het netwerk). Je ziet niet de geheime beweging die de goochelaar maakte om het konijn uit de hoed te trekken.

De onderzoekers hebben een AI gebouwd die werkt als een detective:

Kijken en Leren: Ze lieten de AI duizenden spellen bekijken waarin de aanvaller en de verdediger tegen elkaar spelen. Hoewel de AI tijdens het spel de zetten van de aanvaller niet ziet, heeft de AI tijdens de training een "spiekbriefje" (de grondwaarheid) om te zien wat er werkelijk is gebeurd.
Patronen Vinden: De AI leert een patroon: "Wanneer de verdediger het netwerk scant en de server er plotseling anders uitziet, moet de aanvaller X gedaan hebben."
De Toekomst Voorspellen: Eenmaal getraind, kan de AI in een nieuw spel in realtime kijken. De AI ziet de zet van de verdediger en de resulterende verandering, en zegt: "Ik wed dat de aanvaller net X heeft gedaan."

Hoe het Werkt: Het Drie-Stappen Detectiveproces

De paper verdeelt dit in drie fasen, zoals een detective die een zaak oplost:

De "Wat is er Gebeurd?" Fase (Inverse Dynamics): De AI kijkt naar het "voor" en "na" van het netwerk en de zet van de verdediger. De AI probeert te raden welke onzichtbare zet de aanvaller heeft gemaakt die de verandering veroorzaakte. Het creëert een ruwe, abstracte gok (een "latente actie").
De "Oefen" Fase (Policy Learning): De AI traint zichzelf om beter te worden in het raden. De AI probeert de onzichtbare zetten na te bootsen die hij in stap 1 heeft ontdekt. Het is als een leerling die een dans oefent door naar de voetstappen van de leraar te kijken.
De "Vertaling" Fase (Mapping): De gokken van de AI zijn nog vaag. Deze stap vertaalt de vage gok naar een specifieke, echte aanvalnaam (bijv. "Exploit Remote Service") en een specifiek doelwit (bijv. "Server 3").

De "Neurosymbolische" Hersenen

De paper noemt Neurosymbolische AI en Behavior Trees.

Neurosymbolisch betekent het combineren van twee soorten denken:
- Neuraal: Leren van data (zoals een mens die leert van ervaring).
- Symbolisch: Logische regels volgen (zoals een computer die een strikte checklist volgt).
Behavior Trees zijn als een flowchart of een beslisboom. Stel je een beveiligingsbeambte voor met een klembord. De beambte controleet: "Is de deur open? Ja. Is er een indringer? Ja. Dan het alarm laten afgaan."
De onderzoekers hebben hun nieuwe "gedachtenlezende" AI in deze flowchart geplaatst. Nu reageert de beambte niet alleen op het feit dat de deur openstaat; de beambte kan voorspellen dat de indringer waarschijnlijk als volgende naar de Kluis gaat, en zich daarop voorbereiden.

De Resultaten: Hoe Goed Was het?

De onderzoekers testten dit in de gesimuleerde "CybORG"-omgeving tegen twee soorten aanvallers:

De "B-Line" Aanvaller: Een directe, rechte lijn naar het doel. (Zoals een inbreker die rechtstreeks naar de kluis rent).
De "Meander" Aanvaller: Een rondhangende aanvaller die elke kamer controleert en probeert in elke computer binnen te dringen voordat hij verdergaat. (Zoals een inbreker die door het hele huis snuffelt).

De Bevindingen:

Directe Aanvallers: De AI was ongelooflijk nauwkeurig (meer dan 99%) in het voorspellen van de zetten van de directe aanvaller. Omdat hun pad voorspelbaar is, kon de "detective" AI de volgende stap gemakkelijk raden.
Rondhangende Aanvallers: De AI was nog steeds erg goed (ongeveer 95% voor het algemene gebied, hoewel iets minder precies op de exacte computer) in het voorspellen van de rondhangende aanvaller.
Wisselende Aanvallers: Ze testten zelfs een aanvaller die halverwege van strategie wisselt. De AI kon zich aanpassen en de voorspelling voortzetten, hoewel het een moment duurde om bij te komen wanneer de strategie veranderde.

Waarom Dit Belangrijk Is

De belangrijkste les is dat dit systeem de verdediger in staat stelt om het onzichtbare te zien. Door te voorspellen wat de aanvaller nu op dit moment doet, kan de verdefender:

Een indringing eerder detecteren.
Begrijpen hoe diep de aanvaller is doorgedrongen (bijv. "Ze hebben gebruikerstoegang, maar nog geen admin-toegang").
Effectiever reageren omdat ze niet alleen aan het gissen zijn; ze maken een onderbouwde voorspelling op basis van het verborgen "beleid" (policy) van de aanvaller.

Kortom, de paper presenteert een manier om een mistig, blind verdedigingsspel te veranderen in een heldere wedstrijd waarbij de verdediger de volgende zet van de aanvaller kan anticiperen, zelfs zonder hen te zien.

Technische Samenvatting: Leren van Red Agent Policy vanuit Observaties voor Neurosymbolische Autonome Cyber-agenten

Probleemstelling

Moderne autonome cyberverdedigingssystemen vertrouwen steeds vaker op Reinforcement Learning (RL) agenten om beveiligingsregels af te dwingen en zich aan te passen aan evoluerende dreigingen. Deze omgevingen zijn echter inherent gedeeltelijk observeerbaar (partially observable). Specifiek kan de verdediger (blue agent) de acties of policies van de aanvaller (red agent) niet direct observeren. De verdediger neemt enkel gedeeltelijke staatsovergangen en indirecte uitkomsten van aanvallen waar. Dit gebrek aan zichtbaarheid belemmert het vermogen om ware systeemdynamiek te reconstrueren, bewegingen van aanvallers te voorspellen of intrusieniveaus effectief te beoordelen.

Hoewel imitation learning is toegepast om latente policies te extraheren in klassieke controle- en videodomeinen, zijn bestaande methoden niet direct toepasbaar op autonome netwerken. Dit komt doordat netwerktoestanden doorgaans discreet zijn (snapshots van host/serveractiviteiten) en staatsovergangen afhankelijk zijn van de gezamenlijke acties van zowel de red als de blue agent. Daarom is er een kritieke behoefte aan een techniek die red agent policies kan leren en red acties tijdens runtime kan voorspellen met behulp van enkel blue observaties en blue acties.

Methodologie

De auteurs stellen een Policy Learning Techniek voor op basis van imitation learning, ontworpen om red agent policies ( $\pi'$ ) te extraheren en red acties ( $r_{t-1}$ ) te voorspellen vanuit opeenvolgende blue observaties ( $o^b_{t-1}, o^b_t$ ) en de vorige blue actie ( $b_{t-1}$ ). De aanpak is gestructureerd in drie fasen en geïntegreerd met een neurosymbolisch framework.

1. Probleemformulering

Het netwerk wordt gemodelleerd als een discrete-time Partially Observable Markov Decision Process (POMDP). Het doel is om de red policy $\pi'$ te leren gegeven een bekende blue policy $\pi$ . De input bestaat uit:

Blue observaties op $t-1$ en $t$ .
De blue actie uitgevoerd op $t-1$ .
Het doel is om de red actie uitgevoerd op $t-1$ te voorspellen.

2. Drie-fasen Leertechniek

De techniek maakt gebruik van een multi-stage dynamica-model met Deep Neural Networks (DNN's):

Fase I: Data Generatie
- Het systeem interageert met de omgeving om transities $(o^b_{t-1}, b_{t-1} \to o^b_t)$ te verzamelen.
- Een dataset $D$ wordt gegenereerd voor training.
- Een gelabelde dataset $D_R$ wordt gegenereerd door de ground-truth red acties ( $r_{t-1}$ ) uit het systeem te extraheren (onobserveerbaar tijdens de werkelijke runtime) en deze te preprocessen naar componenten: actienaam, target host en subnet.
Fase II: Policy Learning (Latent Action Inference)
- Encoding: Blue acties en targets worden one-hot gecodeerd.
- Latent Action Learning: Twee modellen worden gezamenlijk getraind:
  1. Inverse Dynamics Model (IDM1): Schat een latente red actie ( $l_{t-1}$ ) in op basis van observaties en blue acties.
  2. Forward Dynamics Model (FDM1): Voorspelt de huidige observatie ( $\tilde{o}^b_t$ ) gegeven de vorige staat, de blue actie en de geïnferred latente actie.
  - Deze worden getraind om de observatiefout $|\tilde{o}^b_t - o^b_t|$ te minimaliseren, waardoor de latente actie wordt gedwongen de ontbrekende red dynamiek te vatten.
- Policy Imitation: Een tweede Inverse Dynamics Model (IDM2) wordt getraind om de latente acties te imiteren die door IDM1 zijn geleerd, wat effectief de policy $\pi'$ leert.
- Mapping naar Discrete Acties: Een Forward Dynamics Model (FDM2) brengt de continue latente acties terug naar discrete red actie-componenten (actienaam, host, subnet). Deze outputs worden getreshold om binaire one-hot encodings te produceren voor de uiteindelijke voorspelde red actie $\hat{r}_{t-1}$ .

3. Integratie met Neurosymbolische Agenten

De geleerde policy wordt geïntegreerd in een Evolving Behavior Tree (EBT), een neurosymbolische architectuur die Behavior Trees (BT's) combineert met Learning-Enabled Components (LEC's).

Nieuwe gedragingen worden toegevoegd aan de EBT om runtime-voorspelling uit te voeren.
Een condition node zorgt ervoor dat er voldoende observatiegeschiedenis aanwezig is voordat voorspelling plaatsvindt.
De EBT selecteert de passende geleerde red policy op basis van de actieve blue strategie (bijv. het onderscheiden tussen "Meander" en "B line" attacker strategieën).
Indien geen policy bestaat, logt het systeem transities voor offline analyse.

Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

Policy Learning Techniek: Een nieuwe methode om red agent policies te leren en red acties te voorspellen in gedeeltelijk observeerbare RL-omgevingen met discrete staten en acties, met behulp van enkel blue observaties en acties.
Neurosymbolische Integratie: De succesvolle integratie van deze techniek in een behavior tree-gebaseerde autonome cyberverdedigingsagent, wat runtime-voorspelling van adversariële bewegingen mogelijk maakt.
Empirische Evaluatie: Een uitgebreide evaluatie met behulp van de CybORG CAGE Challenge 2 omgeving, die MITRE ATT&CK tactieken gebruikt. De aanpak vertoont een hoge nauwkeurigheid over diverse strategieën, inclusclusief dynamische strategie-wisselingen.

Experimentele Resultaten

De auteurs evalueerden de techniek in de CybORG CAGE Challenge 2 omgeving met twee statische attacker strategieën (Meander en B line) en een dynamische schakelstrategie (RedSwitch).

Voorspellingsnauwkeurigheid:
- B line: Behaalde de hoogste nauwkeurigheid (99,93% voor blue observatie-voorspelling, 95,28% voor host-niveau red actie-voorspelling) vanwege de deterministische, doelgerichte aard.
- Meander: Toonde een lagere nauwkeurigheid (94,96% observatie, 77,71% host-niveau) door de hogere variabiliteit in gedrag.
- RedSwitch: Prestaties varieerden op basis van de actieve strategie; de nauwkeurigheid nam toe wanneer de agent overschakelde naar de B line strategie.
- Subnet vs. Host: De voorspellingsnauwkeurigheid op subnet-niveau was consistent hoger dan op host-niveau over alle strategieën heen, wat wordt toegeschreven aan de inherente willekeur in de selectie van de target host.
Estimatie van Intrusieniveau:
- De voorspelde acties werden gebruikt om intrusion scores te berekenen op basis van compromis-niveaus (Geen, User-Level, Privilege-Level).
- De resultaten gaven aan dat de blue EBT agent aanzienlijk effectiever was in het mitigeren van aanvallen onder de Meander strategie vergeleken met B line en RedSwitch, zoals aangetoond door minder tijdstappen waarin het Privilege-Level Compromise werd bereikt.

Betekenis en Claims

Het artikel claimt dat de voorgestelde techniek effectief het probleem van gedeeltelijke observeerbaarheid in autonome cyberverdediging aanpakt. Door de red policies tijdens runtime te extraheren, stelt het systeem de volgende zaken mogelijk:

Vroege detectie van adversariële bewegingen voordat er sprake is van diepe netwerkcompromis.
Estimatie van het intrusieniveau van de aanvaller over de tijd heen.
Verfijning van mitigatiestrategieën door het identificeren van netwerkschakels die bloot komen te liggen door voorspelde red acties.

De auteurs merken op dat hoewel de huidige evaluatie gebaseerd is op een gesimuleerde omgeving (CybORG CAGE Challenge 2) afgeleid van MITRE ATT&CK, de techniek generaliseerbaar is naar elke gedeeltelijk observeerbare RL-gebaseerde agent met discrete staten en acties. Toekomstig werk wordt geïdentificeerd als het valideren van de aanpak in realistische geëmuleerde omgevingen en het benutten van de voorspelde red acties om robuustere blue agenten te trainen. Het werk wordt gepresenteerd als een stap naar meer adaptieve en interpreteerbare autonome verdedigingssystemen.