Evaluating Generalization Mechanisms in Autonomous Cyber Attack Agents

Dit artikel evalueert hoe goed autonome cyberaanval-agenten generaliseren bij onverwachte IP-adreswijzigingen en concludeert dat hoewel prompt-gedreven LLM-agenten de beste prestaties leveren op onbekende scenario's, dit ten koste gaat van transparantie en rekenkracht, terwijl andere aanpassingsmethoden significant prestatieverlies vertonen.

De kern

Titel: Waarom hackers (robots) vastlopen als je de huisnummers verandert

Stel je voor dat je een slimme, autonome robot bouwt die een huis moet inbreken. Je traint deze robot in een specifiek huis. Hij leert precies welke deur open is, welke kamer de kluis bevat en welke route hij moet nemen om de waardevolle spullen te stelen.

Nu komt het probleem: je verplaatst de robot naar een nieuw huis. Het nieuwe huis is qua indeling exact hetzelfde als het oude (zelfde aantal kamers, dezelfde kluis), maar je hebt alle huisnummers en straatnamen veranderd.

Wat gebeurt er?
De meeste robots die je hebt getraind, raken in paniek. Ze proberen de "deur met nummer 10" te openen, maar in het nieuwe huis is dat nummer 10 een muur. Ze blijven vastlopen, rennen in cirkels en krijgen niets gestolen. Ze hebben namelijk niet geleerd hoe een inbraak werkt, maar ze hebben simpelweg de nummers uit hun hoofd geleerd.

Dit is precies wat deze wetenschappelijke paper onderzoekt, maar dan met cyberaanvallen in plaats van inbraken.

De Kern van het Onderzoek

De onderzoekers wilden weten: Kunnen slimme computerprogramma's (agents) die cyberaanvallen uitvoeren, zich aanpassen als de IP-adressen (de "huisnummers" van het internet) veranderen?

Ze testten verschillende soorten "hacker-robots" in een virtueel netwerk:

1. De "Lijstjes-Leerlingen" (Traditionele RL):

   • Hoe ze werken: Deze robots hebben een lijstje gemaakt van wat ze moeten doen bij specifieke nummers. "Als IP 192.168.1.5 is, ga dan naar 192.168.1.10."
   • Het resultaat: Als je de nummers verandert, zijn ze volledig verloren. Ze weten niet wat ze moeten doen. Het is alsof je een taxi-bestuurder vraagt om naar "Huisnummer 5" te rijden, maar je geeft hem een kaart waar "Huisnummer 5" nu een bos is.

2. De "Snel-Lerende" (Meta-Learning):

   • Hoe ze werken: Deze robots zijn getraind om snel te leren. Als ze in een nieuw huis komen, proberen ze een paar keer te kijken wat er gebeurt en passen ze hun plan direct aan.
   • Het resultaat: Ze doen het beter dan de lijstjes-leerlingen, maar ze zijn nog steeds niet perfect. Ze raken vaak in de war en vinden niet snel genoeg de weg naar de kluis.

3. De "Conceptuele Denker" (Abstractie):

   • Hoe ze werken: Deze robot leert niet op nummers, maar op functies. Hij denkt niet: "Ga naar IP 192.168.1.5", maar "Ga naar de computer die de server is en een open poort heeft". Hij negeert de nummers en kijkt naar wat de machine doet.
   • Het resultaat: Dit werkt heel goed! Omdat de robot niet aan nummers gebonden is, maakt het niet uit of je de nummers verandert. Hij ziet nog steeds: "Ah, daar is de server!" en gaat daar naartoe.

4. De "Grote Taal-Genieën" (LLM's / Chatbots):

   • Hoe ze werken: Dit zijn de nieuwste, zeer krachtige AI-modellen (zoals de grote chatbots). Ze lezen de situatie als een verhaal en redeneren: "Oké, ik heb toegang tot dit huis. Ik moet nu de server vinden. De server heeft waarschijnlijk een webpagina. Laten we die checken."
   • Het resultaat: Dit was de verrassende winnaar. Deze robots hadden de hoogste kans van slagen, zelfs zonder speciale training voor het nieuwe huis. Ze kunnen redeneren over de situatie, ongeacht de nummers.
   • De prijs: Ze zijn wel traag, duur (rekenkracht) en soms een beetje "dom" in hun uitvoering. Soms blijven ze vastzitten in een lusje waar ze steeds hetzelfde verkeerde commando geven, net als een mens die in paniek steeds op dezelfde knop drukt.

De Grote Les

De paper leert ons drie belangrijke dingen, vertaald naar alledaags taal:

1. Nummers zijn valstrikken: Als je een systeem traint op specifieke adressen (IP's), faalt het direct zodra die adressen veranderen. Dit is een groot probleem voor echte cybersecurity, omdat netwerken constant veranderen.
2. Begrip is beter dan memoriseren: Robots die leren om te denken in termen van "wat doet deze machine?" (functie) in plaats van "wat is het nummer?" (identiteit), zijn veel sterker. Ze zijn flexibeler.
3. De kracht van redeneren: De nieuwste AI (die praat en redeneert) is op dit moment de beste in het omgaan met veranderingen, omdat hij de situatie begrijpt in plaats van alleen patronen te onthouden. Maar hij is niet perfect: hij kan soms in de war raken en veel tijd verspillen.

Conclusie in één zin

Als je een cyber-hacker wilt bouwen die echt slim is, moet je hem niet leren om nummers uit het hoofd te leren, maar hem leren om te denken in termen van rollen en functies, of hem geven een super-slimme "denk-hoofd" (zoals een moderne chatbot) dat de situatie kan begrijpen, ook al veranderen de huisnummers.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Evaluating Generalization Mechanisms in Autonomous Cyber Attack Agents" in het Nederlands.

Titel: Evaluatie van Generalisatiemechanismen in Autonome Cyberaanval-Agenten

Auteurs: Lukáš Ondřej, Jihoon Shin, Emilia Rivas, Diego Forni, Maria Rigaki, Carlos Catania, Aritran Piplai, Christopher Kiekintveld, en Sebastian García.
Datum: Maart 2026 (voorgesteld)
Omgeving: NetSecGame

---

1. Probleemstelling

Autonome offensieve agenten die worden getraind in gesimuleerde cybersecurity-netwerkspellen, blijken vaak kwetsbaar (brittle) wanneer het netwerk verandert tijdens de testfase. Zelfs als het aanvalsdoel ongewijzigd blijft, kunnen kleine verschuivingen in netwerkidentifiers (zoals IP-adressen en subnetten) een geleerde reeks van verkenning, exploitatie en laterale beweging ongeldig maken.

In de praktijk passen enterprise-netwerken regelmatig IP-herschikkingen, segmentatie en herconfiguratie toe. Bestaande agenten "leren" vaak concrete identifiers (bijv. specifieke IP-adressen) in plaats van functionele rollen van hosts, wat leidt tot een falen bij generalisatie naar nieuwe netwerken.

Het centrale onderzoeksvraagstuk: Kunnen aanvalspolicies generaliseren onder een minimale, gecontroleerde verschuiving: het opnieuw toewijzen van host- en subnet-IP-adressen in een verder vast enterprise-scenario?

2. Methodologie

Omgeving en Experimenteel Ontwerp:

• NetSecGame: Een open-source multi-agent cybersecurity-simulatieomgeving. Het scenario is een data-exfiltratie-aanval in een vast enterprise-netwerk met 11 hosts, 4 netwerken en firewall-regels.
• Shift-mechanisme: De auteurs genereren zes varianten van hetzelfde scenario die uitsluitend verschillen in de IP-adresruimte (host- en subnet-retoewijzing).
• Trainings- en Testprotocol: Agenten worden getraind op vijf IP-varianten en getest op een zesde, onzichtbare variant.
• Evaluatiemetrics: Winrate (succespercentage), episode-return (beloning), en aantal stappen (efficiëntie).

Geëvalueerde Agent-families:
De auteurs vergelijken drie hoofdgroepen agenten:

1. Traditionele RL-agenten (Zonder aanpassing):
   • DQN/DDQN: Value-based learning die leert op concrete state-representaties. De DDQN gebruikt een embedding van JSON-observaties.
   • Random Baseline: Selecteert willekeurige geldige acties.
2. LLM-gebaseerde Agenten:
   • ReAct: Gebruikt een Large Language Model (gpt-oss-120b) met prompt-engineering (Reasoning + Acting) om acties te redeneren op basis van tekstuele observaties. Geen online training; het model is gefixeerd.
   • LLM-BERT: Een hybride architectuur. Een LLM voert de redenering uit, maar een fine-tuned ModernBERT-model kiest de actietype en vult parameters in. Dit verlaagt de inferentiekosten.
3. Generalisatie- en Aanpassingsagenten:
   • Conceptual Agent: Gebruikt een abstractie-laag die concrete IP-adressen vertaalt naar "concepten" (bijv. "interne host met SSH") gebaseerd op menselijke heuristieken. De Q-learning gebeurt volledig in deze abstracte ruimte.
   • MAML (Model-Agnostic Meta-Learning): Leert een initialisatie van de policy die snel kan worden aangepast aan een nieuwe taak met een paar gradient-steps (test-time learning).
   • Reptile: Een eerste-orde meta-learning alternatief voor MAML.

Analyse-methode:
Naast aggregate metrics gebruiken de auteurs gedragshandtekeningen (behavioral signatures). Dit zijn tijdsreeksen van de verdeling van actietypes (bijv. scannen vs. exploiteren) om te zien waar en hoe agenten falen (bijv. blijven ze hangen in verkenning of raken ze in een loop).

3. Belangrijkste Resultaten

A. Falen van Identiteit-afhankelijke Policies (Hypothese H1):

• DQN/DDQN: Deze agenten vertonen een drastische daling in prestaties bij IP-herschikking. De DDQN bereikt zelfs 0% winrate op de onzichtbare topologie.
• Oorzaak: De state-embeddings zijn te afhankelijk van concrete IP-tokens. Semantisch identieke staten (zelfde rol, ander IP) worden ver uit elkaar geprojecteerd in de vectorruimte, waardoor de agent geen transfer kan maken. Ze blijven hangen in vroege verkenningstaken.

B. LLM-agenten: Hoge prestaties met valkuilen:

• ReAct: Bereikt de hoogste winrate (95%) op de onzichtbare topologie en behoudt een coherente aanvalsstructuur (scannen -> exploiteren -> exfiltreren).
• Nadeel: De prestaties vertonen hoge variantie en falen vaak door "interface-fouten": de agent raakt vast in loops van ongeldige JSON-acties of herhaalt acties, wat leidt tot het bereiken van de maximale stap-limiet.
• LLM-BERT: Bereikt een gemiddelde winrate van ~51%, maar heeft een negatieve gemiddelde return, wat aangeeft dat mislukte episodes zeer kostbaar en lang zijn.

C. Generalisatie via Abstractie en Meta-Learning (Hypothese H2):

• Conceptual Agent: Toont de beste generalisatie onder de leer-baselines met een winrate van 65,5%. Door IP-adressen te vervangen door rollen, behoudt de agent de logische structuur van de aanval.
  • Trade-off: Vereist aanzienlijk meer trainingsdata (331k episodes) en de trajecten zijn langer dan bij ReAct.
• MAML: Bereikt een winrate van 40% na test-time aanpassing. Dit is beter dan traditionele RL, maar slechter dan de Conceptual agent. De aanpassing is niet voldoende om een hoogwaardige lange-termijn strategie consistent te herstellen.
• Reptile: Presteert nauwelijks beter dan een willekeurige baseline (2,76% winrate), wat suggereert dat eerste-orde meta-learning in deze setting ontoereikend is.

4. Kernbijdragen

1. Gecentraliseerde Evaluatie: Het paper isoleert een specifieke, praktische vorm van distributieshift (IP-herschikking) en evalueert hierop diverse agent-architecturen onder dezelfde voorwaarden.
2. Gedragsanalyse: In plaats van alleen naar winrates te kijken, introduceert de auteurs een methode om gedragshandtekeningen te analyseren. Dit onderscheidt tussen "representatie-collaps" (agent begrijpt de taak niet meer) en "interface-stalling" (agent begrijpt de taak maar faalt in uitvoering).
3. Trade-off Landkaart: Het paper biedt een duidelijk overzicht van de afwegingen tussen:
   • LLM-agenten: Hoge prestaties zonder training, maar hoge rekenkosten, lage transparantie en risico op loops.
   • Conceptuele abstractie: Robuust en interpreteerbaar, maar vereist veel trainingsdata en engineering.
   • Meta-learning: Biedt middengroei, maar is in dit scenario minder effectief dan abstractie.

5. Betekenis en Conclusie

De studie concludeert dat zelfs "kosmetische" wijzigingen zoals het hernoemen van IP-adressen voldoende zijn om lange-termijn cyberaanvalspolicies te breken als deze afhankelijk zijn van concrete identifiers.

• Voor nul-kennis scenario's: Prompt-gedreven LLM-agenten (zoals ReAct) bieden het meest praktische startpunt omdat ze geen specifieke netwerkinformatie nodig hebben om te generaliseren.
• Voor specifieke kennis: Als een vergelijkbare topologie beschikbaar is voor training, bieden conceptuele agenten de meest betrouwbare en interpreteerbare oplossing.
• Toekomst: Er is behoefte aan betere actie-grounding, loop-controle voor LLM's en methoden die de balans vinden tussen rekenkosten en generalisatievermogen.

Het paper benadrukt dat robuuste transfer vereist dat agenten expliciet adres-invariant zijn (via abstractie) of efficiënt kunnen aanpassen tijdens de testfase, en dat pure memorisatie van identifiers een fundamentele beperking is in dynamische cybersecurity-omgevingen.