🤖 machine learning

NASimJax: GPU-Accelerated Policy Learning Framework for Penetration Testing

NASimJax is een op JAX gebaseerd, GPU-versneld framework dat de doorvoersnelheid van netwerksimulaties voor penetratietesten tot 100 keer verhoogt en daarmee effectiever beleidsonderzoek en generalisatie mogelijk maakt op grootschalige netwerken.

Oorspronkelijke auteurs: Raphael Simon, José Carrasquel, Wim Mees, Pieter Libin

Gepubliceerd 2026-03-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Raphael Simon, José Carrasquel, Wim Mees, Pieter Libin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitale beveiligingsexpert bent. Je taak is om een computer netwerk te vinden dat lekken heeft, voordat de echte hackers dat doen. Dit heet "penetration testing" (inbraaktesten).

In het verleden moesten mensen dit handmatig doen: ze dachten na, probeerden één ding, keken wat er gebeurde, en probeerden het volgende. Dit is extreem tijdrovend en duur.

De auteurs van dit paper willen dit proces automatiseren met een kunstmatige intelligentie (AI), specifiek een type dat leert door te proberen en fouten te maken (Reinforcement Learning). Maar hier zit een groot probleem: het trainen van zo'n AI is als het proberen van een miljoen sleutels in een miljoen verschillende sloten. De simulators (de digitale oefenruimtes) die ze tot nu toe gebruikten, waren te traag. Het was alsof je een raceauto probeerde te trainen terwijl je hem met de hand duwt.

Hier is wat ze hebben gedaan, vertaald in simpele taal:

1. De "Supersnelheid" Simulator (NASimJax)

De auteurs hebben een nieuwe simulator gebouwd genaamd NASimJax.

De Analogie: Stel je voor dat de oude simulator een fiets was die door één persoon werd aangedreven. De nieuwe simulator is een formule-1-auto met een motor die op de krachtigste computerchips (GPU's) draait.
Het Resultaat: Ze zijn 100 keer sneller geworden. Waar de oude simulator uren nodig had om genoeg oefenmateriaal te verzamelen, doet de nieuwe simulator dit in minuten. Hierdoor kunnen ze AI's trainen op veel grotere en complexere netwerken dan ooit tevoren mogelijk was.

2. De "Onzichtbare" Labyrinten

Het probleem met hacken is dat je niet alles ziet. Je weet niet welke computers er zijn of welke zwakke plekken ze hebben, totdat je ze gaat scannen.

De Analogie: Het is alsof je een labyrint in het donker moet doorkruisen. Je kunt alleen voelen wat er direct voor je neus is. Je moet eerst een muur aanraken (scannen) om te weten welke kant je op kunt.
De Oplossing: Ze hebben de simulator zo ontworpen dat de AI moet leren "gissen" en informatie verzamelen, net als een echte hacker. Ze genereren ook automatisch duizenden verschillende labyrinten (netwerken) met verschillende moeilijkheidsgraden, zodat de AI niet alleen maar één specifieke route uit het hoofd leert, maar echt slim wordt.

3. Het "Te Grote" Keuzemenu

Hoe groter het netwerk, hoe meer opties de AI heeft. Op een klein netwerk heb je misschien 100 opties. Op een groot netwerk zijn dat er miljoenen.

Het Probleem: Als je een AI laat kiezen uit een lijst van 10.000 opties, raakt hij in paniek. Het is alsof je iemand in een supermarkt zet met 10.000 soorten pasta en vraagt: "Kies er één!" Ze komen er nooit uit.
De Oplossing (2SAS): Ze hebben een slimme truc bedacht: Twee-staps selectie.
1. Eerst kiest de AI alleen welke computer hij wil aanvallen (bijvoorbeeld: "Ik ga naar de server in de kelder").
2. Pas daarna kiest hij wat hij daar doet (bijvoorbeeld: "Ik probeer de deur open te breken").
  Dit maakt het veel makkelijker voor de AI om te leren, net zoals je eerst een stad kiest voordat je een restaurant in die stad kiest.

4. De "Truc" om Slimmer te Worden (Generalisatie)

Ze wilden weten: "Als we de AI trainen op kleine, simpele netwerken, kan hij dan ook grote, ingewikkelde netwerken hacken?"

De Verrassende Bevinding: Ja! Maar alleen als je ze eerst traint op de makkelijkste, meest "lege" netwerken.
De Analogie: Het is als leren zwemmen. Als je direct in de zee met hoge golven springt, ga je verdrinken. Maar als je eerst in een klein, rustig badje leert zwemmen, bouw je vaardigheden op. Als je dan later in de zee springt, kun je het aan.
Ze ontdekten dat het trainen op "dunne" netwerken (weinig computers) een soort impliciete training geeft. De AI leert de basisprincipes en kan die toepassen op veel zwaardere netwerken die hij nooit eerder heeft gezien.

5. Een Valstrik

Ze ontdekten ook een probleem. Als je de AI te agressief laat oefenen op de moeilijkste niveaus (met een bepaalde methode genaamd PLR) én tegelijkertijd de "Twee-staps" truc gebruikt, dan crasht het systeem.

De Analogie: Het is alsof je een leerling laat oefenen op een heel moeilijk parcours, maar elke keer dat hij valt, reset je de hele training en vergeet je dat hij al een stukje heeft afgelegd. Omdat hij nooit succesvol is, leert hij niets. De auteurs hebben dit probleem geïdentificeerd zodat anderen het in de toekomst kunnen oplossen.

Conclusie

Kortom: NASimJax is een super-snel trainingsplatform dat AI's helpt om beter te worden in het vinden van beveiligingslekken. Door slimme technieken (zoals het opsplitsen van keuzes en het trainen op makkelijkere netwerken eerst), kunnen ze AI's maken die niet alleen goed zijn in één specifiek scenario, maar die echt algemeen slim zijn en zich kunnen aanpassen aan elke nieuwe situatie. Dit helpt bedrijven om hun systemen veiliger te maken voordat de echte hackers toeslaan.

Probleemstelling

Penetratietesten (het simuleren van cyberaanvallen om kwetsbaarheden te vinden) is een complexe, sequentiële beslissingstaak die inherent gedeeltelijk waarneembaar is (POMDP) en wordt gekenmerkt door enorme actie-ruimtes. Het trainen van Reinforcement Learning (RL) agenten voor dit domein stuit op een fundamenteel bottleneck:

Snelheid: Bestaande simulators (zoals de originele NASim) zijn CPU-gedreven en te traag om realistische netwerkscenario's op grote schaal te trainen. Dit leidt tot policies die niet generaliseren.
Generalisatie: Bestaande omgevingen bieden vaak te weinig structurele diversiteit of zijn vastgezet op specifieke scenario's, waardoor agents overfitten op smalle trainingsdistributies.
Actie-ruimte: De grootte van de actie-ruimte groeit lineair met het aantal hosts in het netwerk, wat exploratie bemoeilijkt en het leren vertraagt.

Methodologie: NASimJax

De auteurs presenteren NASimJax, een volledige herschrijving van de Network Attack Simulator (NASim) in JAX, een Python-bibliotheek voor versnelde array-berekeningen.

Kernarchitectuur en Ontwerp:

GPU-versnelling: In plaats van een CPU-GPU communicatiebottleneck (waarbij de omgeving op de CPU draait en het beleid op de GPU), draait de volledige trainingspijplijn (omgevingstappen en policy-updates) op hardware-accelerators. Dit maakt vectorisatie mogelijk over duizenden parallelle omgevingen.
Contextuele POMDP: Het probleem wordt geformuleerd als een Contextual Partially Observable Markov Decision Process (CMDP). Elke episode is conditioneel op een "context" (een specifiek netwerkgeval), wat een principieel kader biedt voor zero-shot generalisatie naar onbekende netwerken.
Netwerkgeneratie: Een nieuwe generatiepijplijn creëert structureel diverse, realistische en gegarandeerd oplosbare scenario's. Parameters zoals topologiedichtheid ( $t_d$ ), host-aantallen en kwetsbaarheidsdichtheid kunnen worden gevarieerd.
State & Observation: De state wordt efficiënt gebatcht met boolean flags en one-hot encoding om het geheugengebruik te minimaliseren. De agent ziet alleen de uitkomsten van zijn acties (gedeeltelijke observatie).

Methodologische Innovaties:

Two-Stage Action Selection (2SAS): Om de lineair groeiende actie-ruimte aan te pakken, wordt elke beslissing ontleed in twee fasen:
- Fase 1: Selectie van een doelhost (gemaskeerd voor onbereikbare/ongedetecteerde hosts).
- Fase 2: Selectie van een actie voor die specifieke host.
  Dit reduceert de effectieve complexiteit van de beslissing aanzienlijk ten opzichte van een "flat" actie-ruimte.
Reward Scaling: Omdat het aantal gevoelige hosts varieert, worden beloningen geschaald op basis van het theoretisch maximale rendement per netwerk, om de stabiliteit van de waarde-schatting te waarborgen.
Unsupervised Environment Design (UED): Er wordt vergeleken tussen Domain Randomization (DR) (willekeurige netwerken per episode) en Prioritized Level Replay (PLR) (selectie van moeilijke niveaus op basis van spijt/regret).

Belangrijkste Resultaten

1. Prestatieverbetering (Snelheid):

NASimJax bereikt tot 100x hogere doorvoer dan de originele CPU-gebaseerde simulator.
Op een enkele entry-level GPU (NVIDIA RTX A4000) worden 1,6 miljoen stappen per seconde behaald. Dit maakt het trainen op netwerken met tot 40 hosts haalbaar binnen redelijke rekentijd.

2. Actie-ruimte Schaling (2SAS vs. Masking):

Bij kleine netwerken (16 hosts) is er weinig verschil tussen 2SAS en standaard actie-masking.
Bij grotere netwerken (26 en 40 hosts) presteert 2SAS aanzienlijk beter.
- Op 40-host netwerken: 2SAS bereikt een oplospercentage van 42%, terwijl flat masking slechts 14% haalt.
- Conclusie: Actiedecompositie wordt kritiek naarmate de schaal toeneemt.

3. Zero-Shot Policy Transfer (Generalisatie):

Implicit Curriculum: Training op sparsere netwerken (lage topologiedichtheid $t_d$ ) leidt tot betere generalisatie, zelfs naar dichtere netwerken dan tijdens het trainen zijn gezien. Dit werkt als een impliciet curriculum waarbij de agent eerst kortere, eenvoudigere paden leert.
PLR vs. DR: PLR (Prioritized Level Replay) presteert over het algemeen robuuster dan DR, vooral bij grotere schalen, omdat het effectiever gebruik maakt van dit curriculum.
Foutanalyse (PLR-2SAS Failure): Bij 40-host netwerken met hoge dichtheid ( $t_d=0.15$ $t_{d} = 0.15$ ) faalt de combinatie van PLR en 2SAS volledig (0% oplospercentage).
- Oorzaak: PLR reset episodes volledig bij elke stap. Omdat episodes bij 40 hosts te lang zijn om in één "rollout" te voltooien, mislukt de exploratie. Bij 2SAS kan een mislukte actie niet worden toegeschreven aan de verkeerde host of de verkeerde actie (credit assignment probleem), wat leidt tot een vicieuze cirkel van falen. De variant PLR $\perp$ (die geen gradiënten update tijdens exploratie) vermijdt dit probleem.

Bijdragen en Significantie

Technologische Doorbraak: NASimJax is de eerste pure JAX-implementatie voor penetratietesten, wat de deur opent voor het trainen van RL-agenten op schalen die voorheen onmogelijk waren vanwege rekentijdbeperkingen.
Praktische Inzicht: Het paper toont aan dat het trainen op computatiegoedkopere, minder complexe netwerken (sparsere topologieën) leidt tot betere generalisatie dan het direct trainen op de doelverdeling. Dit heeft directe implicaties voor de efficiëntie van RL-onderzoek in cybersecurity.
Architecturale Advies: Het introduceert 2SAS als een noodzakelijke methode voor grote actie-ruimtes, maar waarschuwt ook voor de valkuilen van het combineren van bepaalde curriculum-leermethoden (PLR) met gecomprimeerde actie-structuren (2SAS) bij zeer lange horizon-taken.
Onderzoeksfaciliteit: Het biedt een flexibele, reproduceerbare platform voor het bestuderen van zero-shot transfer, actie-ruimte schaling en de impact van netwerktopologie op aanvalscomplexiteit.

Samenvattend biedt NASimJax een sneller, flexibeler en realistischer platform om RL voor cybersecurity te bevorderen, met concrete inzichten in hoe men effectief kan trainen op complexe, gedeeltelijk waarneembare netwerken.