A Scalable Approach to Solving Simulation-Based Network Security Games

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "A Scalable Approach to Solving Simulation-Based Network Security Games" van Michael Lanier en Yevgeniy Vorobeychik, weergegeven in het Nederlands.

Probleemstelling

Cyberveiligheid is een fundamenteel adversarisch domein waarbij verdedigers zich continu moeten aanpassen aan intelligente aanvallers. Het modelleren van deze interactie vereist een balans tussen realisme, schaalbaarheid en analytische strengheid. Hoewel versterkingslering (RL) en multi-agent leermethoden veelbelovend zijn voor sequentiële cyberverdediging, worden ze beperkt door de schaal en structuur van de onderliggende toestands- en actie ruimtes.

In netwerken met duizenden onderling verbonden apparaten, heterogene diensten en gedeeltelijke waarneembaarheid, vormen traditionele game-theoretische benaderingen zoals Double Oracle (DO) en Policy-Space Response Oracles (PSRO) een rekenkundige bottleneck. Deze methoden vereisen herhaalde simulaties en evaluatie van waardenfuncties voor elk strategiepaar, wat leidt tot een superlineaire toename van de kosten naarmate de netwerkgrootte toeneemt. Bestaande simulatoren zoals CyGym hebben de toepassing mogelijk gemaakt op een gematigde schaal, maar de exhaustieve verkenning van actiecombinaties op apparaatniveau blijft een onoverkomelijke barrière voor grote netwerken.

Methodologie: MetaDOAR

De auteurs introduceren MetaDOAR, een lichtgewicht meta-controller die het DO/PSRO-paradigma uitbreidt om schaalbaar multi-agent versterkingsleren mogelijk te maken op zeer grote cybernetwerken. De architectuur behoudt de bestaande DOAR-actor-critic en trainingslus intact, maar voegt een hiërarchische laag toe die de actie-ruimte efficiënt beperkt.

De kerncomponenten van MetaDOAR zijn:

1. Lerend, partition-bewust filteren (Top-k Selectie):

   • In plaats van alle $M$ apparaten te evalueren, leert MetaDOAR een compacte toestandsprojectie vanuit structurele embeddings per knooppunt (gebaseerd op ID, graad, zichtbaarheid en eigendom).
   • Een eenvoudige compatibiliteitsfunctie berekent een relevantiescore voor elk apparaat.
   • De controller selecteert een kleine subset van de meest relevante apparaten (de top-k partition), waarbij $k$ slechts logaritmisch groeit met de netwerkgrootte ($k \approx \alpha \log_{10} M$).
   • De lage-niveau actor-critic voert vervolgens een gefocuste beam search uit binnen deze beperkte subset, geleid door een gecentraliseerde critic.

2. Q-waarde Caching (LRU Cache):

   • Om redundante berekeningen te verminderen, worden critic-evaluaties opgeslagen in een LRU-cache (Least Recently Used).
   • De cache wordt geïndexeerd door een gekwantiseerde toestandsprojectie en lokale actie-identificatoren.
   • K-hop invalidatie: Cache-items worden alleen ongeldig verklaard als het betrokken apparaat of een van zijn $k$-hop buren is gewijzigd. Dit zorgt ervoor dat delen van het netwerk die niet zijn veranderd, niet opnieuw hoeven te worden berekend, terwijl de correctheid behouden blijft.

3. Trainingsmechanisme:

   • De meta-controller wordt online getraind met een regressiedoelstelling: het minimaliseren van de mean-squared error tussen de voorspelde beloning (gebaseerd op de scores van de geselecteerde subset) en de werkelijke beloning.
   • Dit is een heuristische aanpak die de controller aanmoedigt om apparaten te selecteren die correleren met hogere opbrengsten onder het huidige DOAR-gedrag.

Belangrijkste Bijdragen

• Schaalbaarheid: MetaDOAR maakt het mogelijk om Double Oracle-methoden toe te passen op netwerken met tienduizenden apparaten (tot 10.000), waar eerdere methoden faalden door geheugen- of latentieproblemen.
• Hiërarchische Architectuur: Het introduceert een meta-best-response controller die de actie-ruimte beperkt zonder het onderliggende veiligheidsmodel of de continu-sturing van DOAR te veranderen. Dit behoudt de game-theoretische interpretatie van beste antwoorden.
• Theoretische Onderbouwing: De auteurs bewijzen dat MetaDOAR een $\epsilon$-beste antwoord levert. Hoewel het geen exacte beste antwoord berekent door het afsnijden van de actie-ruimte, is de foutgrens gebonden aan de maximale Q-waarde-differentie tussen de volledige en de gepreindeerde actie-ruimte, wat leidt tot een $\epsilon$-Nash-evenwicht.
• Efficiëntie: Door het gebruik van structurele embeddings en caching wordt de redundantie in critic-berekeningen drastisch verminderd.

Resultaten

De experimenten zijn uitgevoerd in de Volt Typhoon CyberDefenseEnv van CyGym met netwerken variërend van 10 tot 10.000 apparaten.

• Prestatie: MetaDOAR behaalt hogere spelersopbrengsten (player payoffs) dan state-of-the-art baselines (zoals IPPO, MAPPO, HAGS, en de originele DOAR) op grote netwerktopologieën. Op schaal van 10.000 apparaten verdubbelt het vaak de opbrengst van de originele DOAR.
• Schaalbaarheid: Terwijl andere methoden (zoals MARL-baselines) bij 20.000 apparaten uitvallen door geheugenoverschrijding (OOM) of extreem trage forward passes, blijft MetaDOAR stabiel.
• Resource Gebruik:
  • Tijd: De tijd voor het construeren van de uitbetalingsmatrix ligt consistent in het bereik van 1–2 ms, ongeacht de netwerkgrootte.
  • Geheugen: Het geheugengebruik blijft rond de 1,4 GB, zonder significante toename bij grotere netwerken.
• Ablatie: Experimenten met de $k$-hop invalidatie-radius tonen aan dat zelfs kleine invalidatie-afstanden al het grootste deel van de winst opleveren, met slechts een bescheiden toename in tijd en geheugen.

Betekenis en Conclusie

MetaDOAR biedt een praktische en theoretisch onderbouwde route naar efficiënt hiërarchisch beleidsleren voor grote schaal netwerkproblemen. Het lost het fundamentele probleem op van de "combinatorische explosie" in cyberverdedigingssimulaties door slimme selectie en caching toe te passen, zonder in te leveren op de kwaliteit van het strategische evenwicht.

De studie toont aan dat het mogelijk is om game-theoretische methoden (zoals Double Oracle) schaalbaar te maken voor realistische, enterprise-grootte netwerken. Dit opent de deur voor adaptieve, autonome cyberverdedigingssystemen die kunnen opereren in omgevingen met duizenden apparaten, waar eerdere RL- en MARL-benaderingen onpraktisch waren.