Technische Samenvatting: Voorbij Beloningen in RL voor Cyberverdediging

1. Probleemstelling

Autonome Cyberverdedigingsagenten (ACD) die getraind zijn via Deep Reinforcement Learning (DRL), worden steeds vaker ingezet in "cyber gym"-omgevingen om netwerksystemen te beschermen. Deze agenten worden doorgaans getraind met behulp van dense, sterk technisch geconstrueerde beloningsfuncties die talloze straffen en prikkels combineren voor specifieke netwerktoestanden en acties. Hoewel dense beloningen de exploratie in complexe omgevingen vergemakkelijken, introduceren ze aanzienlijke risico's:

• Suboptimale Bias: Ze kunnen agenten beperken tot suboptimale oplossingen die suboptimale zwakheden bevatten die moeilijk te detecteren zijn vóór een aanval.
• Arbitraire Equivalenties: Ze leggen vaak willekeurige numerieke equivalenties op tussen verschillende netwerktoestanden en acties, wat steeds moeilijker te beheren wordt naarmate de taakcomplexiteit schaalt.
• Evaluatiebeperkingen: Huidige evaluatiemethoden vertrouwen op gemiddelde episodische beloningen, wat faalt in het vastleggen van de "ground truth" van complexe cyberomgevingen. Specifiek negeren standaard cyber gyms vaak intra-stap gebeurtenissen (bijv. een node die wordt gecompromitteerd en onmiddellijk wordt hersteld binnen één enkele tijdstap), wat leidt tot onnauwkeurige prestatiebeoordelingen die kritieke risicovariaties maskeren.

2. Methodologie

De auteurs stellen een uitgebreid evaluatiekader voor om sparse en dense beloningsfuncties te vergelijken in twee gevestigde cyber gyms: Yawning Titan (YT) en Cyber Autonomy Gym for Experimentation (CAGE 2).

2.1. Ground Truth Scoring Mechanisme

Om de beperkingen van discrete stap-gewijze evaluatie aan te pakken, introduceren het artikel een Ground Truth Score ($Score_{GT}$).

• Definitie: $Score_{GT}(t) = \max(m^{intra}_t, m^{end}_t)$, waarbij $m^{intra}_t$ en $m^{end}_t$ het aantal gecompromitteerde nodes tijdens de stap en aan het einde van de stap zijn, respectievelijk.
• Doel: Deze metriek legt de maximale compromittering vast die binnen een tijdstap plaatsvindt, onafhankelijk van de volgorde waarin de rode (aanvaller) en blauwe (verdediger) acties worden uitgevoerd. Het biedt een reproduceerbare, beloningsonafhankelijke basis voor het vergelijken van agenten met verschillende beloningsstructuren.

2.2. Betrouwbaarheids- en Risicometrieken

De studie evalueert agenten met metrieken die verder gaan dan gemiddelde episodische beloningen:

• Trainingsbetrouwbaarheid: Gemeten via Dispersion Variability across Time ($\bar{DT}$) en across Runs ($DR'$), wat de stabiliteit en reproduceerbaarheid van training kwantificeert.
• Risico na Training: Gemeten met behulp van Conditional Value at Risk (CVaR) toegepast op fixed-policy rollouts, specifiek gericht op het slechtste verwachte verlies (bijv. de slechtste 5% van de uitkomsten).

2.3. Experimentele Opzet

• Omgevingen:
  • Yawning Titan: Geconfigureerd met lineaire netwerkstructuren variërend van 2 tot 50 nodes. Actieruimtes omvatten "basis" (scannen, herstellen) en "uitgebreid" (toevoegen van "plaats lokaas").
  • MiniCAGE: Een verfijnde versie van CAGE 2 met een enterprise netwerk met 3 subnets (gebruiker, enterprise, operationeel) en 13 hosts.
• Algoritmen: Experimenten maakten gebruik van PPO (Proximal Policy Optimization) en DQN (Deep Q-Network).
• Beloningsfuncties:
  • Sparse: Sparse Positive (SP), Sparse Negative (SN), Sparse Positive-Negative (SPN).
  • Dense: Dense Negative (DN), Complex Dense Negative (CDN) (vertegenwoordigend van standaard gym beloningen).
• Agent Volgorde: Experimenten testten drie actie-orderingen: Red-dan-Blue (standaard), Blue-dan-Red, en Random (simulatie van onzekere timing van de aanvaller).

3. Belangrijkste Bijdragen

1. Ground Truth Evaluatie: De introductie van $Score_{GT}$, die intra-stap compromitteringen onthult die vaak verborgen blijven bij standaard gym-evaluaties, wat een directe vergelijking van beloningsstrategieën mogelijk maakt.
2. Uitgebreide Beloningsanalyse: Een systematische evaluatie van sparse versus dense beloningen over variërende netwerkgroottes, actieruimtes en DRL-algoritmen.
3. Kwantificering van Risico en Betrouwbaarheid: Het aantonen dat de keuze van de beloningsfunctie een significante impact heeft op de trainingsbetrouwbaarheid en de worst-case risicoprofielen, metrieken die vaak worden genegeerd ten gunste van gemiddelde episodische beloningen.
4. Empirisch Bewijs voor Sparse Beloningen: Het aantonen dat doel-gealigneerde sparse beloningen consequent superieure policies opleveren met lager risico en hogere betrouwbaarheid vergeleken met complexe dense beloningen.

4. Belangrijkste Resultaten

• Superioriteit van Sparse Beloningen: Agenten getraind met Sparse Positive (SP) en Sparse Positive-Negative (SPN) beloningen presteerden consistent beter dan die getraind met dense beloningen (DN, CDN) over alle netwerkgroottes en agent-orderingen.
  • In Yawning Titan bereikte SPN de laagste gemiddelde $Score_{GT}$ (minder gecompromitteerde nodes).
  • In MiniCAGE bereikten SP en SPN de beste $Score_{GT}$ en toonden zij een betere afstemming op beveiligingsdoelstellingen (bijv. het beperken van compromitteringen tot gebruikerssubnets in plaats van operationele servers).
• Trainingsbetrouwbaarheid: Sparse beloningen resulteerden in aanzienlijk lagere dispersievariabiliteit ($\bar{DT}$ en $DR'$), wat wijst op een stabielere en reproduceerbaardere training vergeleken met dense beloningen, die een variabiliteit vertoonden die een orde van grootte hoger was.
• Risicomitigatie: Sparse beloningspolicies vertoonden lagere worst-case risico's (lagere Upper RF). Met name in de "Blue-then-Red" ordening met uitgebreide actieruimtes, bereikten SP-agenten een gemiddelde $Score_{GT}$ van 0 (perfecte verdediging), terwijl dense beloningsagenten er niet in slaagden dit optimum te bereiken.
• Robuustheid tegen Agent Volgorde: Sparse beloningen, met name SPN, behielden een superieure prestatie zelfs onder gerandomiseerde agent-volgorde (de meest realistische en uitdagende setting), terwijl de prestaties van dense beloningen aanzienlijk verslechterden.
• Actie-efficiëntie: Sparse beloningsagenten leerden om kostbare defensieve acties (bijv. "herstellen") spaarzamer en strategischer te gebruiken, zonder expliciete numerieke straffen voor deze acties, terwijl dense beloningsagenten deze vaak overmatig gebruikten door de engineering van straffen.

5. Betekenis en Claims

Het artikel claimt dat de huidige afhankelijkheid van dense, handmatig ontworpen beloningsfuncties in cyber gyms suboptimaal kan zijn voor echte ACD-implementaties. Door een ground truth scoring mechanisme en rigoureuze risicometrieken te introduceren, tonen de auteurs aan dat:

• Sparse, doel-gealigneerde beloningen niet alleen voldoende zijn voor het leren van effectieve policies, maar vaak ook betrouwbaarder en veiliger zijn dan dense alternatieven.
• Evaluatiepraktijken in het vakgebied moeten evolueren om ground truth scoring en risico-bewuste metrieken (CVaR, dispersievariabiliteit) te bevatten, in plaats van enkel te vertrouwen op gemiddelde episodische beloningen.
• Praktische Richtlijnen: De auteurs bevelen aan om standaard sparse, doel-gealigneerde beloningen te adopteren, agenten te evalueren met gerandomiseerde intra-stap ordening, en trainingsreproduceerbaarheid en worst-case risico's te rapporteren.

Dit werk positioneert deze bevindingen als een vereiste voor het inzetten van ACD-agenten die verantwoord kunnen bijdragen aan menselijke verdedigers, waarbij benadrukt wordt dat effectief beloningsontwerp cruciaal is om het introduceren van vermijdbare risico's in autonome cyberverdedigingssystemen te voorkomen.