Technische Samenvatting: Trident – Hoe Deep Reinforcement Learning te breken

Probleemstelling

Autonome cyberdefensesystemen gebaseerd op Deep Reinforcement Learning (DRL) worden steeds vaker ingezet om netwerken te monitoren en gecompromitteerde hosts in realtime te herstellen. De robuustheid ervan tegen adaptieve dreigingen blijft echter kritiek onderbelicht. Huidige evaluaties vertrouwen bijna uitsluitend op statische, heuristische "red agents" met vaste gedragssignaturen. Bijgevolg ontwikkelen DRL-verdedigers beleid dat impliciet geconditioneerd is op deze statische patronen, wat systematische blinde vlekken creëert die traditionele evaluatiemethoden niet ontdekken.

Tegelijkertijd is de integratie van Reinforcement Learning met Verifieerbare Beloningen (RLVR) in cybersecurity gehinderd door een gebrek aan geschikte benchmarkomgevingen, ondanks de vooruitgang die RLVR heeft geboekt in het redeneren van Large Language Models (LLM's) in domeinen zoals wiskunde en software engineering. Bestaande cybersecurity-datasets bieden doorgaans statische corpora of geïsoleerde Capture The Flag (CTF) uitdagingen, die de continue, meerstaps interacties missen die nodig zijn om agenten te trainen tegen actieve, adaptieve verdedigers. Er is een kritiek gat in de infrastructuur die in staat is om stabiele, reproduceerbare adversariële omgevingen met verifieerbare beloningssignalen te bieden voor het trainen van LLM-gebaseerde red agents via RLVR.

Methodologie

Om deze hiaten aan te pakken, introduceren de auteurs Trident, een dynamisch red teaming-framework bestaande uit een benchmarkinfrastructuur, een dataset en een agentische architectuur.

1. Trident Benchmark en Dataset

Trident opereert binnen twee hoogwaardige simulators: CybORG CAGE 4 (die een gesegmenteerd militair netwerk modelleert met coöperatieve multi-agent verdedigers) en CyberWheel (die aanvallen fundeert in real-world MITRE ATT&CK-technieken).

• Infrastructuur: Het framework maakt gebruik van geïsoleerde, gecontaineriseerde sandbox-servers met een client-serverarchitectuur. Generatieve aanvalsbeleid wordt naar deze sandboxes verzonden, daar lokaal uitgevoerd tegen live DRL-verdedigers, en keert deterministische, verifieerbare executielogs terug.
• Dataset: De auteurs hebben een dataset samengesteld van meer dan 13.000 hoogwaardige red-blue interactietrajecten. Deze trajecten worden geserialiseerd in gestructureerde natuurlijke taallogs, waarbij partiële observaties, differentiële host-intelligentie en actieresultaten worden vastgelegd, wat dient als de basis voor RLVR post-training.

2. Trident Agentic Architectuur

Trident Agentic herformuleert het trainingsprobleem van de red agent van een Decentralized Partially Observable Markov Decision Process (Dec-POMDP) naar een Contextual Bandit probleem met behulp van een "Code-as-Policies" paradigma. De architectuur bestaat uit drie gespecialiseerde modules:

• Log Summarizer: Een hybride module die gebruikmaakt van regelgebaseerde parsing en een bevroren LLM om ruwe executielogs te comprimeren. Het bewaart kritieke "mijlpaal"-events (bijv. succesvolle exploits, privilege escalatie) terwijl mislukte pogingen worden gesampled, waardoor een dichte semantische samenvatting voor de planner wordt gesynthetiseerd.
• Planner ($\pi_\theta$): De enige trainbare component (een 7B parameter LLM). Het ontvangt de gecomprimeerde samenvatting als context en genereert een hoogwaardige aanvalsstrategie in één enkele forward pass, waarbij een gestructureerde JSON-payload wordt gegenereerd. Het wordt geoptimaliseerd via Group Relative Policy Optimization (GRPO) met behulp van verifieerbare beloningen afgeleid van de sandbox-executie.
• Coder: Een bevroren LLM die de JSON-strategie van de Planner vertaalt naar uitvoerbare Python-code. Het maakt gebruik van een Abstract Syntax Tree (AST)-gebaseerd patchmechanisme en een iteratieve self-repair loop (tot $K=3$ pogingen) om syntactische fouten te corrigeren voordat ze worden uitgerold, zodat de Planner niet wordt gestraft voor incidentele implementatieruis.

3. Beloningsontwerp

Het systeem maakt gebruik van een dichte, verifieerbare beloningsfunctie die rechtstreeks is afgeleid van de executielogs:

• Positieve Mijlpalen ($R^+$): Gewogen beloningen voor voortgang in de killchain (bijv. systeemimpact, privilege escalatie), aangevuld met een efficiëntiecoëfficiënt gebaseerd op de ratio tussen behaalde resultaten en stappen.
• Negatieve Events ($R^-$): Straffen voor mislukte exploits, ongeldige acties en operationele ruis.
• Executie-strafpunten: Strikte straffen worden toegepast voor syntactische fouten, runtime-fouten of pogingen om toegang te krijgen tot niet-observeerbare interne simulator-elementen (bijv. decoy flags), wat ervoor zorgt dat de agent vertrouwt op gedragsinferentie in plaats van geprivilegieerde staatstoegang.

Belangrijkste Bijdragen

1. Trident Evaluation Benchmark en Dataset: De eerste cross-environment red teaming benchmark die CAGE 4 en CyberWheel beslaat en geïsoleerde sandbox-executie biedt voor verifieerbare beloningen tegen live DRL-verdedigers. Het bevat een dataset van 13.000+ trajecten die specifief zijn ontworpen om RLVR-training te ondersteunen.
2. Trident Agentic: Een drieledige agentische LLM-architectuur die "Code-as-Policies" gebruikt om de directe generatie van uitvoerbare aanvalsstrategieën mogelijk te maken. Door de strategiegeneratie te behandelen als een contextual bandit, omzeilt het de computationele onhandelbaarheid van stapsgewijze POMDP-planning.
3. Empirisch Bewijs van DRL-broosheid: Het framework toont aan dat huidige autonome verdedigers aanzienlijk brozer zijn tegen adaptieve aanvallers dan eerder geïndiceerd door statische evaluaties.

Experimentele Resultaten

De auteurs evalueerden Trident Agentic tegen state-of-the-art DRL blue agents (inclusief GNN, HMARL en MARL varianten) in zowel CAGE 4 als CyberWheel.

• Prestatievermindering: Trident Agentic verminderde de defensieve prestaties van blue agents met gemiddeld 522% vergeleken met standaard heuristische baselines.
• Vergelijking met Baselines:
  • Statische Heuristieken: Traditionele red agents slaagden er niet in om zwakheden in de geleerde policies bloot te leggen.
  • Zero-Shot/CoT: Hoewel zero-shot prompting en Chain-of-Thought (CoT) benaderingen enige verbetering lieten zien ten opzichte van statische baselines, werden ze aanzienlijk overtroffen door de via RLVR getrainde Trident Agentic.
  • Frontier Modellen: Een 7B parameter model getraind via RLVR (Trident Agentic) presteerde beter dan frontier-scale modellen (bijv. GPT-4o) gebruikt in een zero-shot capaciteit, wat de effectiviteit van taakspecifieke RLVR-training boven pure modelomvang benadrukt.
• Emergente Gedragingen: De getrainde agents ontdekten autonoom nieuwe aanvalvectoren die statische heuristieken niet konden representeren, waaronder:
  • Decoy Avoidance (Vermijden van lokvallen): In CyberWheel leerde de agent aanvallen op hosts die herhaalde fouten vertoonden af te breken, waardoor het effectief honeypots identificeerde en vermeed.
  • Adaptive State Prioritization (Adaptieve staatsprioritering): In CAGE 4 leerde de agent prioriteit te geven aan hoogwaardige doelen (bijv. Root/User toegang) boven basisreconnaissance, waarbij de focus dynamisch verschoof op basis van de netwerkstatus.

Betekenis en Claims

Het paper claimt dat Trident een fundamenteel evaluatiegat in autonome cyberdefensie blootlegt: huidige praktijken onderschatten de kwetsbaarheid van DRL-verdedigers voor adaptieve, generatieve aanvallers kritiek. Door aan te tonen dat een compact, open-weight 7B LLM systematisch state-of-the-art defensies kan ontmantelen, betogen de auteurs dat het vakgebied verder moet kijken dan statische adversary-evaluatie.

Trident wordt niet slechts gepresenteerd als een offensief instrument, maar als een noodzakelijke infrastructuur voor de "co-evolutie" van cyber offense en defense. Het simulator-agnostische, RESTful sandbox-ontwerp maakt de integratie van hogere-getrouwheidsomgevingen mogelijk, wat de training van blue agents mogelijk maakt die robuust zijn tegen generatieve, adaptieve dreigingen. De auteurs benadrukken dat transparantie over deze capaciteiten essentieel is om de ontwikkeling van even adaptieve, RL-gestuurde defensieve systemen te stimuleren voordat dergelijke aanvalsstrategieën onafhankelijk door tegenstanders worden ingezet.