Technische Samenvatting: Een Red Teaming Framework voor het Evalueren van de Robuustheid van AI-gestuurde SOAR-systemen

Probleemstelling

Naarmate bedrijven AI-gestuurde Security Orchestration, Automation and Response (SOAR)-systemen steeds vaker adopteren voor autonome dreigingsdetectie en -respons, blijft de veerkracht van deze systemen tegen adaptieve, strategische tegenstanders onderbelicht. Traditionele penetratietests en regelgebaseerde red teaming slagen er niet in het dynamische, meerstapskarakter van echte aanvalscampagnes te vangen. Hoewel recente vooruitgang in Large Language Models (LLM's) en Reinforcement Learning (RL) potentie biedt voor autonome red teaming, vertonen beide paradigma's fundamentele beperkingen wanneer ze onafhankelijk worden toegepast:

• LLM's: Hebben moeite met het bijhouden van staten over lange tijdsperiodes, consistentie in acties en adaptatie via feedback uit de omgeving. Ze slagen er vaak niet in meerstapsaanvalscampagnes vol te houden tegen adaptieve verdedigers.
• RL: Lijdt aan inefficiëntie qua steekproeven, beperkte interpreteerbaarheid en slechte generalisatie over heterogene cyberomgevingen. Pure RL-agenten convergeren vaak naar degeneratieve beleidslijnen (bijvoorbeeld het herhalen van verkenningacties) wanneer ze geconfronteerd worden met schaarse beloningen en complexe ruimtes van staten.

Er is een kritieke kloof in het evalueren van de robuustheid van AI-gestuurde cyberverdedigingssystemen tegen agenten die hoogwaardig strategisch redeneren kunnen combineren met adaptieve tactische uitvoering.

Methodologie

De auteurs stellen een hiërarchisch hybride framework voor dat LLM-gebaseerde strategische planning integreert met RL-gebaseerde tactische uitvoering voor autonome red teaming. Het systeem wordt gemodelleerd als een deels waarneembare Markov-beslissingsprocess (POMDP) en opereert binnen de CybORG CAGE Challenge 4-omgeving, een high-fidelity simulatie van een ondernemingsnetwerk met gedeeltelijke waarneembaarheid en gecoördineerde AI-verdedigers.

Architectuur

Het framework ontkoppelt de agent in twee distincte niveaus:

1. Strategische Planner (LLM): Een 'gevroren' LLM opereert op een grove temporele resolutie (bijvoorbeeld elke 20 stappen). Het genereert gestructureerde 'intenties' op basis van huidige observaties en optioneel geheugen. Deze intenties coderen hoogwaardige beslissingen zoals actietype, MITRE ATT&CK-tactiek, doelwitselectie en risicopositie. De LLM-parameters blijven tijdens het trainen vast om externe kennis te behouden.
2. Tactische Controller (RL): Een trainbare RL-controller (met behulp van Proximal Policy Optimization, PPO) voert acties uit op elk tijdstip. Het baseert zijn beleid op zowel de huidige omgevingsobservatie als de door de LLM gegenereerde intentie. Hierdoor kan de controller omgevingsgebonden beleidslijnen leren terwijl het zich houdt aan hoogwaardige strategische richtlijnen.

Belangrijke Mechanismen

• Hiërarchische Reward Shaping: Om schaarse en vertraagde beloningen aan te pakken, introduceren de auteurs een meercomponentenbeloningsfunctie ($r_t = r_{env} + r_{progress} + r_{constraint} + r_{alignment}$). Dit omvat boetes voor ongeldige acties en bonussen voor het doorlopen van kill-chain-fases (bijvoorbeeld ontdekking, exploitatie, privilege-escalatie, impact), afgestemd op MITRE ATT&CK.
• Reflexie (Geheugen): Een optioneel mechanisme stelt de LLM-planner in staat aan het einde van elke episode natuurlijke taal-zelfreflecties te genereren. Deze reflecties (die successen, falen en verdedigingsgedrag samenvatten) worden opgeslagen in een FIFO-buffer en teruggevoerd naar de input van de planner voor daaropvolgende episodes, waardoor strategische adaptatie mogelijk wordt zonder parameterupdates.
• Staatrepresentatie: Observaties worden omgezet in een tekstsamenvatting voor de LLM en een numeriek kenmerkvector voor de RL-controller. De gestructureerde intentie van de LLM wordt gecodeerd in een embedding-ruimte die compatibel is met het RL-beleidsnetwerk.

Belangrijkste Bijdragen

1. Hiërarchische LLM-RL Architectuur: Het artikel presenteert een nieuwe architectuur die strategische planning (LLM) ontkoppelt van tactische uitvoering (RL), waardoor gestructureerde interactie mogelijk wordt tussen hoogwaardige intentiegeneratie en laagwaardige, omgevingsgebonden controle.
2. Kill-Chain-gealigneerd RL-framework: De auteurs introduceren een reward-shaping-mechanisme dat specifiek is ontworpen om langdurig vijandelijk gedrag te sturen dat consistent is met MITRE ATT&CK-fases, wat het leren stabiliseert in omgevingen met schaarse beloningen.
3. Uitgebreide Empirische Studie: Het werk evalueert een breed scala aan LLM's (0,6B tot 70B parameters), inclusief algemeen doelmodellen (Qwen3, Llama), redeneerspecialisten (DeepSeek-R1, QwQ) en domeinspecialistische cybersecuritymodellen (Foundation-Sec, DeepHat).
4. Rigoureus Benchmarken: Het framework wordt geëvalueerd tegen de sterkste gepubliceerde autonome verdediger voor de CAGE 4-instelling (H-MARL Expert-beleid), wat een robuuste test biedt van red team-capaciteiten onder realistische vijandelijke omstandigheden.

Resultaten

Experimenten werden uitgevoerd over 200 episodes in de CAGE 4-omgeving. De primaire metriek was de Episode Compromise Rate (ECR).

• Prestaties Hybride Framework: De voorgestelde LLM+RL-agenten behaalden een bijna perfecte succesgraad.
  • Qwen3 + RL: Behaalde een 100% ECR (200/200 episodes).
  • Foundation-Sec + RL: Behaalde een 94% ECR.
  • Deze agenten doorliepen betrouwbaar meerdere aanvalsfases, inclusief privilege-escalatie en impact.
• Beperkingen van Standalone LLM's: Alleen LLM-agenten (zero-shot) vertoonden beperkte end-to-end capaciteit.
  • Slechts 6 van de 14 modellen behaalden enige compromittering voorbij de initiële voet aan de grond.
  • Het sterkste standalone-model (QwQ-32B) slaagde slechts in 30% van de episodes.
  • Domeinspecialistische modellen (bijvoorbeeld Foundation-Sec-8B) genereerden hoge actiehoeveelheden maar slaagden er niet in dit om te zetten in betekenisvolle aanvalsvordering (6,5% ECR), wat aangeeft dat domeinkennis alleen onvoldoende is zonder consistente uitvoering.
• Beperkingen van Standalone RL: De RL-only-agent stortte in naar een degeneratief beleid, waarbij in bijna alle tijdstappen een enkele verkenningactie werd geselecteerd, resulterend in een 0% ECR. Het slaagde er niet in de gestructureerde reeks acties te ontdekken die nodig is voor meerstapsaanvallen onder de gegeven beloningsstructuur.
• Observaties Schaalbaarheid: De prestaties binnen de Qwen3-familie waren niet-monotoon; kleinere modellen (0,6B, 1,7B) behaalden enig succes, terwijl grotere varianten (4B+) er niet in slaagden exploitatie te proberen ondanks effectieve verkenning.

Betekenis en Claims

Het artikel claimt dat autonome red teaming tegen AI-gestuurde SOAR-systemen vereist dat strategisch redeneren en aangeleerde uitvoering nauw gekoppeld zijn. De auteurs betogen dat:

1. Standalone benaderingen onvoldoende zijn: Noch redeneren-only (LLM) noch leren-only (RL) systemen kunnen volledige kill-chain-gedragingen uitvoeren tegen adaptieve verdedigers.
2. Hybride integratie leidt tot multiplicatieve verbetering: Het combineren van LLM-planning met RL-uitvoering resulteert in aanzienlijke verbeteringen in het succes van meerstapsaanvallen en robuustheid.
3. Gestructureerde planning is belangrijker dan domeinspecialisatie: Algemeen doelmodellen presteerden consequent beter dan grotere, cybersecurity-specialistische modellen in de hybride instelling. Dit suggereert dat outputbetrouwbaarheid en gestructureerde controleerbaarheid sleuteleisen zijn voor LLM's in hiërarchische beslissingssystemen, wat de voordelen van specifieke domeinfinetuning overstijgt.

De studie concludeert dat dit hybride framework de kloof overbrugt tussen de strategische redeneercapaciteiten van LLM's en de adaptieve tactische uitvoering van RL, en een principiële aanpak biedt voor het stress-testen van de robuustheid van autonome cyberverdedigingssystemen.