Technische Samenvatting: Volledig Geautomatiseerde End-to-End Adversary Emulatie van CTI met behulp van LLM's

Probleemstelling

Adversary emulatie is een cruciale methode voor het valideren van defensieve systemen binnen organisaties door specifieke TTP's (Tactics, Techniques, and Procedures) van dreigingsgroepen te repliceren. Het bereiken van volledig geautomatiseerde, end-to-end adversary emulatie blijft echter een aanzienlijke uitdaging. Bestaande benaderingen lijden aan fragmentatie:

• Handmatige Playbook Generatie: Tools zoals MITRE Caldera en PurpleSharp automatiseren de uitvoering, maar vertrouwen op beveiligingsexperts die handmatig playbooks moeten schrijven, wat een schaalbaarheidsbottleneck creëert.
• Partiële Automatisering: Recente systemen zoals AURORA gebruiken Large Language Models (LLM's) om playbooks te genereren op basis van Cyber Threat Intelligence (CTI) rapporten, maar vereisen nog steeds handmatige interventie voor het serveren en uitvoeren van payloads. Cruciaal is dat zij niet beschikken over mechanismen om uitvoeringsfouten te diagnosticeren of te herstellen, waardoor ze vaak doorgaan met ongeldige aanvalsketens wanneer commando's falen door omgevingsverschillen.

Het kernprobleem is het ontbreken van een uniforme workflow die playbook generatie, executie en foutherstel integreert zonder menselijke tussenkomst, met name bij het vertalen van ongestructureerde, natuurlijke taal CTI-rapporten naar uitvoerbare aanvalsscenario's.

Methodologie

De auteurs stellen een volledig geautomatiseerd framework voor dat MITRE ATT&CK-gealigneerde CTI-rapporten transformeert naar uitvoerbare Caldera-playbooks met behulp van LLM's. De systeemarchitectuur bestaat uit vier functionele lagen:

1. Inputlaag

• CTI Rapporten: Het systeem importeert gestructureerde CTI-rapporten (bijv. van KISA) die TTP's, operationele details (IP's, bestandspaden) en mitigatiestrategieën bevatten.
• Omgevingsspecificatie: Een document verstrekt door een security operator waarin het doelomgeving (OS-versies, netwerktopologie, credentials) wordt gedetailleerd. Dit stelt de LLM in staat om omgevingsspecifieke details uit het CTI-rapport te abstraheren en deze concreet te maken voor de testomgeving.

2. LLM-gebaseerde Playbook Generatie Laag

Deze laag transformeert de input naar een Caldera Adversary via drie stappen:

• Stap 1 (Abstract Flow): De LLM extraheert aanvalsdoelen uit de CTI-tekst, waarbij doelstellingen, tactieken en methoden worden geïdentificeerd om een omgeving-onafhankelijk abstract aanvalsverloop te creëren.
• Stap 2 (Concrete Flow): De LLM combineert het abstracte verloop met de omgevingsspecificatie om specifieke nodes te genereren. Elke node bevat een uitvoerbaar commando, een MITRE ATT&CK Technique ID en concrete parameters (IP's, paden). Logische afhankelijkheden worden vastgesteld om de volgorde van uitvoering te bepalen.
• Stap 3 (Caldera Conversie): Nodes worden omgezet in Caldera Abilities (uitvoerbare eenheden) en samengesteld tot een Adversary (playbook) in abilities.yml en adversaries.yml formaten.

3. Executielaag

De gegenereerde Adversary wordt geüpload naar het MITRE Caldera-platform. Een Caldera Agent op de doelhost voert de Abilities uit en stuurt resultaten (exit codes, stdout, stderr) terug naar het systeem.

4. Foutherstel Laag

Dit is een innovatief component dat is ontworpen om de heterogeniteit van aanvalssimulatie-fouten te behandelen.

• Foutclassificatie: Uitvoeringsfouten worden geclassificeerd in vier typen met behulp van regex-patronen afgeleid van geobserveerde error logs:
  1. Syntax Error: Problemen met commando-parsing of escaping.
  2. Dependency Error: Problemen met privileges, authenticatiefouten of cascade-fouten van voorgaande stappen.
  3. Missing Environment: Afwezigheid van vereiste resources (bestanden, netwerkendpoints).
  4. Timeout: Uitvoering die de tijdslimieten overschrijdt.
• Herstelstrategie: Voor herstelbare fouten construeert het systeem een nieuwe prompt voor de LLM die het originele commando, de specifieke definitie van het fouttype, de geaccumuleerde revisiegeschiedenis en de omgevingsspecificatie bevat. De LLM genereert een herzien commando, dat opnieuw wordt uitgevoerd. Deze loop wordt maximaal drie keer herhaald of totdat succes is bereikt.

Belangrijkste Bijdragen

1. Uniform End-to-End Framework: Het paper presenteert het eerste systeem dat playbook generatie, executie en foutherstel integreert in één enkele geautomatiseerde workflow, waardoor handmatige interventie in elke fase wordt geëlimineerd.
2. Fouttype-bewust Herstelmechanisme: In tegenstelling tot algemene codecorrectie is dit mechanisme domeinspecifiek; het classificeert fouten in vier afzonderlijke categorieën en past op maat gemaakte herstelstrategieën toe. Het maakt gebruik van de geaccumuleerde revisiegeschiedenis om herhaalde fouten te voorkomen.
3. Uitgebreide LLM Evaluatie: De studie evalueert vier commerciële LLM's (Claude Sonnet 4.5, GPT-4o, Gemini 2.5 Pro, en Grok 4 Fast) en toont aan dat verschillende modellen duidelijke sterktes vertonen in getrouwheid (fidelity), ketenlengte en herstelvermogen.

Experimentele Resultaten

Het framework werd geëvalueerd op 11 hoogwaardige CTI-rapporten (gemiddeld 41,5 pagina's per stuk) in een gecontroleerde Windows-omgeving (PC1, PC2, PC3).

Prestatie-metrieken (Beste Model: Claude Sonnet 4.5)

• ATT&CK Conformance: 94,91% van de gegenereerde Abilities komt overeen met geldige MITRE ATT&CK technieken.
• CTI Fidelity: Behaalde een CTI F1-score van 60,50% (Precision: 73,95%, Recall: 52,48%).
• Executie Succes:
  • Initiële executie succesrate: 69,63%.
  • Finale executie succesrate (na herstel): 84,22%.
  • Verbetering: Het foutherstelmechanisme verhoogde de succesrates met gemiddeld 14,59 procentpunt over alle modellen heen.
• Efficiëntie: Het genereren en herzien van een playbook duurde gemiddeld 197,39 seconden (ca. 3,3 minuten) en kostte $0,35 aan LLM-tokens per rapport.

Vergelijking met State-of-the-Art (AURORA)

Gebruikmakend van 10 CTI-rapporten uit de AURORA-dataset:

• Executie Succes: Het voorgestelde systeem behaalde een finale succesrate van 65,17%, waarmee het AURORA (60,72%) overtrof.
• Fidelity: Het systeem behaalde een hogere CTI F1-score (30,57%) vergeleken met AURORA (26,07%).
• Impact van Herstel: Hoewel AURORA een hogere initiële succesrate had (60,72%) vanwege het gebruik van een vooraf gebouwde commando-bibliotheek, was de initiële rate van het voorgestelde systeem lager (32,90%) omdat het commando's vanaf nul genereert. Echter, het herstelmechanisme verhoogde de succesrate van het voorgestelde systeem met 32,27 procentpunt, waardoor het uiteindelijk AURORA overtrof.

Betekenis en Claims

De auteurs stellen dat dit werk een belangrijke stap is richting praktische, schaalbare adversary emulatie. Door de volledige levenscyclus van CTI-rapport tot succesvolle aanvalsexecutie te automatiseren, adresseert het systeem de schaalbaarheidsbottleneck van handmatige playbook-autorisatie.

Het paper benadrukt dat het foutherstelmechanisme het cruciale differentiërende element is. Bij aanvalssimulatie zorgen omgevingsnuances er vaak voor dat commando's falen waar ze in een andere context wel zouden slagen. Het vermogen om deze fouten automatisch te diagnosticeren (bijv. het onderscheid tussen een syntaxfout en een ontbrekende omgevingsvariabele) en het playbook te herzien zonder menselijke tussenkomst, is essentieel voor het behoud van de validiteit van de aanvalsketen.

De studie concludeert dat hoewel het huidige systeem een vooraf voorbereide omgeving veronderstelt, het succesvol aantoont dat volledig geautomatiseerde, end-to-end adversary emulatie haalbaar is, wat aanzienlijke tijd- en kostenbesparingen oplevert terwijl de hoge getrouwheid aan de threat intelligence behouden blijft. Toekomstig werk suggereert het automatiseren van de stappen voor het voorzien en specificeren van de omgeving.