Beyond Single Reports: Evaluating Automated ATT&CK Technique Extraction in Multi-Report Campaign Settings

Probleemstelling

Cyberaanvallen van grote schaal (campagnes) worden vaak gedocumenteerd in meerdere Cyber Threat Intelligence (CTI)-rapporten van diverse bronnen. Sommige rapporten bieden een hoog niveau overzicht, terwijl andere diepgaande technische details bevatten. Het handmatig extraheren van aanvalstechnieken (gebaseerd op het MITRE ATT&CK-framework) uit deze rapporten is onpraktisch bij grote schaal.

Bestaande geautomatiseerde methoden zijn voornamelijk getraind en geëvalueerd op enkele rapporten. Dit leidt tot een gefragmenteerd beeld van het aanvalsgedrag, waarbij veel technieken en de bijbehorende beveiligingscontroles (controls) onopgemerkt blijven. De auteurs stellen dat het aggregeren van meerdere rapporten over dezelfde campagne noodzakelijk is om een completer beeld te krijgen, maar dat er geen eerdere systematische evaluaties bestaan die geautomatiseerde extractiemethoden testen in een multi-rapport setting.

Methodologie

De auteurs voerden een conceptuele replicatie en uitbreiding uit van eerder werk (Büchel et al.) om 29 state-of-the-art methoden te evalueren in een multi-rapport campagne-omgeving.

• Datasets:
  • Training: Het AnnoCTR-dataset (brede dekking van technieken), aangevuld met MITRE-voorbeelden voor ontbrekende labels.
  • Testen: Het CTIfecta-dataset, bestaande uit 90 CTI-rapporten over drie grote campagnes: SolarWinds, XZ Utils en Log4j.
• Geëvalueerde Benaderingen (29 methoden):
  1. Named Entity Recognition (NER): 6 methoden (regelgebaseerd, zonder training), inclusief ablatiestudies op syntactische componenten.
  2. Encoder-based Classificatie: 15 methoden (o.a. BERT- en RoBERTa-varianten) die zinnen mappen naar ATT&CK-technieken.
  3. Decoder-based LLM: 8 methoden die gebruikmaken van Large Language Models, variërend van prompt-based (Zero-shot, Few-shot, RAG) tot weight-based (Supervised Fine-Tuning).
• Evaluatiestrategie:
  • In plaats van rapporten geïsoleerd te evalueren, werden de voorspellingen van alle rapporten binnen een campagne geaggregeerd (union van voorspellingen).
  • Prestaties werden gemeten aan de hand van Precision, Recall en F1-score.
  • Foutanalyse: Onderzoek naar semantische overlapping tussen misgeclassificeerde technieken (via embeddings en t-SNE).
  • Impact op Controls: Mapping van voorspelde technieken naar Proactive Software Supply Chain Risk Management (P-SSCRM) controls om te zien hoeveel beveiligingsmaatregelen gemist werden.
  • Saturatie-analyse: Een "greedy" incrementele evaluatie om te bepalen hoeveel rapporten nodig zijn voordat de prestaties verzadigen.

Belangrijkste Bijdragen

1. Campagne-niveau Replicatie: De eerste systematische evaluatie van geautomatiseerde extractiemethoden over meerdere rapporten van dezelfde campagne, in plaats van enkelvoudige rapporten.
2. Control-Level Metrics: Introductie van metrics om de impact van extractiefouten op de dekking van beveiligingscontroles te kwantificeren.
3. Saturatie-drempels: Empirische drempels vastgesteld voor het minimale aantal rapporten nodig om maximale prestaties te bereiken.
4. Rapportkarakteristieken: Een analyse van welke tekstuele en structurele eigenschappen van rapporten (lengte, leesbaarheid, bron) de prestaties beïnvloeden.
5. Semantische Foutanalyse: Systematische karakterisering van welke ATT&CK-technieken vaak worden gemist of verward, en de rol van semantische gelijkenis hierin.

Resultaten

• Prestatieverbetering door Aggregatie:

  • Het aggregeren van meerdere rapporten verbetert de F1-score met ongeveer 26% ten opzichte van single-report analyse.
  • Decoder-based LLM's en NER methoden profiteren het meest van multi-rapport aggregatie (respectievelijk +26% en +14,8% F1-score verbetering).
  • Encoder-based classificatie methoden presteren daarentegen slechter in multi-rapport settings (-30% F1-score daling), waarschijnlijk door de complexiteit van het samenvoegen van context.

• Prestaties per Campagne:

  • De maximale F1-score bleef beperkt: 78,6% voor SolarWinds, maar slechts 54,9% voor XZ Utils.
  • Saturatie: De meeste methoden bereiken prestatiesaturatie na 5 tot 15 rapporten. Voor de XZ Utils campagne (met LLM's) was echter tot 22 rapporten nodig.

• Foutanalyse (Semantische Overlap):

  • Tot 33,3% van de misclassificaties betreft semantisch vergelijkbare technieken die dezelfde tactiek delen (bijv. Defense Evasion of Discovery).
  • In de embedding-ruimte (t-SNE) clusteren fouten dicht bij de ground-truth technieken, wat aangeeft dat modellen moeite hebben met subtiele verschillen in beschrijvingen.

• Impact op Beveiligingscontroles (Controls):

  • Zelfs de beste methoden missen een aanzienlijk deel van de benodigde controles. De beste methode (Decoder-based LLM met RAG) bereikte een dekking van 77,1% van de ground-truth controls.
  • Er is een disproportioneel effect: het missen van ~10% van de technieken leidt tot een gat van ~23% in de controledekking.
  • Systematische gaten werden gevonden in de Governance (G), Deployment (D) en Environment (E) domeinen van het P-SSCRM-framework.

• Invloed van Rapportkenmerken:

  • Lengte en Techniek: Langere rapporten met meer technische details (hashes, IP's, complexe termen) presteren significant beter, ondanks een lagere leesbaarheidsscore.
  • Bron: Rapporten van overheidsinstanties (zoals CISA) en gevestigde commerciële vendors (zoals Google, Apache) dragen het meest bij aan de prestaties.
  • Leesbaarheid: De leesbaarheidsscore (Flesch Reading Ease) correleerde niet consistent met betere prestaties; "moeilijk" te lezen rapporten bevatten vaak de meest waardevolle technische details.

Significantie en Conclusie

De studie concludeert dat onderzoekers en praktici moeten overstappen van evaluaties op basis van enkele rapporten naar multi-rapport campagne-evaluaties. Hoewel aggregatie de prestaties aanzienlijk verbetert, blijven de methoden beperkt door semantische verwarring tussen vergelijkbare technieken.

De belangrijkste implicaties zijn:

1. Selectie van Methode: SOC-analisten die false positives willen minimaliseren, kunnen beter kiezen voor NER (perfecte precision, lage recall), terwijl threat intelligence analysts die volledige dekking nodig hebben, beter kiezen voor LLM-based methoden (hoge recall, maar meer false positives).
2. Rapport Curation: Bij het verzamelen van CTI-data moet de voorkeur worden gegeven aan langere, technisch gedetailleerde rapporten van betrouwbare bronnen, in plaats van rapporten met een hoge leesbaarheidsscore.
3. Controle Focus: Het is cruciaal om niet alleen te kijken naar de extractie van ATT&CK-technieken, maar ook naar de impact op de dekking van beveiligingscontroles, aangezien kleine extractiefouten grote gaten in de verdediging kunnen veroorzaken.

De auteurs pleiten ervoor dat toekomstig onderzoek zich richt op het evalueren van methoden in multi-rapport settings en het integreren van meerdere modaliteiten (zoals commando-traces) om de dekking van controles te verbeteren.