Beyond Single Reports: Evaluating Automated ATT&CK Technique Extraction in Multi-Report Campaign Settings

1. Il Problema

Le grandi campagne di cyberattacco sono documentate attraverso molteplici rapporti di Cyber Threat Intelligence (CTI) provenienti da fonti diverse (agenzie governative, vendor di sicurezza, ricercatori indipendenti). Questi rapporti offrono spesso prospettive complementari: alcuni forniscono una panoramica strategica ad alto livello, mentre altri offrono dettagli tecnici forensi.

Il problema centrale identificato dagli autori è che i metodi esistenti per l'estrazione automatica delle tecniche di attacco (mappate sul framework MITRE ATT&CK) sono stati valutati e sviluppati quasi esclusivamente su singoli rapporti. Questo approccio porta a:

• Una visione frammentata del comportamento della campagna.
• La mancata individuazione di tecniche di attacco critiche presenti solo in alcuni rapporti.
• Conseguentemente, una copertura incompleta dei controlli di mitigazione necessari per difendersi dall'attacco.
• L'impraticabilità dell'estrazione manuale su larga scala.

2. Metodologia

Lo studio adotta un design di replicazione concettuale ed estensione rispetto al lavoro di Büchel et al. [10], spostando il contesto di valutazione da singoli rapporti a campagne multi-rapporto.

• Dataset:
  • Addestramento: Utilizzo del dataset AnnoCTR (più ampio, 118 tecniche) integrato con campioni aggiuntivi dal sito MITRE ATT&CK per coprire le tecniche mancanti.
  • Test: Utilizzo del dataset CTIfecta, contenente 90 rapporti CTI filtrati relativi a tre grandi campagne: SolarWinds, XZ Utils e Log4j.
• Metodi Valutati: Sono stati replicati e confrontati 29 metodi dello stato dell'arte, suddivisi in tre categorie:
  1. Named Entity Recognition (NER): 6 metodi basati su pipeline sintattiche e semantiche (senza addestramento di modelli).
  2. Classificazione basata su Encoder: 15 modelli (BERT, RoBERTa e varianti) per la classificazione del testo.
  3. LLM basati su Decoder: 8 metodi che utilizzano Large Language Models (es. Llama-3.1) con strategie come Zero-shot, Few-shot prompting, RAG (Retrieval-Augmented Generation) e Fine-tuning supervisionato (SFT).
• Strategia di Valutazione:
  • Le previsioni di ogni metodo sono aggregate a livello di campagna (unione delle tecniche estratte da tutti i rapporti della stessa campagna).
  • Metriche: Precisione, Recall, F1-Score.
  • Analisi degli Errori: Studio della similarità semantica tra le descrizioni delle tecniche (tramite embedding e t-SNE) per capire se errori di classificazione derivano da sovrapposizioni semantiche.
  • Mappatura ai Controlli: Le tecniche estratte sono mappate ai controlli di mitigazione del framework P-SSCRM (Proactive Software Supply Chain Risk Management) per quantificare l'impatto degli errori di estrazione sulla copertura delle difese.
  • Analisi di Saturazione: Determinazione del numero minimo di rapporti necessari per raggiungere la saturazione delle prestazioni (punto in cui l'aggiunta di nuovi rapporti non migliora significativamente le metriche).

3. Contributi Chiave

1. Prima valutazione a livello di campagna: Una replicazione sistematica di metodi esistenti su dataset multi-rapporto, dimostrando che l'aggregazione migliora significativamente le prestazioni rispetto all'analisi singola.
2. Metriche a livello di controllo: Introduzione di metriche per quantificare non solo la copertura delle tecniche, ma anche il numero di controlli di mitigazione mancati a causa di errori di estrazione.
3. Soglie di saturazione empiriche: Definizione del numero minimo di rapporti CTI necessari (generalmente tra 5 e 15) affinché i metodi automatici raggiungano la massima performance.
4. Caratterizzazione dei report: Identificazione delle caratteristiche dei report (lunghezza, dettagli tecnici, fonte) che massimizzano l'estrazione, fornendo linee guida per la raccolta dei dati.
5. Analisi degli errori semantici: Dimostrazione che una parte significativa degli errori (fino al 33,3%) deriva dalla confusione tra tecniche semanticamente simili che condividono la stessa tattica MITRE.

4. Risultati Principali

• Impatto dell'Aggregazione Multi-Rapporto:

  • L'aggregazione di più rapporti migliora il punteggio F1 medio di circa il 26% rispetto all'analisi di singoli rapporti.
  • I metodi NER e LLM basati su Decoder beneficiano notevolmente dell'aggregazione (miglioramento della Recall del 28,5% per gli LLM).
  • Al contrario, i metodi di Classificazione basata su Encoder mostrano un degrado delle prestazioni (-30% di F1) in contesti multi-rapporto, probabilmente a causa della difficoltà nel gestire contesti frammentati.

• Saturazione delle Prestazioni:

  • La maggior parte degli approcci raggiunge la saturazione delle prestazioni dopo l'incorporazione di 5-15 rapporti.
  • Tuttavia, per campagne complesse come XZ Utils, gli LLM potrebbero richiedere fino a 22-30 rapporti per saturare.
  • I report più lunghi e ricchi di dettagli tecnici (spesso pubblicati da CISA o vendor consolidati) contribuiscono maggiormente alla saturazione, anche se hanno punteggi di leggibilità più bassi.

• Analisi degli Errori e Semantica:

  • Il 33,3% delle classificazioni errate (False Positives) coinvolge tecniche semanticamente simili che condividono la stessa tattica (es. Defense Evasion o Discovery).
  • Le tecniche perse (False Negatives) mostrano un pattern simile, con il 79,2% degli errori di FP e il 73,3% degli errori di FN che condividono almeno una tattica con la tecnica corretta.

• Impatto sui Controlli di Mitigazione (RQ3):

  • Anche il metodo migliore (LLM con RAG) raggiunge solo un 77,1% di copertura dei controlli di ground-truth.
  • Un errore di estrazione del 10% sulle tecniche si traduce in un vuoto di copertura dei controlli del 23%.
  • Esistono lacune sistemiche nella copertura dei controlli nei domini Governance, Deployment e Environment del framework P-SSCRM.

5. Significato e Implicazioni

Questo studio cambia il paradigma di valutazione per l'estrazione automatica di intelligence sulle minacce:

• Oltre il singolo report: Le organizzazioni non dovrebbero basarsi su un singolo rapporto per l'analisi delle campagne; l'aggregazione è essenziale per una visione completa.
• Trade-off Operativi: I team SOC che privilegiano la precisione (minimizzare i falsi positivi) potrebbero preferire approcci NER, mentre gli analisti di threat intelligence che cercano una copertura completa delle tattiche avversarie dovrebbero optare per approcci basati su LLM, accettando un tasso di falsi positivi più alto.
• Qualità dei Dati: La "leggibilità" di un report non è un indicatore di qualità per l'IA; al contrario, report tecnici densi e complessi (con hash, IP, termini specifici) sono più preziosi per l'estrazione automatica.
• Necessità di Analisi dei Controlli: La semplice estrazione delle tecniche ATT&CK è insufficiente. È fondamentale valutare l'impatto a cascata sui controlli di mitigazione, poiché anche piccoli errori di estrazione possono lasciare le organizzazioni esposte a vulnerabilità critiche non coperte.

In sintesi, il paper dimostra che l'estrazione automatica di tecniche di attacco è fattibile e migliorabile aggregando più fonti, ma rivela limiti significativi nella capacità di distinguere tecniche semanticamente simili e nella copertura completa dei controlli di sicurezza necessari.