What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review

Questo studio presenta una revisione sistematica di 80 ricerche peer-reviewed per analizzare lo stato dell'arte nell'estrazione automatizzata di tattiche, tecniche e procedure (TTP) da testi non strutturati, evidenziando il predominio della classificazione a livello di tecnica, la transizione verso architetture basate su transformer e LLM, e le persistenti sfide legate alla generalizzazione e alla riproducibilità.

L'essenziale

🕵️‍♂️ Il Grande Libro degli Spie: Cosa stanno facendo i cattivi?

Immagina il mondo della cybersecurity come un enorme poliziotto privato che deve proteggere una città (le nostre aziende e i nostri dati). I "cattivi" (gli hacker) sono come una banda di ladri molto intelligenti che cambiano continuamente il loro modo di rubare.

Ogni volta che i ladri fanno un colpo, gli investigatori scrivono un rapporto (chiamato Cyber Threat Intelligence o CTI). In questi rapporti spiegano:

1. Perché l'hanno fatto (la tattica, es. "voglio rubare i soldi").
2. Come l'hanno fatto (la tecnica, es. "ho forzato la serratura con un grimaldello").
3. Cosa hanno usato esattamente (la procedura, es. "ho usato un grimaldello di ferro arrugginito alle 3 di notte").

Questi tre elementi si chiamano TTP (Tactics, Techniques, Procedures).

📚 Il Problema: Troppi Rapporti, Troppo Poco Tempo

Il problema è che ogni giorno vengono scritti migliaia di questi rapporti. Sono pieni di parole tecniche, scritti in modi diversi e sparsi per tutto internet.
I poliziotti umani non riescono a leggere tutto. È come se dovessi leggere 10.000 libri di spionaggio in una notte per capire come fermare i ladri. È impossibile, si rischia di commettere errori e di perdere tempo prezioso.

🤖 La Soluzione: I Robot Lettori

Gli scienziati di questo studio hanno chiesto: "Possiamo costruire dei robot (intelligenza artificiale) che leggono questi rapporti e ci dicono subito cosa stanno facendo i ladri?"

Hanno analizzato 80 ricerche diverse fatte da altri scienziati per vedere:

• Cosa stanno cercando di fare questi robot?
• Quali libri stanno leggendo?
• Come imparano?
• Funzionano davvero?

🔍 Cosa hanno scoperto? (Le Scoperte Principali)

Ecco i punti chiave, spiegati con delle metafore:

1. Cosa cercano i robot? (Gli Obiettivi)

La maggior parte dei robot cerca di capire il "Come" (le tecniche specifiche). È come se il robot dicesse: "Ah, ho letto che hanno usato un grimaldello!".
Meno robot cercano di capire il "Perché" (la tattica generale) o di cercare informazioni specifiche nel testo. È come se tutti i robot fossero bravi a trovare l'oggetto rubato, ma pochi sapessero dire perché il ladro lo voleva.

2. Cosa leggono i robot? (I Dati)

I robot si nutrono principalmente di rapporti scritti da esperti (come quelli di FireEye o Kaspersky).

• Cosa usano: Rapporti di sicurezza, blog di hacker, database di vulnerabilità.
• Cosa manca: Pochi robot leggono i "diari di bordo" dei computer (i log di sistema) o le regole dei firewall. È come se il poliziotto leggesse solo i giornali, ma non guardasse mai le telecamere di sicurezza o le impronte digitali trovate sulla scena del crimine.

3. Come imparano i robot? (I Metodi)

• Il passato: Una volta, i robot usavano regole rigide (es. "Se trovi la parola 'password', allora è un attacco"). Era come un cane da guardia che abbaiava solo se sentiva una parola specifica.
• Oggi: Ora usano Intelligenza Artificiale avanzata (chiamata Transformer o LLM, come ChatGPT). Questi robot sono come studenti geni che hanno letto milioni di libri. Non cercano solo parole chiave, ma capiscono il contesto. Capiscono che "ho aperto la porta" in un contesto di sicurezza significa qualcosa di diverso rispetto a una storia di fantasia.
• Il futuro: Stanno iniziando a usare robot ancora più grandi (LLM) che possono ragionare e collegare i puntini tra loro, quasi come un detective che fa deduzioni.

4. Il Grande Difetto: La Segretezza (Riproducibilità)

Qui c'è il problema più grande. Molti di questi robot sono costruiti con ricette segrete.

• Gli scienziati dicono: "Il mio robot funziona benissimo!", ma non dicono quali libri ha letto o come l'hanno addestrato.
• È come se un cuoco ti dicesse: "Ho fatto la pizza più buona del mondo!" ma non ti desse la ricetta e non ti lasciasse assaggiare gli ingredienti.
• Risultato: È difficile verificare se funzionano davvero o se funzionano solo con quel singolo tipo di pizza. Molti dati sono privati o proprietari, quindi nessun altro può controllare il lavoro.

🚀 Cosa dobbiamo fare in futuro? (I Consigli)

Gli autori del paper ci danno una "mappa del tesoro" per il futuro:

1. Condividere le ricette: Dobbiamo rendere pubblici i dati e il codice, così tutti possono controllare e migliorare i robot.
2. Leggere di più: Non limitarsi ai rapporti scritti, ma far leggere ai robot anche i log dei computer e le regole di sicurezza reali.
3. Capire il contesto: I robot devono capire che un attacco è una storia complessa, non una frase isolata. Devono capire la sequenza degli eventi (prima hanno fatto X, poi Y).
4. Testare meglio: Non basta dire "funziona al 90%". Bisogna vedere se funziona anche su casi difficili, strani o in lingue diverse.

🎯 In Sintesi

Questo studio è come una mappa di un territorio inesplorato. Ci dice che abbiamo costruito dei robot molto intelligenti che iniziano a capire come pensano gli hacker, ma siamo ancora un po' alla cieca perché:

• Leggiamo solo alcuni tipi di documenti.
• Non condividiamo abbastanza i nostri segreti (dati e codice).
• Dobbiamo insegnare ai robot a essere più flessibili e a capire il contesto reale, non solo le parole.

L'obiettivo finale? Creare un sistema che aiuti i poliziotti digitali a fermare i ladri prima che entrino in casa, leggendo e capendo milioni di storie in un secondo.

Sommario tecnico

1. Il Problema

La sicurezza informatica è minacciata da un aumento esponenziale di attacchi complessi e sofisticati. Per contrastarli, gli esperti di sicurezza devono analizzare rapidamente grandi volumi di Cyber Threat Intelligence (CTI) provenienti da report non strutturati (testi, blog, forum). L'obiettivo principale è estrarre le TTP (Tactics, Techniques, and Procedures), ovvero:

• Tattiche: Gli obiettivi dell'attacco (il "perché").
• Tecniche: I metodi usati per raggiungere gli obiettivi (il "come").
• Procedure: L'implementazione pratica delle tecniche (strumenti, comandi specifici).

Attualmente, l'estrazione manuale di queste informazioni dai report CTI è laboriosa, soggetta a errori e non scalabile. Sebbene esistano approcci automatizzati (basati su regole, machine learning tradizionale, deep learning e recentemente LLM), la ricerca è frammentata. Non esiste una visione d'insieme chiara su quali metodologie siano più efficaci, su quali dataset vengano utilizzati o su come i risultati siano valutati, rendendo difficile il confronto e la generalizzazione dei modelli.

2. Metodologia

Gli autori hanno condotto una Revisione Sistematica della Letteratura (SLR) seguendo le linee guida di Kitchenham et al. per l'ingegneria del software.

• Raccolta Dati: Sono stati selezionati 5 database accademici principali (IEEE Xplore, ACM Digital Library, ScienceDirect, SpringerLink, ACL).
• Criteri di Selezione: Sono stati cercati studi dal 2015 al giugno 2025 che trattassero specificamente l'estrazione di TTP o il mapping al framework MITRE ATT&CK.
• Processo di Filtraggio:
  1. Ricerca iniziale: 3.219 pubblicazioni.
  2. Rimozione duplicati e applicazione criteri di inclusione/esclusione (es. solo articoli peer-reviewed, focus su TTP, lingua inglese).
  3. Snowballing: Applicazione di tecniche di snowballing (in avanti e indietro) sui 103 studi iniziali per trovare ulteriori lavori rilevanti.
  4. Selezione Finale: Dopo una valutazione a tre livelli (titolo, abstract, testo completo) e un calcolo dell'accordo inter-rater (Cohen's kappa = 0.86), sono stati selezionati 80 studi per l'analisi finale.
• Analisi: Gli studi sono stati analizzati qualitativamente utilizzando l'open coding per categorizzare i risultati lungo diverse dimensioni (obiettivi, fonti dati, metodologie, metriche, riproducibilità).

3. Contributi Chiave

Il paper fornisce una sintesi strutturata dello stato dell'arte, offrendo:

1. Categorizzazione degli Obiettivi di Estrazione: Classificazione delle ricerche in 5 categorie principali (Classificazione Tattica, Classificazione Tecnica, Ricerca di Tecniche, Estrazione IoC & TTP, Costruzione di Knowledge Graph).
2. Mappatura delle Fonti Dati: Identificazione di 9 categorie di fonti (es. report CTI, database di vulnerabilità, log di sistema, regole IDS, repository malware).
3. Analisi delle Metodologie: Tracciamento dell'evoluzione dai metodi basati su regole e ML classico, ai modelli Transformer (BERT, SecureBERT), fino alle recenti architetture basate su Large Language Models (LLM).
4. Valutazione della Riproducibilità: Un'analisi critica sulla disponibilità di codice e dataset, evidenziando un grave gap nella ricerca attuale.
5. Linee Guida Future: Raccomandazioni concrete per la comunità di ricerca per colmare le lacune identificate.

4. Risultati Principali

A. Obiettivi e Task

• Dominanza della Classificazione di Tecnica: Il task più comune è la classificazione di tecniche (39 studi), spesso a livello di frase.
• Sottosviluppo di altre aree: La classificazione di tattiche (6 studi) e la ricerca di tecniche (5 studi) sono molto meno esplorate.
• Knowledge Graph (KG): 24 studi si concentrano sulla costruzione di KG per collegare entità e relazioni, spesso basati su standard come STIX.

B. Fonti Dati e Preprocessing

• Fonti Primarie: La maggior parte degli studi utilizza report CTI (FireEye, Kaspersky, ecc.) e dataset di benchmark pubblici (MITRE ATT&CK, CAPEC).
• Limiti: Pochi studi utilizzano log di sistema, regole IDS o codice sorgente malware, limitando l'applicabilità operativa in tempo reale.
• Preprocessing: Le tecniche includono pulizia del testo, segmentazione delle frasi e gestione specifica degli IoC (spesso mascherati o sostituiti con placeholder).

C. Evoluzione Metodologica

• Transizione Tecnologica: Si è passati da approcci basati su regole e modelli ML tradizionali (SVM, Naive Bayes) a modelli Transformer (BERT, RoBERTa, SecureBERT).
• Ruolo degli LLM: Studi recenti (2024-2025) iniziano a esplorare LLM (GPT-4, LLaMA) per:
  • Prompting e Zero-shot learning.
  • Retrieval-Augmented Generation (RAG).
  • Fine-tuning leggero (LoRA).
  • I modelli specifici per il dominio (es. SecureBERT) tendono a performare meglio nelle classificazioni supervisionate rispetto agli LLM generici, ma gli LLM mostrano superiorità nel ragionamento complesso e nel few-shot learning.

D. Valutazione e Riproducibilità (Punti Critici)

• Metriche: Predominano Precision, Recall e F1-score. Spesso si usano metriche aggregate che nascondono sbilanciamenti di classe.
• Limiti di Valutazione: La maggior parte degli studi (quasi il 90%) valuta i modelli su un singolo dataset, limitando la generalizzabilità.
• Crisi di Riproducibilità:
  • Solo il 12.5% degli studi fornisce sia codice che dati pubblici.
  • Il 50% non specifica chiaramente la disponibilità di risorse.
  • Molti dataset sono proprietari o non versionati, rendendo difficile la validazione indipendente e il benchmarking sistematico.

5. Significato e Direzioni Future

Questo studio è fondamentale perché delinea chiaramente il panorama della ricerca sull'estrazione automatica di TTP, evidenziando che, nonostante i progressi tecnici (specialmente con gli LLM), il campo soffre di una mancanza di standardizzazione e riproducibilità.

Le direzioni future raccomandate includono:

1. Dataset Operativi: Creazione di dataset pubblici, di alta qualità e derivati da report reali (non sintetici) per migliorare la validità esterna.
2. Valutazione Multi-Etichetta: Passare da valutazioni a singola etichetta a paradigmi multi-label che riflettano la complessità dei report CTI reali.
3. Rappresentazioni Ricche: Spostarsi oltre le rappresentazioni STIX statiche per includere relazioni temporali, causali e narrative.
4. Robustezza e Generalizzazione: Testare i modelli su diversi domini, periodi temporali e fonti per valutarne la resistenza al "concept drift".
5. Emulazione degli Avversari: Utilizzare CTI e LLM per generare playbook di attacco realistici per la simulazione difensiva.

In conclusione, il paper funge da roadmap per trasformare l'estrazione di TTP da un esercizio accademico frammentato a una disciplina ingegneristica robusta, riproducibile e direttamente applicabile alle operazioni di sicurezza reali.