AttackSeqBench: Benchmarking the Capabilities of LLMs for Attack Sequences Understanding

Il paper presenta AttackSeqBench, un nuovo benchmark progettato per valutare sistematicamente le capacità di ragionamento dei modelli linguistici di grandi dimensioni (LLM) e dei modelli di ragionamento (LRM) nell'analisi delle sequenze di attacchi informatici descritte nei rapporti di intelligence sulle minacce (CTI), identificando i loro punti di forza e limiti in questo dominio specifico.

L'essenziale

Immagina il mondo della cybersecurity come un gigantesco archivio di storie di crimini. Ogni volta che un gruppo di hacker (chiamati "APT", o minacce persistenti avanzate) attacca un'azienda, gli esperti di sicurezza scrivono un rapporto dettagliato. Questi rapporti sono come romanzi polizieschi: descrivono cosa è successo, chi l'ha fatto e come, ma sono scritti in modo disordinato, lungo e pieno di dettagli tecnici.

Il problema è che per un umano, leggere e mettere in ordine queste storie è un lavoro estenuante. È come cercare di capire la trama di un film guardando solo fotogrammi sparsi e disordinati.

Cosa hanno fatto gli autori?

Gli autori di questo studio (dall'Università Nazionale di Singapore e altri) si sono chiesti: "Le Intelligenze Artificiali (LLM) possono leggere queste storie e capire la sequenza logica degli attacchi meglio degli umani?"

Per scoprirlo, hanno creato AttackSeqBench.

1. Il "Campo di Addestramento" (Il Benchmark)

Immagina che AttackSeqBench sia una palestra di logica costruita apposta per le Intelligenze Artificiali.

• La materia prima: Hanno preso centinaia di rapporti reali su attacchi hacker.
• La trasformazione: Invece di dare all'AI il rapporto intero, hanno creato dei quiz.
  • Esempio: "L'hacker ha inviato una mail di phishing (Fase 1), poi ha installato un virus (Fase 2). Secondo te, qual è la mossa successiva più probabile prima che rubino i dati?"
• L'obiettivo: Non vogliono solo sapere se l'AI riconosce le parole chiave, ma se capisce la storia completa: il prima, il dopo e il perché delle azioni. È come chiedere a un detective di non solo riconoscere l'arma del crimine, ma di ricostruire l'intera scena del crimine.

2. I Tre Pilastri della Sfida

Per rendere la palestra davvero utile, hanno imposto tre regole d'oro:

1. Flessibilità (Extensibility): La palestra deve poter accogliere nuovi "casi di studio" appena vengono scoperti. Se domani esce un nuovo tipo di attacco, il sistema deve poterlo analizzare subito.
2. Capacità di Ragionamento (Reasoning Scalability): Hanno messo alla prova non solo le AI "normali", ma anche le "Super AI" (chiamate LRMs) che sono famose per risolvere problemi di matematica complessa. Volevano vedere se queste "super menti" riescono a ragionare anche su storie di crimini informatici.
3. Conoscenza di Settore (Epistemic Expandability): Le AI spesso allucinano (inventano cose). Volevano vedere se, fornendo loro un "libro di testo" di cybersecurity (tramite tecniche speciali), riuscivano a imparare meglio e a non sbagliare.

3. Cosa hanno scoperto? (I Risultati Sorprendenti)

Qui arriva il colpo di scena, come in un film poliziesco:

• Le "Super AI" non sono sempre super: Le Intelligenze Artificiali progettate per ragionare passo dopo passo (come i grandi modelli di ragionamento) non hanno performato meglio delle AI standard in questo compito. Anzi, spesso hanno fatto peggio!
  • L'analogia: È come se un genio della matematica, quando gli chiedi di ricostruire la scena di un crimine, si mettesse a pensare troppo, a fare calcoli inutili e a confondersi, mentre un detective "normale" ma esperto guarda i fatti e capisce subito la logica. Le "Super AI" tendono a sovraragionare, creando percorsi logici complessi che le portano fuori strada.
• Il contesto è tutto: Quando si dà all'AI un po' di contesto (un riassunto della storia), va molto meglio. Ma se si cerca di darle informazioni esterne tramite un sistema di ricerca (RAG), a volte peggiora.
  • L'analogia: È come dare a un detective un fascicolo di prove. Se le prove sono confuse o non pertinenti, il detective si distrae e sbaglia.
• L'importanza della sequenza: Le AI faticano molto a capire l'ordine degli eventi (es. "prima succede A, poi B"). Se l'ordine è sbagliato, l'intera storia crolla.

Perché è importante?

Questo studio ci dice che non basta avere un'AI potente e costosa per risolvere problemi di cybersecurity. Serve un'AI che sappia ascoltare la storia e capire la sequenza logica degli eventi, proprio come un detective umano.

In sintesi, AttackSeqBench è il primo vero "esame di logica" per le Intelligenze Artificiali nel mondo della sicurezza informatica. Ci ha insegnato che, per capire come gli hacker pensano, le nostre AI devono smettere di fare i "geni della matematica" e iniziare a fare i "bravi detective".

Il codice e i dati sono pubblici, così chiunque può continuare a migliorare queste "menti digitali" per proteggerci meglio in futuro.

Sommario tecnico

1. Il Problema

La Cyber Threat Intelligence (CTI) è fondamentale per la difesa proattiva, ma i report CTI sono spesso testi non strutturati, lunghi e complessi. Estrarre manualmente le sequenze di attacco (l'ordine logico delle azioni nemiche) è un compito laborioso e soggetto a errori.
Sebbene i Large Language Models (LLM) abbiano dimostrato potenziale in compiti di sicurezza come l'estrazione di entità o la costruzione di grafi della conoscenza, la loro capacità di comprendere e ragionare sulle sequenze comportamentali degli avversari (attacchi multi-fase) rimane poco esplorata.
Le sfide principali includono:

• La natura evolutiva delle minacce, che richiede benchmark estensibili.
• La necessità di valutare modelli di ragionamento avanzati (LRM) in contesti di sicurezza specifici.
• La limitata affidabilità fattuale degli LLM in compiti che richiedono conoscenze di dominio specializzate (epistemiche).

2. Metodologia: AttackSeqBench

Gli autori introducono AttackSeqBench, un nuovo benchmark progettato per valutare sistematicamente le capacità di ragionamento degli LLM sulle sequenze di attacco, basandosi sul framework MITRE ATT&CK.

Costruzione del Dataset

• Fonte: Il dataset è derivato da 408 report CTI reali di vari fornitori di sicurezza.
• Pipeline Automatizzata: Viene utilizzata una pipeline che estrae le TTP (Tactics, Techniques, Procedures) dai report, costruisce un Grafo della Conoscenza (KG) e genera sequenze di attacco strutturate.
• Generazione delle Domande (Q&A): Vengono generate domande di tipo Multiple Choice e Yes/No basate su tre livelli di granularità:
  1. Tactic: Inferire la tattica successiva o precedente nella sequenza.
  2. Technique: Identificare la tecnica specifica all'interno di una tattica.
  3. Procedure: Valutare la probabilità che una specifica procedura (tripletta soggetto-azione-oggetto) avvenga in un dato punto della sequenza.
• Raffinamento: Le domande vengono sottoposte a un processo di "Self-Refinement" e valutazione umana/automatica per garantire chiarezza, coerenza logica e allineamento con la sequenza reale.

Configurazioni di Valutazione

Il benchmark testa i modelli in tre scenari distinti:

1. Zero-Shot: Il modello risponde basandosi solo sulle sue conoscenze interne.
2. Context Setting: Vengono forniti al modello gli estratti del report CTI (esclusa la parte relativa alla risposta corretta) per valutare il ragionamento induttivo.
3. RAG-empowered (Retrieval Augmented Generation): Il modello accede a un database vettoriale di conoscenze ATT&CK per recuperare informazioni rilevanti prima di rispondere.

Modelli Testati

Lo studio valuta:

• 7 LLM (es. LLaMa 3.1/3.3, Qwen2.5, ChatGLM4, GPT-4o).
• 5 LRM (Large Reasoning Models) (es. DeepSeek-R1, QWQ, GPT-o3-mini), noti per le loro capacità di ragionamento a catena.
• 4 Strategie di Post-Training: SFT (Supervised Fine-Tuning), RD (Reasoning Distillation), RLIF e RLVR, per iniettare conoscenze di cybersecurity.

3. Risultati Chiave

Performance dei Modelli

• Nessun Dominio Assoluto: Non esiste un modello che eccella in tutti i task. Le prestazioni variano in base al compito specifico (Tattica, Tecnica o Procedura).
• Sfida delle Tattiche: Sia gli umani che gli LLM faticano di più nell'inferire le tattiche (AttackSeqBench-Tactic), suggerendo che l'astrazione di alto livello è più difficile della comprensione tecnica.
• LRM vs LLM: Contrariamente a quanto osservato in matematica o coding, i Large Reasoning Models (LRM) non superano significativamente gli LLM standard in questo dominio. In molti casi, le prestazioni degli LRM sono inferiori.
  • Analisi del Reasoning Path: Gli LRM tendono a "sovraragionare" (overthinking), creando loop di ragionamento ridondanti o interpretando male i vincoli temporali (es. "prima di", "solo dopo"), portando a conclusioni errate. Gli LLM standard, invece, spesso si affidano a un matching più diretto tra la conoscenza recuperata e la logica procedurale.
• Impatto del Contesto: L'impostazione Context (fornire il report) migliora significativamente le prestazioni, specialmente per i modelli più grandi, mentre l'impostazione RAG spesso fallisce o peggiora i risultati a causa di rumore nei dati recuperati o allucinazioni nell'integrazione delle informazioni.

Analisi dei Parametri

• Temperatura: Un aumento della temperatura danneggia le prestazioni dei modelli più piccoli, mentre i modelli più grandi rimangono stabili.
• Token Budget: Aumentare il budget di output migliora le prestazioni degli LRM fino a un certo punto, ma dopo una soglia specifica (es. 4096 token) si osservano rendimenti decrescenti.

Errori nel RAG

L'analisi degli errori nel setting RAG rivela che il 59% degli errori deriva da "Errori Fattuali", dove il modello non riesce a integrare correttamente le informazioni recuperate nella catena di ragionamento, trattandole come rumore invece che come evidenza.

4. Contributi Principali

1. AttackSeqBench: Un benchmark pionieristico e scalabile per la valutazione delle capacità di comprensione delle sequenze di attacco, con una pipeline automatizzata per l'aggiornamento con nuovi report CTI.
2. Valutazione Comparativa: La prima analisi sistematica che confronta LLM, LRM e strategie di post-training in un contesto di sicurezza specifico, rivelando che i modelli di ragionamento avanzati non sono una soluzione "magica" per questo dominio.
3. Analisi delle Limitazioni: Identificazione delle cause profonde del fallimento dei modelli (es. sovraragionamento, difficoltà nell'integrazione RAG, ambiguità nelle descrizioni TTP) e suggerimenti per future ricerche.

5. Significato e Impatto

Questo lavoro è cruciale per la comunità di cybersecurity perché:

• Sposta il focus dall'estrazione di entità statiche alla comprensione dinamica e sequenziale degli attacchi.
• Fornisce una guida pratica per gli sviluppatori di modelli: l'aggiunta di capacità di ragionamento complesso (come negli LRM) non garantisce automaticamente migliori risultati in sicurezza; è necessaria una specializzazione del dominio (knowledge injection).
• Evidenzia la necessità di migliorare le strategie RAG per gestire la semantica complessa e ambigua dei report di intelligence sulle minacce.
• Promuove lo sviluppo di modelli fondazionali specifici per la cybersecurity, capaci di operare in scenari di attacco multi-fase reali.

In sintesi, il paper stabilisce che, sebbene gli LLM siano promettenti per l'analisi CTI, la loro capacità di ragionare su sequenze di attacco complesse è ancora limitata e richiede approcci di addestramento e integrazione delle conoscenze più sofisticati rispetto a quanto attualmente disponibile.