🤖 machine learning

Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

Questo articolo stabilisce un nuovo baseline empirico per la classificazione multi-label ATT&CK su complessi report di Cyber Threat Intelligence non strutturati introducendo un dataset annotato da esseri umani di 2.076 frasi e valutando sette LLM open-source, i quali hanno collettivamente ottenuto un basso punteggio F1 micro-mediato di 0,22, indicando che gli attuali modelli rimangono insufficienti per un impiego di grado produttivo nonostante una correlazione positiva tra la dimensione dei parametri e le prestazioni.

Autori originali: Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

Pubblicato 2026-06-17

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere una guardia giurata che cerca di leggere un diario di mille pagine, disordinato, scritto da un criminale caotico. Questo diario (chiamato un Rapporto CTI) non dice solo "Ho rubato l'auto". Dice: "Ho scassinato la serratura, bypassato l'accensione, guidato fino alla banca e poi cancellato le riprese delle telecamere di sicurezza".

Il tuo compito è leggere ogni frase e contrassegnarla con il corretto "codice del crimine" da un enorme libro delle regole chiamato MITRE ATT&CK. Questo libro contiene 211 diversi codici per ogni possibile modo in cui un criminale può attaccare. Il problema è che una singola frase spesso contiene più crimini contemporaneamente, e il linguaggio è complicato.

Per molto tempo, i computer sono stati terribili in questo. Erano come un robot che poteva leggere solo brevi note a frase singola. Se la nota era complessa, il robot si confondeva.

Poi sono arrivati i Large Language Models (LLM). Pensali come degli stagisti super intelligenti e molto istruiti che possono comprendere il contesto e le sfumature. La gente sperava che questi stagisti potessero finalmente leggere i diari disordinati e taggare i crimini perfettamente.

Questo articolo è il pagella di sette di questi stagisti open-source. I ricercatori volevano vedere se questi stagisti IA sono davvero pronti per il lavoro, o se sono ancora troppo inesperti.

Ecco cosa hanno fatto e cosa hanno scoperto, spiegato in modo semplice:

1. Il Test: Un esame "del mondo reale"

I test precedenti per questi stagisti IA erano come dare loro un quiz con domande facili a risposta singola (es. "Il criminale ha usato una chiave." -> Tag: Scasso della serratura).

I ricercatori in questo articolo hanno detto: "Questo non è il modo in cui funziona la realtà". Hanno creato un esame più difficile e realistico:

Hanno preso 83 veri e disordinati rapporti di sicurezza scritti da esperti umani.
Li hanno suddivisi in 2.076 singole frasi.
Hanno fatto in modo che esperti umani taggassero manualmente ogni frase con i corretti codici del crimine. Alcune frasi non avevano codici; alcune ne avevano uno; alcune ne avevano fino a nove contemporaneamente!
Questo è diventato la "Chiave di Risposta" (Ground Truth) per valutare l'IA.

2. I Concorrenti

Hanno scelto 7 diversi modelli di IA open-source.

Pensa a questi modelli come a studenti di diverse dimensioni. Alcuni sono piccoli (8 miliardi di "cellule cerebrali" o parametri), e altri sono giganti (236 miliardi).
Li hanno testati in diverse "modalità":
- Zero-Shot: Dare solo le istruzioni.
- Few-Shot: Dare all'IA alcuni esempi da studiare prima.
- Chain-of-Thought: Chiedere all'IA di "pensare ad alta voce" passo dopo passo prima di rispondere.
- Temperature: Girare la manopola della "creatività" dell'IA verso l'alto o verso il basso (0 = robot rigoroso, 0.5 = leggermente più creativo).

3. I Risultati: Gli stagisti stanno ancora imparando

I risultati sono stati un bagno di realtà.

Il Punteggio: Anche il miglior modello di IA ha ottenuto un punteggio del 22% (su una scala dove 100% è la perfezione).
- Analogia: Immagina uno studente che affronta un difficile esame finale e ottiene un D-. Sta superando l'esame, ma sta sbagliando la maggior parte delle risposte.
La Dimensione Conta (In parte): I modelli più grandi e complessi (i "Giganti") generalmente hanno ottenuto risultati migliori rispetto a quelli piccoli. C'era un legame chiaro: cervello più grande = punteggio leggermente migliore.
Le Impostazioni "Magiche" Non Hanno Funzionato:
- Dare esempi all'IA (Few-Shot) non ha aiutato molto.
- Chiedere all'IA di "pensare passo dopo passo" (Chain-of-Thought) non ha aiutato molto.
- Cambiare la manopola della "creatività" (Temperature) non ha fatto quasi nessuna differenza.
- Analogia: È come dare a uno studente una matita di un colore diverso o dirgli di "impegnarsi di più", ma se non conosce la materia, il punteggio non cambia.

4. L'unica cosa che ha aiutato: Il "Foglietto di Trucchi"

I ricercatori hanno provato un'ultima cosa. Hanno fornito all'IA una configurazione di Generazione Aumentata dalla Recupero (RAG).

Analogia: Invece di affidarsi solo a ciò che l'IA ha memorizzato, hanno dato all'IA un libro aperto (il regolamento ufficiale) da consultare durante il test.
Il Risultato: Il punteggio è balzato dal 22% al 32%.
Questo è stato il miglioramento più significativo di tutti. Ha dimosto che l'IA non sta fallendo perché è "stupida"; sta fallendo perché non ha le regole attuali davanti a sé.

5. Cosa è andato storto?

I ricercatori hanno esaminato gli errori commessi dall'IA:

Falsi Positivi: L'IA vedeva una parola come "evadere" e indovinava "Dirottamento", anche se la frase riguardava qualcos'altro. Stava tirando a indovinare basandosi sulle parole chiave piuttosto che comprendere la storia.
Falsi Negativi: L'IA mancava un crimine perché non capiva che "preparare un binario ransomware" era in realtà un tipo specifico di trasferimento. Mancava di un contesto profondo.

Il Punto Fondamentale

L'articolo conclude che gli attuali modelli di IA open-source non sono ancora pronti per essere gli unici guardiani della sicurezza per la classificazione di minacce informatiche complesse. Sono troppo imprecisi (ottenendo solo il 22-32%) per essere affidati in un centro di sicurezza reale senza l'aiuto umano.

L'unica cosa che ha migliorato significativamente le loro prestazioni è stato fornire loro l'accesso al regolamento ufficiale (RAG) durante il test. Semplicemente cambiare il modo in cui si pongono le domande (prompt) o rendere il modello più grande non ha risolto il problema centrale.

In breve: Gli stagisti IA sono intelligenti, ma attualmente sono troppo soggetti a errori per lavorare da soli. Hanno bisogno di un supervisore umano e di un manuale di riferimento per svolgere il lavoro correttamente.

Sintesi Tecnica: Valutazione di LLM Open-Source per la Classificazione Multi-Label di Tecniche ATT&CK

Definizione del Problema

Classificare i report di Cyber Threat Intelligence (CTI) nelle tecniche MITRE ATT&CK è fondamentale per una difesa proattiva, ma rimane un processo laborioso a causa della complessità del testo non strutturato, dei pattern di attacco multi-step e della tassonomia a 211 classi. Sebbene i Large Language Models (LLM) abbiano mostrato potenziale nella comprensione del contesto, le valutazioni esistenti soffrono di limitazioni significative: si affidano a frasi semplificate a singola tecnica che non riflettono la natura multi-label dei report reali, portando a metriche di performance gonfiate. Di conseguenza, le prestazioni di base degli LLM open-source su report CTI complessi e non strutturati rimangono non valutate, lasciando i professionisti della sicurezza senza prove empiriche per guidare l'integrazione di questi modelli nei pipeline di ingestione delle minacce.

Metodologia

Per affrontare questa lacuna, gli autori hanno costruito un rigoroso framework sperimentale che spazia dalla creazione del dataset, alla valutazione del modello, fino all'analisi statistica.

1. Costruzione del Dataset (RQ1)
Gli autori hanno curato un dataset di ground-truth comprendente 2.076 frasi estratte dalle sezioni "Case Summary" di 83 complessi report CTI non strutturati (aprile 2020 – febbraio 2025) provenienti da The DFIR Report.

Processo di Annotazione: È stata impiegata una strategia di annotazione in sei fasi che ha previsto etichettatura indipendente, cross-labeling, ri-etichettatura di istanze con basso accordo e risoluzione delle controversie.
Ambito: Le frasi sono state mappate su 114 tecniche ATT&CK uniche (delle 211 disponibili in Enterprise v17.1). Il dataset include sia classi tecnicamente positive (1.281 frasi) che negative (795 frasi) per valutare i tassi di falsi positivi.
Controllo Qualità: Il processo ha raggiunto un accordo medio tra annotatori di $\kappa = 0,68$ (accordo sostanziale), con 65 tecniche che superavano la soglia di $\kappa \geq 0,7$ .
Caratteristiche: Il dataset presenta un grave squilibrio di classe (Imbalance Ratio = 229,0) e una distribuzione long-tail, con il 40,2% delle frasi etichettate che contiene più tecniche (cardinalità media = 1,58).

2. Valutazione del Modello (RQ2)
Sono stati valutati sette LLM open-source con parametri che vanno da 8B a 236B (inclusi Llama 3.1, Gemma 3, DeepSeek-V2.5 e varianti GPT-OSS).

Design Sperimentale: Un design fattoriale completo ha testato 53 configurazioni di inferenza combinando:
- Strategia di Prompt: Zero-Shot vs. Three-Shot (N=3).
- Ragionamento: Chain-of-Thought (CoT) vs. No CoT.
- Temperatura: 0,0 vs. 0,5.
Baseline RAG: È stata implementata una pipeline di Retrieval-Augmented Generation (RAG) utilizzando un database vettoriale FAISS della documentazione ATT&CK per ancorare il modello LLM70 alla conoscenza esterna, confrontandolo con l'inferenza standard.
Metriche: Sono stati utilizzati i punteggi Micro-averaged di Precision, Recall e F1 come metriche primarie per riflettere la copertura operativa su tutte le istanze delle tecniche.

3. Analisi Statistica (RQ3)
La correlazione di rango di Spearman ( $\rho$ ) è stata applicata per valutare le relazioni monotone tra le impostazioni di inferenza (dimensione dei parametri, strategia di prompt, ragionamento, temperatura) e le prestazioni di classificazione.

Contributi Chiave

Dataset: Un dataset di ground-truth annotato da esseri umani, disponibile pubblicamente, composto da 2.076 frasi da 83 report non strutturati, mappate su 114 tecniche ATT&CK, rappresentando il più grande dataset di questo tipo ad oggi.
Benchmark delle Prestazioni: Una valutazione sistematica che stabilisce un baseline empirico per la classificazione multi-label di ATT&CK, rivelando che gli attuali LLM open-source faticano significativamente in questo compito.
Analisi Statistica: Uno studio di correlazione che quantifica l'impatto della dimensione del modello e degli iperparametri di inferenza, identificando la dimensione dei parametri come l'unico predittore statisticamente significativo delle prestazioni.

Risultati

Prestazioni Baseline: La configurazione non-RAG con le migliori prestazioni (DS236, 236B parametri, T=0.0, 3-shot, CoT) ha ottenuto un punteggio F1 micro-averaged di soli 0,22.
Varianza del Modello: Le prestazioni sono variate significativamente in base alla dimensione e all'architettura del modello. Il modello da 236B (DS236) e il modello da 70B (LLM70) hanno formato il cluster superiore (F1 0,20–0,22), mentre i modelli più piccoli (es. GPT20, 20B) si sono comportati vicino al caso casuale (F1 $\leq$ 0,03).
Impatto degli Iperparametri:
- Dimensione dei Parametri: Ha mostrato una correlazione positiva statisticamente significativa con il punteggio F1 ( $\rho = 0,85, p = 0,014$ ).
- Strategia di Prompt e Ragionamento: Né il prompting Few-Shot né il ragionamento Chain-of-Thought hanno prodotto guadagni statisticamente significativi attraverso le configurazioni dei modelli ( $p > 0,05$ ).
- Temperatura: Le variazioni tra 0,0 e 0,5 non hanno avuto alcun effetto statisticamente significativo sulle prestazioni.
Impatto RAG: L'implementazione di RAG con LLM70 ha aumentato il micro F1 score a 0,32 (un $\Delta$ di +0,10), trainato principalmente da un aumento sostanziale della recall (da 0,23 a 0,41). Questo miglioramento è stato attribuito all'ancoraggio alla conoscenza esterna piuttosto che al tuning del prompt.
Analisi degli Errori: I fallimenti sono stati categorizzati in Tipo I (falsi positivi dovuti all'eccessiva dipendenza da parole chiave o allucinazioni) e Tipo II (falsi negativi dovuti alla mancanza di conoscenza del dominio o all'incapacità di sintetizzare comportamenti multi-stadio).

Significato e Affermazioni

Il paper sostiene di fornire il primo baseline empirico per gli LLM open-source sulla complessa classificazione CTI multi-label. Gli autori affermano che gli attuali LLM open-source sono insufficienti per la classificazione ATT&CK di grado produttivo, come dimostrato dai bassi punteggi F1 (massimo 0,22) rispetto a precedenti strumenti specializzati che spesso riportano punteggi più alti su dataset semplificati.

Lo studio conclude che le strategie di prompt engineering (N-shot, CoT, temperatura) non sono leve efficaci per colmare il divario di prestazioni in questo dominio. Al contrario, i risultati indicano che la dimensione dei parametri è un fattore critico, e il raggiungimento tramite recupero (RAG) è la direzione più produttiva per il miglioramento, offendo un incremento significativo della recall. Gli autori pongono il loro dataset e le loro scoperte come una fondazione riproducibile per la ricerca futura, suggerendo che il lavoro futuro debba concentrarsi su RAG gerarchico, fine-tuning parametrico efficiente e metriche consapevole della gerarchia piuttosto che sul ulteriore tuning del prompt.