Riepilogo Tecnico: Valutazione delle Prestazioni del Blue Teaming Assistito da LLM tramite Caccia alle Minacce Standardizzata

Enunciato del Problema

Con l'aumento della portata e della sofisticazione delle minacce informatiche, i difensori del blue team subiscono una pressione significativa per rilevare e mitigare proattivamente i rischi. Sebbene i Modelli Linguistici su Larga Scala (LLM) abbiano dimostrato potenziale in compiti isolati di cybersecurity—come la classificazione di malware, i test di penetrazione e il fuzzing—la loro efficacia nella caccia alle minacce nel mondo reale rimane insufficientemente esplorata. La ricerca attuale si concentra spesso su compiti di analisi a punto singolo, fallendo nel cogliere la natura intrinsecamente multistadio e concatenata della caccia alle minacce. La caccia alle minacce pratica richiede una sequenza di compiti dipendenti (dall'attribuzione della minaccia alla risposta agli incidenti), dove l'output di una fase funge da contesto per la successiva. Le applicazioni LLM esistenti spesso mancano dei flussi di lavoro strutturati necessari per gestire queste interdipendenze, portando a problemi di affidabilità, allucinazioni e mancanza di output azionabili e standardizzati in scenari difensivi complessi.

Metodologia: CYBERTEAM

Per colmare queste lacune, gli autori introducono CYBERTEAM, un benchmark progettato per valutare rigorosamente e guidare gli LLM nella caccia alle minacce del blue team. La metodologia si fonda su tre pilastri fondamentali:

1. Flusso di Lavoro Standardizzato e Dipendenza dei Compiti

CYBERTEAM modella la caccia alle minacce come una Catena di Dipendenze, riflettendo la progressione reale dall'indagine alla mitigazione. Il benchmark sistematizza 30 compiti analitici in quattro categorie:

• Attribuzione della Minaccia: Individuazione delle origini (es. identificazione degli attori, estrazione dell'infrastruttura, correlazione delle campagne).
• Analisi del Comportamento: Comprensione delle interazioni dell'avversario (es. attività del file system, profilazione di rete, estrazione di TTP).
• Prioritizzazione: Valutazione dell'urgenza e del rischio (es. classificazione del vettore di attacco, punteggio di gravità).
• Risposta e Mitigazione: Generazione di strategie difensive azionabili (es. raccomandazione di playbook, generazione di codice di patch).

A differenza del ragionamento aperto, CYBERTEAM impone una pipeline strutturata in cui i compiti a valle dipendono dagli output validati dei passaggi a monte.

2. Moduli Operativi

Per bilanciare la standardizzazione con la flessibilità richiesta da scenari diversi, CYBERTEAM integra 9 moduli operativi che guidano il ragionamento degli LLM. Questi moduli trasformano log di minacce non strutturati in passaggi discreti ed eseguibili:

• Estrazione e Parsing: Riconoscimento di Entità Nominate (NER), Parsing Regex (REX), Localizzazione di Span di Testo (SPA).
• Ragionamento e Sintesi: Riassunto (SUM), Mappatura del Testo (MAP), Classificazione (CLS), Calcolo Matematico (MATH).
• Integrazione della Conoscenza: Generazione Aumentata dal Recupero (RAG) per l'accesso a intelligence sulle minacce esterne (es. CVE, MITRE ATT&CK).
• Similarità: Corrispondenza di Similarità del Testo (SIM).

Ogni compito $t_i$ è associato a una sequenza specifica di questi moduli $f^*_i$, garantendo che l'LLM esegua operazioni specifiche (es. utilizzare RAG per recuperare avvisi prima di riassumere una strategia di mitigazione) piuttosto che affidarsi esclusivamente alla conoscenza interna.

3. Dati e Valutazione

• Fonti dei Dati: Il benchmark aggrega 452.293 campioni da 23 fonti diverse, inclusi database di vulnerabilità (NVD, MITRE CVE, CWE, CAPEC, D3FEND, Exploit-DB, VulDB) e piattaforme di intelligence sulle minacce (VirusTotal, AlienVault OTX, MISP, Mandiant, Recorded Future, IBM X-Force, ecc.).
• Strategia di Valutazione: Gli autori valutano i principali LLM industriali (es. GPT-5.1, Grok-4.1, Llama-3.1-405B) e agenti di cybersecurity all'avanguardia contro CYBERTEAM.
• Linee di Base: Le prestazioni sono confrontate con strategie di ragionamento aperto, inclusi l'Apprendimento nel Contesto (ICL), la Catena di Pensiero (CoT) e l'Albero di Pensiero (ToT).
• Metriche: Vengono impiegate metriche specifiche per il compito, inclusi il punteggio F1 per l'estrazione, l'Accuratezza per la classificazione, BERTScore per la generazione, Hit@k per il ranking, tasso di superamento per la generazione di codice e Distanza Normalizzata per la stima numerica.

Risultati Chiave

La valutazione empirica produce diverse scoperte critiche:

1. Superiorità della Standardizzazione: L'approccio modulare e standardizzato (CYBERTEAM) supera costantemente le strategie di ragionamento aperto (ICL, CoT, ToT) in tutti i 30 compiti. Ad esempio, nella Raccomandazione di Playbook, il metodo standardizzato ha raggiunto un punteggio Hit@10 del 92,7% con GPT-5.1, rispetto al 90,5% per CoT e punteggi significativamente inferiori per ICL. Guadagni simili sono stati osservati nell'Adattamento dei Controlli di Sicurezza e nella Correlazione degli Avvisi.
2. Gestione delle Dipendenze Complesse: Il divario di prestazioni è più marcato nei compiti che richiedono forti interdipendenze (es. Ricostruzione della Sequenza di Eventi), dove il flusso di lavoro standardizzato ha migliorato l'accuratezza di oltre il 20% rispetto a CoT. I metodi aperti spesso falliscono nel mantenere l'ordine logico corretto o il flusso di informazioni necessari per la caccia multistadio.
3. Robustezza al Rumore: Sebbene gli LLM guidati da CYBERTEAM gestiscano relativamente bene il rumore a livello di token (inserimenti casuali di caratteri), rimangono vulnerabili al rumore a livello semantico (testi parafrasati o spostati contestualmente), che causa un degrado significativo delle prestazioni. Ciò sottolinea la necessità continua di report sulle minacce di alta qualità e curati da esperti.
4. Interpretabilità: L'approccio modulare migliora l'interpretabilità. A differenza delle catene di ragionamento opache nei prompt aperti, gli output di CYBERTEAM possono essere tracciati fino a operazioni specifiche (es. quale recupero RAG ha informato una specifica mitigazione), facilitando l'audit umano e la fiducia.
5. Compromessi di Efficienza: Sebbene la pipeline standardizzata comporti una latenza più elevata rispetto al semplice ICL (a causa dell'esecuzione sequenziale dei moduli), offre un equilibrio più favorevole tra affidabilità e costo computazionale rispetto all'eccessivo sovraccarico dell'Albero di Pensiero (ToT).

Significato e Affermazioni

Il documento afferma che CYBERTEAM fornisce il primo benchmark completo e informato dalla pratica per valutare gli LLM nella caccia alle minacce del blue team. La sua rilevanza risiede in:

• Cambiamento di Paradigma: Superare la valutazione di compiti isolati per passare a una valutazione olistica e guidata dal flusso di lavoro che rispecchia le operazioni difensive reali.
• Validazione del Ragionamento Strutturato: Dimostrare che per compiti di cybersecurity ad alto rischio, il ragionamento strutturato e modulare è superiore alla generazione aperta. Gli autori sostengono che l'aderenza rigorosa alle procedure operative (tramite moduli) riduce le allucinazioni e garantisce che gli output siano allineati con obiettivi difensivi azionabili.
• Insight Azionabili: Fornire un quadro che guida gli LLM attraverso flussi di lavoro di ragionamento standardizzati ma flessibili, offrendo un modello per l'integrazione dell'IA nei centri operativi di sicurezza (SOC).

Gli autori concludono che, sebbene gli LLM offrano promesse, il loro dispiegamento nella caccia alle minacce richiede la disciplina dei flussi di lavoro standardizzati per garantire affidabilità, interpretabilità ed efficacia in scenari complessi e interdipendenti. CYBERTEAM serve come risorsa per la comunità di ricerca per guidare future innovazioni nella difesa informatica assistita dall'IA.