Before You Hand Over the Wheel: Evaluating LLMs for Security Incident Analysis

Questo articolo introduce SIABENCH, un framework di valutazione agenziale che presenta un nuovo dataset e un agente autonomo per testare rigorosamente 11 modelli linguistici su compiti complessi di analisi degli incidenti di sicurezza, colmando il vuoto di benchmarking esistente nel settore.

L'essenziale

Ecco una spiegazione semplice e creativa del paper, pensata per chiunque, anche senza conoscenze tecniche di cybersecurity.

Immagina che un Centro Operativo di Sicurezza (SOC) sia come un grande ospedale di emergenza per i computer. Ogni giorno, ricevono migliaia di "campanelli d'allarme" (alert) che suonano: "Qualcosa non va!", "C'è un intruso!", "Attenzione a quel file!".

Il problema? I campanelli suonano così tanto e così velocemente che i medici (gli analisti di sicurezza) vanno in preda al panico, si stancano e non riescono a capire quali pazienti siano davvero malati e quali siano solo stati svegliati da un rumore di sottofondo.

Il Grande Esperimento: "Prima di affidare il volante all'AI"

Gli autori di questo studio si sono chiesti: "Possiamo dare il volante a un'intelligenza artificiale (LLM) per aiutarci a gestire questo caos?".

L'idea è promettente: l'AI potrebbe leggere milioni di documenti in un secondo. Ma c'è un grosso rischio: se diamo il volante a un'auto che non sa guidare, potremmo finire nel fosso. Prima di fidarsi ciecamente, serve un esame di guida rigoroso.

Ecco come hanno costruito questo esame, chiamato SIABENCH.

1. La "Pista di Addestramento" (Il Dataset)

Per testare le auto (le AI), non puoi usare solo una strada vuota. Hai bisogno di una pista con curve, ostacoli e traffico reale.
Gli autori hanno creato un libro di esercizi unico al mondo per la sicurezza informatica, diviso in due parti:

• La parte "Investigativa" (25 casi complessi): Immagina di dover risolvere un omicidio. Devi guardare le tracce, analizzare le impronte digitali, leggere le email e capire chi l'ha fatto, come e quando. Questi casi coprono tutto: dal furto di dati all'analisi di virus nascosti.
• La parte "Filtro" (135 allarmi): Qui l'AI deve fare il lavoro di un portiere. Riceve 135 campanelli d'allarme e deve dire: "È un vero pericolo?" o "È un falso allarme?". È fondamentale perché se l'AI scambia un falso allarme per un pericolo reale, gli analisti umani perderanno tempo prezioso.

Il tocco magico: Hanno "pulito" questi esercizi per assicurarsi che l'AI non avesse già letto le soluzioni su internet (un problema comune chiamato "contaminazione dei dati"). È come se avessero riscritto i libri di testo prima dell'esame, così nessuno può barare ricordandosi la risposta.

2. L'Assistente che "Pensa e Agisce" (L'Agente)

Non hanno solo chiesto all'AI di leggere e rispondere. Hanno creato un assistente digitale che può:

• Avere le mani: L'AI non si limita a parlare; può aprire programmi, usare strumenti di analisi (come un microscopio digitale) ed eseguire comandi.
• Pensare prima di agire: Invece di saltare subito alla soluzione, l'AI pianifica: "Prima guardo qui, poi controllo lì".
• Non perdersi nei dettagli: Quando i dati sono enormi (come un libro intero), l'AI sa riassumere i punti chiave per non impazzire.

3. L'Esame: Chi ha passato?

Hanno messo alla prova 11 diverse intelligenze artificiali (sia quelle gratuite che quelle a pagamento, come le versioni più recenti di GPT e Claude).

I risultati sono stati illuminanti:

• Le "Auto Nuove" vincono, ma non sono perfette: I modelli più recenti e potenti (come GPT-5 o Claude 4.5) sono molto bravi. Riescono a risolvere quasi tutti i casi semplici e molti di quelli difficili.
• Le "Auto Vecchie" faticano: I modelli più piccoli o vecchi si perdono facilmente, fanno errori di calcolo o si bloccano in loop infiniti (come un cane che insegue la propria coda).
• Il problema della "Sovraconfidenza": A volte l'AI è sicura di sé ma sbaglia. Immagina un detective che inventa un colpevole perché non ha trovato prove reali. Questo è pericoloso.
• Il vero talento: I modelli migliori sono eccezionali nel dire "No, questo allarme è falso" (risparmiando tempo agli umani), ma faticano ancora di più quando devono fare indagini complesse che richiedono di collegare molti pezzi di un puzzle.

4. Cosa abbiamo imparato? (La Morale della Favola)

Il paper ci dice tre cose fondamentali:

1. Non siamo ancora pronti a cedere il volante: L'AI è un ottimo co-pilota, ma non possiamo ancora lasciarla guidare da sola. Ha bisogno di un umano esperto che tenga la mano sul volante e controlli la strada.
2. La scelta dell'AI conta: Non tutte le intelligenze artificiali sono uguali. Usare un modello economico e vecchio per la sicurezza è come usare un'auto da corsa del 1980 per una gara di Formula 1: non ce la fa.
3. Serve un metodo per testarle: Prima di comprare un'AI per la tua azienda, devi sapere come si comporta in scenari reali. Questo studio fornisce proprio quella "pista di prova" per vedere se l'AI è affidabile o se ti farà fare un incidente.

In sintesi: L'intelligenza artificiale sta diventando un assistente di sicurezza incredibilmente potente, capace di leggere milioni di pagine in un secondo. Ma come ogni nuovo dipendente, ha bisogno di formazione, supervisione e di essere testato su compiti reali prima di poter lavorare da solo. Questo studio è il "test di abilitazione" che ci dice chi è pronto a lavorare e chi deve ancora studiare.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Before You Hand Over the Wheel: Evaluating LLMs for Security Incident Analysis" in italiano.

1. Il Problema

L'analisi degli incidenti di sicurezza (Security Incident Analysis - SIA) rappresenta una sfida critica per i Security Operations Center (SOC). Gli analisti devono gestire volumi schiaccianti di alert, fonti dati eterogenee, toolchain complesse e competenze limitate. Sebbene le organizzazioni siano eager ad adottare i Large Language Models (LLM) per supportare l'SIA, l'adozione prematura comporta rischi significativi a causa della mancanza di benchmark rigorosi.

Le principali lacune identificate sono:

• Mancanza di dataset pronti per gli LLM: Non esistono dataset che coprano un ampio spettro di task SIA, specialmente quelli che simulano flussi di lavoro investigativi reali e multi-step.
• Assenza di best practice di valutazione: A differenza dei CTF (Capture The Flag) che hanno obiettivi singoli, l'SIA richiede obiettivi multipli (chi, cosa, dove, come) in ambienti dinamici.
• Rischio di contaminazione dei dati: Molti scenari di sicurezza esistenti sono già presenti nei dati di addestramento degli LLM, rendendo le valutazioni inaffidabili.
• Fatica da alert: La necessità di distinguere tra falsi positivi e veri positivi è cruciale, ma spesso trascurata nelle valutazioni attuali.

2. Metodologia: SIABENCH

Per colmare queste lacune, gli autori hanno introdotto SIABENCH, un framework di valutazione "agentic" (basato su agenti autonomi) per l'analisi degli incidenti di sicurezza. La metodologia si articola in tre componenti principali:

A. Il Dataset (SIABENCH Dataset)

È il primo dataset di benchmark specificamente progettato per valutare gli LLM nell'SIA. È composto da due parti:

1. Analisi degli Incidenti di Sicurezza (SIA): 25 scenari reali (229 domande investigative) che simulano flussi di lavoro investigativi complessi. Copre quattro domini principali:
   • Forensics di rete (analisi PCAP).
   • Forensics di memoria (dump di memoria, immagini disco).
   • Analisi del malware (binari, script, PDF, codice statico).
   • Varie (phishing, log, kit di phishing).
   • Preprocessing: Per mitigare la contaminazione dei dati, gli scenari sono stati parafrasati, gli identificatori anonimizzati e le domande riformulate per essere aperte ed evidence-based (rimuovendo presupposti).
2. Alert Triage: 135 scenari (50 falsi positivi, 50 veri positivi da dataset TII-SSRC-23; 30 FP e 5 TP da CIC-IDS2017) per valutare la capacità di classificazione degli LLM.

B. L'Agente SIA (SIABENCH Agent)

È un agente autonomo progettato per eseguire task SIA utilizzando gli LLM. Il design risolve tre sfide chiave:

• Interazione Dinamica: L'agente può eseguire comandi CLI e interagire con strumenti di sicurezza reali (es. tshark, Volatility, Oledump) in un ambiente isolato (Kali Linux).
• Elaborazione degli Output: Utilizza un modulo di sintesi per ridurre il contesto dei log lunghi, prevenendo l'esaurimento della finestra contestuale e focalizzando l'agente sulle informazioni chiave (Key Security Insights).
• Workflow Multi-Stato: A differenza dei flussi di lavoro a stato singolo, l'agente opera in un ciclo iterativo: Pianificazione (ReAct) -> Esecuzione Azione -> Sintesi. Questo permette di gestire investigazioni non lineari e multi-obiettivo, adattandosi alle scoperte intermedie.

C. Valutazione

Il framework è stato utilizzato per testare 11 LLM principali (4 open-weight e 7 closed-weight), inclusi modelli avanzati come GPT-5, Claude-4.5-Sonnet, Llama-3.1 e GPT-4o. Le valutazioni sono state condotte con temperature zero per garantire la deterministica e includono studi di validazione umana e test su task "live" pubblicati dopo la data di cutoff di conoscenza dei modelli.

3. Risultati Chiave

Performance Generali

• Progresso ma limiti persistenti: I modelli più recenti (Claude-4.5-Sonnet e GPT-5) mostrano prestazioni significativamente superiori rispetto ai modelli precedenti, specialmente nei task complessi. Tuttavia, anche i migliori modelli riescono a risolvere completamente (Fully Solved) solo 8 scenari su 25.
• Differenze per dominio:
  • Network Forensics: I modelli top superano l'80% di accuratezza sui task facili (rilevamento pattern), ma le prestazioni crollano drasticamente sui task medi e difficili che richiedono ispezione profonda dei pacchetti.
  • Memory Forensics: Rimane una sfida significativa; i modelli più piccoli (es. Llama-3.1-8B) falliscono quasi completamente, mentre i modelli avanzati faticano ancora con l'analisi di dump di memoria complessi.
  • Malware Analysis: I modelli eccellono nell'analisi di script in chiaro, ma faticano con l'analisi binaria e l'obfuscation.

Analisi dei Fallimenti (RQ3)

Le cause principali di fallimento sono state identificate come:

1. Comandi Errati: Sintassi o parametri sbagliati che bloccano l'indagine.
2. Loop Infiniti: I modelli (specialmente Llama-3.1-8B) si bloccano ripetendo comandi senza progresso.
3. Allucinazioni: Generazione di risposte confidenti ma prive di evidenze.
4. Investigazione Superficiale: Dipendenza da parole chiave ovvie invece di un'analisi approfondita.
5. Dipendenza dalle Domande: Il fallimento su una domanda iniziale blocca le analisi successive dipendenti.

Alert Triage

Nella classificazione degli alert, GPT-5 ha raggiunto il 98% di accuratezza, identificando perfettamente i falsi positivi (100%) e il 96% dei veri positivi. Claude-4.5-Sonnet ha ottenuto il 96%. I modelli più leggeri (es. GPT-4o-mini) hanno mostrato una forte tendenza a classificare gli alert come minacce reali, fallendo nel rilevare i falsi positivi.

Validità e Robustezza

• Test su Task Live: La valutazione su task pubblicati dopo la data di cutoff dei modelli ha confermato che i risultati del benchmark sono validi e non influenzati dalla contaminazione dei dati di addestramento.
• Studio Ablativo: L'uso di un workflow Multi-Stato e del modulo di Sintesi ha migliorato significativamente le prestazioni (fino al +31% in alcuni casi) rispetto a flussi a stato singolo o senza sintesi, riducendo gli errori di limite contestuale.

4. Contributi Principali

1. Primo Dataset di Benchmark per SIA: Un dataset curato da esperti, privo di bias, con scenari multi-step e domande aperte, coprente sia task investigativi che di triage.
2. Framework Agentic SIABENCH: Un agente autonomo capace di pianificare, agire e sintetizzare informazioni in un ambiente di sicurezza reale, con estensibilità per nuovi modelli e task.
3. Valutazione Sistematica: La prima valutazione su larga scala di 11 LLM principali, fornendo baseline di performance, analisi dei punti di fallimento e confronti tra modelli open e closed.
4. Linee Guida per l'Adozione: Fornisce evidenze concrete per aiutare i SOC a prendere decisioni informate sull'adozione di LLM, suggerendo che i modelli attuali sono promettenti ma necessitano di "guardrail" e scaffolding adeguati.

5. Significato e Impatto

Questo lavoro è fondamentale per la comunità della sicurezza informatica perché sposta il dibattito sull'uso degli LLM dalla speculazione alla valutazione empirica rigorosa.

• Per i SOC: Offre una guida pratica per selezionare i modelli giusti (es. GPT-5 o Claude-4.5 per task complessi) e comprendere i limiti attuali, prevenendo l'automazione cieca che potrebbe degradare la sicurezza.
• Per la Ricerca: Stabilisce un nuovo standard per la valutazione degli agenti AI in contesti di sicurezza, dimostrando l'importanza di flussi di lavoro multi-stato e della gestione del contesto.
• Sostenibilità: Il framework è progettato per essere aggiornato continuamente, permettendo di tracciare i progressi dei modelli nel tempo man mano che nuove versioni vengono rilasciate.

In sintesi, SIABENCH dimostra che, sebbene gli LLM stiano facendo passi da gigante nell'analisi degli incidenti di sicurezza, non sono ancora pronti per "prendere il volante" completamente senza supervisione umana, ma possono essere strumenti potenti se integrati correttamente in un framework di valutazione e automazione robusto.