ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation

1. Enunciato del Problema

L'indagine sulle minacce informatiche è un processo complesso e multistep che richiede agli analisti di sicurezza di setacciare log di sicurezza eterogenei, correlare eventi tra più fonti di dati e ragionare attraverso catene di prove multi-hop per identificare le minacce. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano mostrato promesse in compiti di ragionamento complesso, manca un benchmark standardizzato per valutare specificamente gli agenti LLM nell'indagine sulle minacce informatiche. I benchmark esistenti (ad esempio CTIBench, SECURE) si concentrano principalmente sulla memorizzazione delle conoscenze, sull'estrazione di testo o su domande a scelta multipla, fallendo nel testare la capacità di un agente di interagire con un database, scoprire gli schemi e eseguire ragionamenti sequenziali per risolvere incidenti di sicurezza reali.

2. Metodologia

Gli autori propongono ExCyTIn-Bench, un benchmark completo progettato per simulare scenari reali di indagine sulle minacce. La metodologia coinvolge tre componenti fondamentali:

A. Raccolta Dati e Costruzione dell'Ambiente

• Fonte: I dati sono stati raccolti da un tenant Microsoft Azure fittizio ("Alpine Ski House") configurato con monitor di sicurezza realistici.
• Scala: L'ambiente include 57 tabelle di log distinte (ad esempio SigninLogs, EmailEvents, SecurityAlert, SecurityIncident) contenenti oltre 14 milioni di righe nel flusso completo di log di 44 giorni.
• Incidenti: Il dataset copre 8 catene di attacco distinte e multistadio basate su attacchi storici reali (ad esempio Ransomware Manatee Tempest, BEC/Account Takeover). Ogni incidente si estende da 2 ore a 5 giorni e coinvolge varie tecniche MITRE ATT&CK.
• Interfaccia: Il benchmark fornisce un ambiente Docker MySQL in cui gli agenti interagiscono tramite query SQL. Gli agenti devono scoprire lo schema (tabelle e colonne) attraverso l'esplorazione, poiché lo schema completo non è fornito nel prompt.

B. Generazione di Domande tramite Grafi Bipartiti

Per generare domande di alta qualità, non ripetitive e basate su dati reali, gli autori hanno sviluppato una pipeline di generazione basata su grafi:

1. Costruzione del Grafo: Per ogni incidente, viene costruito un grafo bipartito $G=(U, V, E)$ dove $U$ rappresenta i vertici di Alert e $V$ rappresenta i vertici di Entità (ad esempio utenti, IP, host). Gli archi collegano gli alert alle entità coinvolte.
2. Selezione del Percorso: Il sistema seleziona due alert distinti ($u_s$ e $u_e$) come punti di inizio e fine. Identifica le entità collegate a questi alert per formare un percorso.
3. Generazione QA: Un LLM viene istruito a generare una domanda utilizzando l'alert di partenza e le sue entità collegate come contesto, e l'entità dell'alert di arrivo come risposta.
4. Percorso di Soluzione: Il percorso più breve tra i nodi di partenza e di arrivo nel grafo funge da percorso di soluzione ground-truth, consentendo una valutazione granulare dei passaggi intermedi.

• Output: Questo processo ha generato 7.542 domande, di cui 589 selezionate per il set di test per garantire diversità e prevenire sovrapposizioni di percorsi tra i set di addestramento e test.

C. Framework di Valutazione

• Sistema di Ricompensa: Il benchmark utilizza un meccanismo di ricompensa decadente (ispirato al Reinforcement Learning).
  • Ricompensa Piena (1.0): Assegnata per la risposta finale corretta.
  • Ricompensa Parziale: Se la risposta finale è errata, il sistema verifica se l'agente ha trovato nodi intermedi (IoC) lungo il percorso di soluzione. Vengono assegnate ricompense in base al progresso compiuto, applicando un fattore di decadimento ($\gamma=0.4$) ai passaggi più lontani dalla risposta finale.
• Valutazione: La valutazione viene eseguita utilizzando un LLM come giudice (GPT-4o) per gestire le variazioni nel formato delle risposte e verificare se il ragionamento dell'agente è allineato alla verità fondamentale, invece di affidarsi esclusivamente al confronto stringa per stringa.

3. Contributi Chiave

1. Primo Benchmark per Indagini sulle Minacce: ExCyTIn-Bench è il primo benchmark specificamente progettato per valutare gli agenti LLM sul compito end-to-end dell'indagine sulle minacce informatiche utilizzando dati di log reali.
2. Strategia di Generazione QA Innovativa: Il paper introduce un metodo per generare domande deterministiche e non ripetitive da grafi bipartiti alert-entità, garantendo che le domande siano radicate in percorsi di dati espliciti e abbiano traiettorie di soluzione verificabili.
3. Valutazione Granulare del Processo: A differenza delle metriche binarie pass/fail, il benchmark fornisce ricompense passo-passo, consentendo la valutazione della capacità di un agente di estrarre Indicatori di Compromissione (IoC) intermedi e del suo progresso in spazi di ricerca complessi.
4. Analisi Empirica Completa: Gli autori forniscono un'analisi dettagliata delle prestazioni del modello, del comportamento (scoperta dello schema, successo delle query) e dell'efficienza (costo vs ricompensa) su un'ampia gamma di modelli.

4. Risultati Sperimentali

Gli autori hanno valutato numerosi modelli proprietari e open-source (inclusi GPT-4o, Claude-Opus-4.5, Llama-4, Qwen-3 e modelli di ragionamento come o1/o3) utilizzando varie strategie di prompting (ReAct, Expel, Best-of-N, Self-Reflection).

• Soffitto delle Prestazioni: Il compito è altamente impegnativo. Il modello con le prestazioni migliori, Claude-Opus-4.5, ha raggiunto una ricompensa media massima di 0,606, lasciando ampio spazio per miglioramenti.
• Confronto tra Modelli:
  • Proprietari vs Open Source: I modelli proprietari di punta (Claude-Opus-4.5, GPT-5.1) superano i modelli open-source, ma i grandi modelli open-source (ad esempio Llama-4-Maverick-17B) stanno rapidamente colmando il divario, raggiungendo ricompense competitive (~0,29).
  • Modelli di Ragionamento: I modelli con capacità di ragionamento esplicite (ad esempio o1, o3) mostrano prestazioni solide, in particolare quando combinati con strategie di riflessione.
• Impatto del Metodo:
  • ReAct + Riflessione: Questa combinazione ha prodotto i maggiori guadagni di prestazioni nella maggior parte dei modelli, superando significativamente il prompt di base.
  • Expel: Il metodo Expel (distillazione di regole dai dati di addestramento) ha mostrato alta efficienza (meno turni) ma costi più elevati a causa dell'inflazione del prompt.
• Efficienza: Esiste una forte correlazione positiva (Pearson $r=0,86$) tra i tassi di successo delle query e le ricompense finali. I modelli più piccoli spesso faticano con la scoperta dello schema, portando a più errori e ricompense più basse.
• Studi di Ablazione:
  • Ambito DB: Rimuovere i log degli alert (simulando attacchi zero-day) ha causato un calo significativo delle prestazioni, evidenziando il ruolo critico degli alert di rilevamento nell'indagine.
  • Finestra Temporale: Espandere la finestra temporale a un intero storico di 44 giorni ha introdotto rumore, riducendo leggermente le prestazioni rispetto alle porzioni per incidente.

5. Significato e Direzioni Future

• Avanzamento della Sicurezza Autonoma: ExCyTIn-Bench fornisce un banco di prova critico per lo sviluppo di agenti autonomi capaci di ridurre il carico sugli analisti SOC umani automatizzando la caccia alle minacce multistep.
• RL per la Cybersecurity: La struttura delle ricompense granulare rende il benchmark unico per l'addestramento di agenti tramite Reinforcement Learning (RL), permettendo un'assegnazione precisa dei crediti attraverso i passaggi dell'indagine.
• Valutazione Realistica: Utilizzando pattern di attacco reali e richiedendo la scoperta dello schema, il benchmark va oltre il "recupero di conoscenze" per testare il genuino ragionamento investigativo e l'uso di strumenti.
• Open Source: Gli autori hanno reso open source il benchmark, l'ambiente e il codice (SecRL), favorendo la riproducibilità e accelerando la ricerca nella difesa informatica guidata dall'IA.

In conclusione, ExCyTIn-Bench stabilisce un nuovo standard per la valutazione degli agenti LLM nella cybersecurity, dimostrando che, sebbene i modelli attuali mostrino promesse, sono necessari progressi significativi nel ragionamento, nella comprensione dello schema e nella pianificazione multi-hop per raggiungere un'indagine sulle minacce completamente autonoma.