💻 computer science

DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction

Il documento introduce DiagChain, un benchmark diagnostico caratterizzato da 69 scenari diversificati e dal framework ECRAG per valutare gli agenti LLM sulla ricostruzione di catene di attacco basate su prove, rivelando che mentre i modelli più grandi faticano con l'ordinamento delle prove, i modelli più piccoli falliscono nell'incorporazione di base delle prove, evidenziando così la necessità di una valutazione per fasi rispetto all'accuratezza aggregata.

Autori originali: Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan, Xibin Zhao

Pubblicato 2026-08-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan, Xibin Zhao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di una scena del crimine, stai osservando una scena del crimine digitale. Gli "indizi" sono sparsi ovunque: milioni di righe di log di sistema, avvisi di sicurezza e registrazioni di sistema. Nel mondo della cybersecurity, gli esperti utilizzano i Large Language Models (LLM) — chatbot IA super intelligenti addestrati su enormi quantità di testo — per agire come detective digitali. Questi agenti IA dovrebbero leggere gli indizi disordinati, capire cosa è successo e scrivere la storia dell'attacco nell'ordine corretto. Questo processo è chiamato ricostruzione della catena di attacco (attack chain reconstruction). È come cercare di guardare un film che è stato tagliato in migliaia di fotogrammi casuali e poi chiedere a qualcuno di rimettere i fotogrammi nell'ordine giusto per raccontare la storia.

Ma ecco il problema: la maggior parte dei test per questi detective IA esamina solo la storia finale che scrivono. Se la storia è sbagliata, il test dice "fallito", ma non ti dice perché. Il detective ha saltato un indizio? Ha trovato gli indizi ma si è dimenticato di scriverli? O ha trovato gli indizi giusti ma li ha messi nell'ordine sbagliato? Abbiamo bisogno di un modo per sbirciare dentro il cervello del detective mentre lavora, per vedere esattamente dove perde la pista. È qui che entra in gioco il nuovo articolo, DiagChain. Introduce un campo di prova speciale progettato non solo per dare un voto alla risposta finale, ma per diagnosticare i passaggi specifici in cui l'IA perde la traccia.

Gli autori di questo articolo, ricercatori della Tsinghua University e della CRRC Corporation, hanno costruito un nuovo benchmark chiamato DiagChain per colmare questa lacuna. Hanno creato un dataset chiamato MAIN-69, che consiste in 69 diversi "scenari del crimine" (scenari) che vanno dal semplice al molto complesso. Questi scenari provengono da dati reali come log di Linux, eventi di Windows e avvisi cloud. Per rendere il test realistico, hanno aggiunto diversi livelli di "rumore" — come aggiungere chiacchiere innocue di sottofondo agli indizi per vedere se l'IA si distrae. Hanno anche variato la lunghezza delle catene di attacco, da brevi esplosioni di attività a intrusioni lunghe e prolungate.

Per testare l'IA, hanno utilizzato un flusso di lavoro speciale chiamato ECRAG (Evidence-Centric Retrieval-Augmented Generation). Immagina di dare al detective IA una lente d'ingrandimento e un taccuino che si aggiorna da solo. L'IA deve cercare indizi, raggrupparli, stabilire una cronologia e poi scrivere la storia, controllando costantemente il proprio lavoro. I ricercatori hanno poi misurato le prestazioni dell'IA utilizzando cinque specifici "controlli di salute" invece di un unico voto finale:

Retrieval (Recupero): L'IA ha trovato gli indizi?
Grouping (Raggruppamento): Ha inserito gli indizi correlati nei contenitori giusti?
Ordering (Ordinamento): Ha disposto gli eventi nella corretta sequenza temporale?
Grounding (Fondatezza): Ha effettivamente usato gli indizi trovati per supportare la sua storia?
Attribution Gap (Lacuna di attribuzione): Ha trovato un indizio, l'ha guardato e poi si è dimenticato di menzionarlo nel rapporto finale?

I risultati sono stati illuminanti. Anche le configurazioni di IA più intelligenti sono riuscite a completare correttamente solo il 39,6% degli 849 passaggi di riferimento nel dataset MAIN-69 senza commettere un errore precedente. L'articolo suggerisce che il tipo di modello IA conta molto per capire dove fallisce. I modelli più piccoli spesso faticano con le basi: trovano un indizio ma non riescono a incorporarlo nella loro storia finale, essenzialmente scartando l'evidenza. I modelli più grandi e potenti sono più bravi a trovare e conservare gli indizi, ma spesso inciampano nel tentativo di metterli nel corretto ordine. È come un piccolo detective che trova la pistola ma si dimentica di scriverlo, contro un grande detective che trova la pistola, le impronte digitali e la mappa, ma confonde completamente la cronologia del furto.

I ricercatori hanno anche testato cosa succede se si dà all'IA più tempo o un "budget di ricerca" maggiore (permettendo di esaminare più indizi). Hanno scoperto che dare semplicemente all'IA più risorse non risolve automaticamente il problema. Sebbene l'esame di più indizi aiuti l'IA a trovare più prove, questo non garantisce che l'IA organizzi correttamente tali prove o che smetta di commettere errori nell'assemblaggio finale. Infatti, per alcuni modelli, guardare troppi indizi senza una strategia migliore ha reso il compito solo più difficile.

In definitiva, l'articolo sostiene che dobbiamo smettere di guardare solo il punteggio finale e iniziare a diagnosticare il processo. I risultati suggeriscono che rendere i modelli IA più grandi non risolve il problema dell' "assemblaggio della catena"; sposta semplicemente il collo di bottiglia dal "trovare gli indizi" all' "organizzare gli indizi". Per costruire agenti di cybersecurity davvero affidabili, dobbiamo progettare sistemi che siano specificamente bravi nel prendere le prove trovate e intrecciarle in una storia coerente, ordinata e fondata, piuttosto che sperare semplicemente che i modelli più grandi capiscano tutto da soli. Gli autori mettono a disposizione il loro codice e i loro dati affinché altri possano continuare a testare e migliorare questi detective digitali.

Riepilogo Tecnico: DiagChain

Problema

Gli agenti basati su Large Language Model (LLM) sono sempre più utilizzati nelle investigazioni di cybersecurity, inclusa l'ispezione dei log, l'invocazione di strumenti e il ragionamento su telemetrie eterogenee per ricostruire le catene di attacco. Tuttavia, i benchmark esistenti valutano principalmente gli output finali o l'accuratezza aggregata. Questo approccio offre una visibilità limitata sul processo di investigazione intermedio, non riuscendo a distinguere tra diversi tipi di fallimento, come la scoperta delle prove, il raggruppamento, l'ordinamento, l'ancoraggio (grounding) o l'attribuzione. Di conseguenza, le valutazioni attuali forniscono una visione parziale della capacità di un agente di eseguire una Ricostruzione della Catena di Attacco Basata sulle Prove (Evidence-Grounded Attack Chain Reconstruction).

Gli autori identificano tre limitazioni specifiche nel panorama attuale:

Copertura degli Scenari: I dataset esistenti raramente coprono simultaneamente molteplità di sistemi operativi, livelli di rumore controllati e diverse lunghezze delle catene.
Valutazione Diagnostica: I punteggi aggregati non rivelano dove sia nato un fallimento (ad esempio, durante la scoperta delle prove rispetto all'ordinamento).
Workflow di Investigazione: La maggior parte degli studi valuta o l'uso interattivo di strumenti o la generazione di catene ordinate in isolamento, mancando di un workflow unificato che accoppi il recupero delle prove con uno stato di lavoro strutturato ed evolutivo.

Metodologia

1. Costruzione del Dataset: MAIN-69

Per affrontare le limitazioni di copertura, gli autori hanno costruito MAIN-69, un dataset di 69 scenari di catene di attacco.

Fonti: Il dataset sintetizza dati da 23 unità sorgente derivate da AutoLabel (log Linux), ExCyTIn-Bench (alert enterprise/cloud) e OTRF Security-Datasets (eventi host Windows/APT29).
Variazioni: Ogni sorgente è trasformata in tre profili di evidenza: Clean (evidenza centrale dell'attacco), Noisy (evidenza centrale più attività benigna/distraente) e Raw (finestre originali ampie).
Struttura: Gli scenari sono categorizzati per lunghezza della catena: Small (S, 2–5 step), Medium (M, 6–15 step) e Large (L, ≥16 step).
Ground Truth: Ogni caso include un "Gold Reference Package" verificato manualmente che contiene una sequenza ordinata di passi avversari, mappata su specifici identificatori di evidenza ed entità. Il dataset copre 849 step di riferimento e 780 archi temporali.

2. Workflow dell'Agente: ECRAG

Il paper introduce la Generazione Aumentata da Recupero Centrata sulle Evidenze (Evidence-Centric Retrieval-Augmented Generation - ECRAG) per supportare il processo di ricostruzione. A differenza della RAG standard, ECRAG accoppia il recupero delle evidenze con una rappresentazione strutturata ed evolutiva della catena.

Stato: L'agente mantiene uno stato $S_t$ composto da schede di evidenza osservate ( $O$ ), una catena di lavoro ( $C$ ) e memoria ( $m$ ).
Meccanismo di Recupero: ECRAG impiega un processo di recupero in tre fasi:
1. Recupero Lessicale: Classificazione TF-IDF dei documenti per trovare corrispondenze iniziali (seed).
2. Espansione del Grafo: L'Espansione delle Entità recupera schede che condividono entità visibili con i seed; l'Espansione Temporale recupera i record immediatamente precedenti o successivi all'interno della stessa sorgente.
3. Rescoring: I candidati vengono riclassificati utilizzando un punteggio composito ( $r(e)$ ) che combina somiglianza testuale, sovrapposizione di token, corrispondenza esatta di indizi e bonus di metadati.
Workflow: L'agente interroga iterativamente le evidenze, valida i passaggi e aggiorna la catena di lavoro. La sottomissione finale richiede che ogni step citi l'evidenza osservata.

3. Metriche di Valutazione Diagnostica

Inveve di un singolo punteggio di accuratezza, DiagChain utilizza cinque metriche complementari per diagnosticare specifiche fasi di fallimento:

Copertura del Passo di Recupero (Ret.): La frazione di step di riferimento per i quali l'agente ha osservato almeno un elemento di evidenza a supporto.
F1 di Raggruppamento (Grp.): Misura quanto bene le evidenze siano partizionate in step coerenti (usando il clustering B3), indipendentemente dal recupero.
Accuratezza dell'Ordinamento (Ord.): La frazione di coppie di step comparabili posizionate nel corretto ordine cronologico.
F1 di Ancoraggio delle Evidenze (Grd.): La precisione e la completezza del supporto citato all'interno degli step allineati.
Tasso di Gap di Attribuzione (Gap): La frazione di evidenza di riferimento osservata che è stata trovata ma omessa dalle citazioni della catena finale.

Risultati Chiave

Gli autori hanno valutato sei configurazioni di LLM (Qwen-3-32b, DeepSeek-V4-Pro, GLM-5.2, GLM-5.2-T, Llama4-17b-Scout e GPT-5.5) su MAIN-69.

Capacità Complessiva (RQ1)

Nessun Modello Dominante: Nessun modello eccelle in tutte le fasi. GPT-5.5 ha mostrato la maggiore forza costante nel recupero e nell'ordinamento, mentre le varianti GLM-5.2 hanno spesso ottenuto i gap di attribuzione più piccoli.
Recupero vs Assemblaggio: Un'alta copertura di recupero non garantisce una ricostruzione riuscita. Ad esempio, su catene medie "raw", Qwen-3-32b e DeepSeek-V4-Pro avevano una copertura di recupero simile (~0.84), ma DeepSeek ha ottenuto un grounding significativamente migliore (0.64 vs 0.51).
Colli di Bottiglia nelle Catene Lunghe: I modelli più piccoli (Qwen, Llama) hanno faticato significativamente nel raggruppamento (F1 0.18–0.25) sulle catene lunghe, mentre i modelli più grandi mantengono punteggi di raggruppamento più elevati (0.53–0.81).

Anatomia del Fallimento (RQ2)

Dimensione del Modello e Modalità di Fallimento:
- Modelli Più Piccoli: Falliscono principalmente nella Ritenzione delle Evidenze (E2: osservate ma non utilizzate). Faticano a incorporare le evidenze recuperate nei loro output.
- Modelli Più Grandi: Falliscono principalmente nell'Ordinamento Globale (E4: evidenze fuori ordine). Recuperano con successo le evidenze ma faticano a sequenziarle correttamente.
Impatto di Rumore e Lunghezza: I profili di evidenza "Raw" aumentano i fallimenti di tipo "Evidenza Non Osservata" (E1). Le catene lunghe spostano il collo di bottiglia verso errori di ordinamento e assemblaggio piuttosto che verso un singolo tipo di errore dominante.
Scoperta vs Utilizzo: Tutti i modelli hanno mostrato un divario tra l'evidenza osservata e l'evidenza citata. I modelli più piccoli mostrano la separazione più ampia (ad esempio, Llama4-17b-Scout ha osservato il 72% dell'evidenza gold ma ne ha citata solo il 34%), indicando una debolezza nel convertire l'osservazione in attribuzione.

Ablazione e Sensibilità (RQ3 & RQ4)

Importanza dello Scaffold: Uno "Scaffold Completo" (recupero + memoria della catena strutturata + riflessione + controlli di ancoraggio) ha migliorato significativamente l'ordinamento (0.943) e l'attribuzione (Gap 0.054) rispetto a "Solo Recupero" o "Solo LLM", nonostante un leggero compromesso nella copertura di recupero.
Sensibilità al Budget: Aumentare la profondità di recupero ( $k$ ) o i turni di interazione oltre un certo punto (ad esempio, $k=32$ , 15 turni) non ha migliorato costantemente la qualità della catena finale. Turni eccessivi hanno aumentato i costi dei token e destabilizzato l'ordinamento senza ridurre gli errori di attribuzione.

Significato e Claim

Il paper sostiene che DiagChain fornisce un passaggio necessario dalle metriche di accuratezza end-to-end alla valutazione diagnostica per gli agenti di cybersecurity.

Insight Diagnostico: Il benchmark rivela che i modelli "più forti" non eliminano i fallimenti, ma piuttosto spostano il collo di bottiglia dalla ritenzione delle evidenze all'organizzazione globale della catena.
Design Azionabile: Le scoperte suggeriscono che migliorare gli agenti di cybersecurity richiede strategie distinte per diverse dimensioni dei modelli: i modelli più piccoli necessitano di migliori meccanismi di integrazione delle evidenze, mentre i modelli più grandi richiedono una migliore logica di ordinamento globale e assemblaggio.
Auditabilità: Accoppiando il recupero delle evidenze con una catena di lavoro strutturata e controlli di ancoraggio espliciti, DiagChain rende il processo di ricostruzione auditabile, permettendo ai ricercatori di individuare esattamente dove e perché un agente fallisce (ad esempio, scoperta vs attribuzione).

Gli autori concludono che budget di interazione più ampi non sono un rimedio universale per i fallimenti di ricostruzione, enfatizzando la necessità di un design degli agenti consapevole delle evidenze e di una valutazione diagnostica per migliorare l'affidabilità delle investigazioni di cybersecurity.