Retrieval-Augmented LLMs for Security Incident Analysis

Titolo: Retrieval-Augmented LLMs per l'Analisi degli Incidenti di Sicurezza

Autori: Xavier Cadet et al. (Dartmouth College, Northeastern University, Punch Cyber Analytics)

---

1. Il Problema

L'analisi degli incidenti di cybersecurity è un processo estremamente laborioso che richiede agli analisti di setacciare enormi volumi di dati provenienti da fonti eterogenee (alert di rilevamento delle intrusioni, traffico di rete, eventi di autenticazione) per identificare indicatori di compromissione (IoC) e ricostruire la catena dell'attacco.
Le sfide principali identificate sono:

• Volume e Rumore: I sistemi SIEM generano migliaia di alert al giorno, ma la maggior parte sono falsi positivi o attività benigna, rendendo difficile isolare il segnale dell'attacco.
• Limiti dei Modelli LLM: Inserire log grezzi direttamente in un Large Language Model (LLM) è impraticabile a causa dei limiti del contesto (context window) e della lentezza dell'inferenza. Un singolo incidente può generare milioni di voci di log.
• Incapacità di Generalizzazione: I meccanismi di rilevamento basati su firme statiche non riescono a cogliere pattern di attacco nuovi o sofisticati (es. abuso di certificati, falsificazione di ticket Kerberos) che si estendono su più fonti di log e nel tempo.
• Frammentazione dei Dati: Nessun singolo entry di log rivela l'intera catena dell'attacco; è necessaria una sintesi di prove disperse.

2. Metodologia: Architettura RAG-Based

Gli autori propongono un sistema basato su Retrieval-Augmented Generation (RAG) progettato specificamente per l'analisi forense di sicurezza. L'architettura non invia log grezzi all'LLM, ma segue un pipeline in due fasi:

A. Estrazione del Contesto di Sicurezza (Security Context Extraction)

Invece di passare i log grezzi, il sistema esegue query mirate (basate su una libreria di indicatori di compromissione - IoC) sui log grezzi per estrarre solo le informazioni rilevanti.

• Query Library: Utilizza query predefinite associate alle tecniche MITRE ATT&CK (es. iniezione PowerShell, richiesta di certificati, autenticazione Kerberos).
• Aggregazione: Le query non restituiscono singole righe, ma aggregazioni semantiche (es. conteggi di connessioni, pattern di download) che comprimono migliaia di eventi in sintesi leggibili.
• Embedding: Questi aggregati vengono trasformati in vettori e indicizzati in un database vettoriale (FAISS).

B. Analisi RAG-LLM

Quando un analista pone una domanda forense (es. "Qual è l'host infetto?" o "Ricostruisci la sequenza di attacco"):

1. Il sistema esegue una ricerca semantica per recuperare i chunk (aggregati) più pertinenti dal database vettoriale.
2. Questi contesti vengono forniti all'LLM insieme alla domanda.
3. L'LLM genera una risposta strutturata e basata sulle evidenze, ricostruendo la narrazione dell'attacco.

Il sistema supporta due modalità operative:

• Domande Forensi: Risposte a domande specifiche (IP infetti, domini C2, utenti compromessi).
• Ricostruzione dell'Attacco: Correlazione di eventi forensi discreti per creare una narrazione causale della progressione dell'attacco nel tempo.

3. Contributi Chiave

1. Formulazione del Problema: Definizione dell'analisi degli incidenti come un task di Question Answering su log eterogenei, con funzioni di matching specifiche per tipi di risposta (IP, hostname, set di domini).
2. Architettura RAG Consapevole della Sicurezza: Un pipeline di recupero progettato per dati di sicurezza, che utilizza query mirate, aggregazione per ridurre il rumore e chunking semantico per preservare le relazioni tra eventi (es. correlare una richiesta di certificato con un ticket Kerberos).
3. Valutazione Estesa e Analisi dei Costi: Confronto di 8 configurazioni LLM (API cloud e deployment locale) su scenari reali di malware e attacchi Active Directory.
4. Dimostrazione della Necessità del RAG: Prove empiriche che i modelli LLM senza contesto arricchito (RAG) falliscono nel rilevare l'infrastruttura di attacco a causa dei limiti del contesto.

4. Risultati Sperimentali

Scenari di Traffico Malware (4 scenari)

• Performance: I modelli Claude Sonnet 4 e DeepSeek V3 hanno raggiunto il 100% di recall su tutti gli scenari, identificando correttamente host infetti, utenti, domini malevoli e server C2.
• Modelli Locali: Llama 3.1:70b (95% recall) e Cisco Foundation-Sec-8B (90% recall) hanno mostrato prestazioni competitive con le API cloud, offrendo privacy dei dati.
• Fallimenti dei Modelli Generici: I modelli GPT (4, 4o, 5) hanno mostrato recall inferiori (60-85%) e hanno fallito nel correlare eventi complessi (es. catena di infezione IcedID), spesso confondendo account utente con hostname.
• Ablazione RAG: Senza RAG, i modelli hanno raggiunto lo 0% di recall per l'infrastruttura di attacco (domini C2, server), riuscendo a identificare solo l'host vittima presente nei primi log benigni.

Scenari Active Directory (Attacco Multi-fase)

• Rilevamento: Il sistema ha raggiunto il 100% di precisione e l'82% di recall nel rilevamento dei passaggi dell'attacco (es. abuso di template ESC1, movimento laterale).
• Ragionamento Contestuale: Il sistema è riuscito a distinguere un attacco da attività legittime correlando eventi apparentemente innocui (es. richiesta di certificato + ticket Kerberos) per identificare l'escalation dei privilegi.
• Raccomandazioni di Difesa: Le raccomandazioni generate dall'LLM (revoca certificati, reset KRBTGT) hanno coperto il 100% delle azioni difensive necessarie per fermare l'attacco.

Analisi dei Costi e delle Prestazioni

• DeepSeek V3 si è rivelato il provider più costo-efficiente, offrendo le stesse prestazioni di Claude Sonnet 4 (100% recall) a un costo 15 volte inferiore ($0.008 vs $0.12 per analisi).
• Tempo di Analisi: Il sistema completa l'analisi di un incidente malware in 1-2 minuti (cloud) e l'analisi di finestre temporali di attacchi AD in meno di 1 minuto (locale), rendendolo fattibile per l'uso in tempo reale.

5. Significato e Conclusioni

Il lavoro dimostra che combinare il filtraggio basato su query mirate con il recupero aumentato (RAG) permette di superare i limiti dei LLM nell'analisi di sicurezza:

• Necessità del RAG: È fondamentale per estrarre informazioni rilevanti da grandi volumi di log e fornire all'LLM il contesto necessario per il ragionamento forense.
• Ragionamento vs. Pre-training: I modelli specializzati nel dominio (es. Cisco Foundation-Sec-8B) non hanno superato i modelli generici avanzati, suggerendo che la capacità di ragionamento e correlazione è più importante del pre-training specifico per la sicurezza.
• Scalabilità e Costi: L'approccio RAG rende l'analisi degli incidenti scalabile ed economica, permettendo di utilizzare modelli economici come DeepSeek senza sacrificare l'accuratezza.

In sintesi, il sistema proposto trasforma l'analisi degli incidenti da un processo manuale e soggettivo a un processo automatizzato, basato su evidenze e riproducibile, capace di ricostruire narrazioni di attacco complesse superando i limiti di contesto e rumore dei dati.