CyberSleuth: Autonomous Blue-Team LLM Agent for Web Attack Forensics

Il paper presenta CyberSleuth, il primo agente LLM autonomo progettato per automatizzare l'analisi forense post-mortem di attacchi web, dimostrando attraverso un sistema multi-agente specializzato una capacità superiore nel correlare prove, identificare exploit e generare report accurati con un'accuratezza dell'80% su casi reali.

L'essenziale

Ecco una spiegazione semplice e creativa del paper "CyberSleuth", pensata per chiunque, anche senza competenze tecniche.

Immagina che il mondo digitale sia una città enorme e caotica. Ogni giorno, ladri (gli hacker) cercano di entrare nelle case (i server web) per rubare cose o fare danni. Quando succede un crimine, i detective umani devono analizzare le telecamere di sicurezza (i dati di rete) per capire: Chi è entrato? Come ha fatto? Ha avuto successo?

Fino a oggi, questo lavoro era fatto a mano. Era come cercare un ago in un pagliaio guardando ogni singolo filo di paglia con una lente d'ingrandimento: lento, noioso e soggetto a errori.

In questo paper, gli autori (un team di ricercatori italiani e francesi) hanno creato un super-detective robotico chiamato CyberSleuth. È un'intelligenza artificiale (un "agente") capace di fare da sola il lavoro di un investigatore forense.

Come funziona CyberSleuth? (L'analogia della Squadra Investigativa)

Il problema è che un singolo detective AI, se gli dai un mucchio di dati confusi, si perde facilmente, dimentica le cose importanti o si confonde. È come dare a un solo poliziotto il compito di leggere 10.000 pagine di verbali in un'ora: alla fine, non ricorderà nulla.

Per risolvere questo, CyberSleuth non è un "eroe solitario", ma una squadra di specialisti che lavorano insieme. Immagina un'agenzia investigativa con tre ruoli chiave:

1. Il Raccoglitore (Flow Summariser): È il "tecnico di laboratorio". Non legge tutto il verbale parola per parola. Invece, prende i dati grezzi (il traffico di rete) e crea un riassunto intelligente. Dice: "Ehi, c'è stato un movimento sospetto sul porto 80 alle 14:00, ecco cosa è successo".
2. Il Detective Principale (Main Agent): È il "capo squadra". Riceve il riassunto dal tecnico. Il suo compito è pensare: "Ok, questo sembra un attacco. Ma quale? Cerchiamo online per vedere se corrisponde a un crimine noto".
3. Il Ricercatore (Web Search): È l'investigatore che va in biblioteca (o su Google). Quando il detective principale ha un sospetto, il ricercatore va a controllare se quel tipo di crimine esiste davvero nella "biblioteca dei crimini" (il database delle vulnerabilità note, chiamate CVE).

Cosa hanno scoperto? (Le lezioni apprese)

Gli autori hanno provato diverse configurazioni, come se stessero testando diversi tipi di squadre:

• L'Investigatore Solitario: Hanno provato a dare tutto il lavoro a un solo agente. Risultato: si perdeva, faceva troppe domande inutili e spesso sbagliava. Era come mandare un solo poliziotto a gestire un'intera città da solo.
• La Squadra Gerarchica Complessa: Hanno provato una struttura molto rigida dove il capo dava ordini dettagliati a un sottoposto per ogni singola azione. Risultato: era troppo lento e il sottoposto spesso non capiva bene cosa fare, creando confusione.
• La Squadra Semplice e Specializzata (CyberSleuth): Hanno scoperto che la formula vincente è semplice: uno specialista prepara i dati, il capo pensa e un ricercatore verifica.
  • Risultato: CyberSleuth ha indovinato il 70-80% dei crimini, anche quelli molto recenti (del 2025) che nessun umano avrebbe potuto conoscere perché non erano ancora nei suoi libri di testo.

Perché è speciale?

1. Non si perde la memoria: I detective AI normali dimenticano tutto dopo pochi minuti di conversazione. CyberSleuth ha una "memoria esterna" (come un quaderno di appunti esterno) dove salva le cose importanti. Se deve tornare indietro a controllare un dettaglio, lo trova subito nel quaderno, invece di dover rileggere tutto il verbale.
2. Impara a cercare: Non si limita a indovinare. Se non è sicuro, usa il suo "ricercatore" per controllare online. Ma ha imparato a fare domande precise (es. "C'è un bug nel software X che permette di entrare?") invece di domande vaghe ("C'è un bug?").
3. Si adatta: Hanno provato a usare lo stesso detective per un altro tipo di crimine: i virus informatici (malware) che infettano i computer. Anche se il caso era diverso, la squadra ha funzionato quasi senza cambiare nulla. È come se un detective specializzato in furti in casa potesse diventare un detective per rapine in banca con un solo cambio di "copertina" sul suo taccuino.

Il Verdetto degli Esperti

Hanno fatto leggere i rapporti scritti da CyberSleuth a 25 detective umani esperti.
Il verdetto? Soddisfatti.
I rapporti erano:

• Completi: Non mancavano pezzi.
• Utile: Un umano poteva usarli subito per capire cosa fare.
• Logici: Il ragionamento era chiaro, non era un "pasticcio" di parole.

In sintesi

CyberSleuth è come aver assunto un squadra di detective robotici che lavorano in perfetta sincronia. Non sostituiscono gli umani, ma fanno il lavoro sporco e noioso di analizzare milioni di dati, permettendo agli investigatori umani di concentrarsi sulle decisioni importanti. È un passo enorme verso un futuro in cui la sicurezza informatica sarà più veloce, precisa e meno stancante per chi la difende.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "CyberSleuth: Autonomous Blue-Team LLM Agent for Web Attack Forensics" in italiano.

1. Il Problema

L'analisi post-mortem dei sistemi compromessi è un pilastro fondamentale della cyber forensics, ma rimane attualmente un processo manuale, lento e soggetto a errori. Con l'aumento della sofisticazione degli attacchi, la necessità di automatizzare l'indagine è critica.
Sebbene l'Intelligenza Artificiale Agentic (basata su Large Language Models - LLM) mostri potenziale, la sua applicazione alla cybersecurity difensiva è ancora inesplorata. Le sfide principali includono:

• La necessità di ragionamento a lungo termine e memoria contestuale.
• La capacità di correlare evidenze non strutturate attraverso eventi multipli.
• Le attuali difficoltà degli agenti LLM nella gestione della memoria, nel cambio di contesto e nel coordinamento tra sub-agenti.
• La scarsità di agenti difensivi rispetto a quelli "red-team" (attacco).

2. Metodologia e Architettura

Gli autori presentano CyberSleuth, il primo studio sistematico volto ad automatizzare l'indagine forense post-mortem utilizzando agenti LLM.

Scenario di Test

Il sistema è stato valutato su due scenari principali:

1. Attacchi a Servizi Web: 30 scenari controllati in cui attaccanti remoti sfruttano vulnerabilità note (CVE) su servizi web. L'agente riceve come input le tracce di rete (PCAP) e deve identificare il servizio, la CVE sfruttata e il successo dell'attacco.
2. Analisi Traffico Malware: 10 tracce di traffico generato da dispositivi infetti da malware (botnet, keylogger, ecc.) per testare la portabilità del sistema.

Design degli Agenti

Il paper confronta tre architetture di agenti, tutte basate su un framework multi-agente (ispirato a MemGPT) per gestire la memoria a lungo termine e l'uso di strumenti (Web Search, Tshark):

1. Single Agent (SA): Un singolo agente che analizza un riepilogo dei pacchetti e interroga direttamente gli strumenti. Simula un analista esperto ma tende a perdere il focus su tracce complesse.
2. Tshark Expert Agent (TEA): Un'architettura multi-agente dove un agente principale coordina un sub-agente specializzato ("Tshark Expert") per eseguire comandi di analisi del traffico. Sebbene permetta un'analisi dettagliata, soffre di problemi di coordinamento e istruzioni ambigue tra i livelli.
3. Flow Reporter Agent (FRA) - L'architettura vincente (CyberSleuth):
   • Utilizza un approccio sequenziale e semplice.
   • Un Flow Summariser (sub-agente) analizza sistematicamente i flussi TCP/UDP del PCAP e genera un report strutturato delle evidenze forensi (porte anomale, payload sospetti, pattern temporali).
   • Il Main Agent riceve questo report sintetizzato, lo arricchisce con ricerche web mirate e genera il rapporto finale.
   • Vantaggi: Decoupling delle attività, riduzione del carico cognitivo sul main agent, minore consumo di token e maggiore precisione.

Gestione della Memoria e Strumenti

• Memoria: Implementazione di un database vettoriale esterno per la memoria a lungo termine, combinata con una coda FIFO per la memoria a breve termine, superando i limiti della finestra di contesto degli LLM.
• Web Search Tool: Un tool specializzato che non cerca CVE casualmente, ma formula query basate sul servizio e sul tipo di attacco identificati, evitando allucinazioni sui codici CVE.

3. Contributi Chiave

• CyberSleuth: Un sistema autonomo in grado di analizzare tracce di rete grezze, correlare evidenze con knowledge base esterne (CVE) e produrre report forensi completi.
• Benchmark Esteso: Creazione di un dataset di 30 incidenti controllati (inclusi 10 nuovi incidenti del 2025 non presenti nei dati di training degli LLM) e 10 tracce di malware.
• Analisi Comparativa: Valutazione sistematica di 3 architetture e 6 diversi backend LLM (inclusi GPT-4o, o3, GPT-5, DeepSeek R1, Kimi K2, Llama-4).
• Principi di Design: Dimostrazione che la specializzazione multi-agente e l'orchestrazione semplice (sequenziale) superano le architetture gerarchiche complesse o gli agenti singoli.

4. Risultati

• Prestazioni su Web Attacks:
  • L'architettura FRA (CyberSleuth) ha ottenuto la migliore accuratezza complessiva (80%) sugli incidenti del 2025 (mai visti prima), superando significativamente le altre architetture.
  • Ha identificato correttamente il servizio target nell'80% dei casi e la CVE specifica con un'accuratezza superiore rispetto ai baseline (es. miglioramento dal 14% al 68% rispetto a lavori precedenti come CFABench).
  • Efficienza: FRA ha completato le indagini in media in ~5 passi (contro i 18 di un Single Agent), riducendo drasticamente i costi in token e tempo.
• Valutazione Umana:
  • Un panel di 25 esperti ha valutato i report generati da CyberSleuth (basati su DeepSeek R1 e OpenAI o3) con punteggi medi superiori a 4.3/5 per completezza, utilità e coerenza logica.
• Portabilità:
  • Applicando CyberSleuth all'analisi del traffico malware (cambiando solo il prompt di istruzione), il sistema ha estratto con successo dettagli sulle vittime e Indicatori di Compromissione (IOC) in 9 casi su 10, dimostrando che i principi di design sono trasferibili.
• Backend LLM:
  • I modelli open-source (DeepSeek R1, Kimi K2) hanno dimostrato prestazioni pari o superiori ai modelli proprietari (GPT-4o, GPT-5) con costi significativamente inferiori, pur richiedendo un'attenta gestione delle query web.

5. Significato e Implicazioni

Il lavoro di CyberSleuth segna un passo avanti cruciale verso l'automazione della difesa informatica:

1. Validazione dell'Agentic AI: Dimostra che gli agenti LLM possono essere progettati per compiti forensi complessi che richiedono ragionamento sostenuto e uso di strumenti, andando oltre la semplice generazione di testo.
2. Design Pattern per la Sicurezza: Stabilisce che per compiti di analisi forense, un'architettura multi-agente con ruoli specializzati e un'orchestrazione semplice è superiore a modelli monolitici o gerarchie complesse.
3. Generalizzazione: La capacità di adattare lo stesso sistema a scenari diversi (attacchi web vs. malware) suggerisce che CyberSleuth può essere la base per una piattaforma forense unificata.
4. Open Source: Gli autori rilasciano il sistema e il benchmark come piattaforma aperta, favorendo la ricerca riproducibile e rigorosa nel campo della sicurezza basata su AI.

In sintesi, CyberSleuth non solo automatizza un processo laborioso, ma lo fa con un livello di accuratezza e coerenza che lo rende praticamente utile per gli analisti della sicurezza, riducendo il tempo di risposta agli incidenti e liberando risorse umane per compiti di livello superiore.