DEFENGRAPH: Knowledge Graph-Enhanced LLMs for Blue Team Cyber Defense

Sintesi Tecnica: DEFENGRAPH

Problematica
I Large Language Models (LLM) mostrano grande potenziale per il processo decisionale nella cybersecurity, ma soffrono di criticità fondamentali in ambienti ad alto rischio e in continua evoluzione temporale. Nello specifico, sono soggetti a allucinazioni, faticano nel ragionamento temporale e mancano di radicamento in contesti di sistema specifici. Gli approcci tradizionali di Retrieval-Augmented Generation (RAG), che si basano sulla somiglianza superficiale o basata su embedding, spesso recuperano documenti irrilevanti (ad esempio, recuperando un ticket di incidente Windows per un alert Linux) che confondono il ragionamento dell'LLM. Inoltre, i dati di cybersecurity sono caratterizzati da un basso rapporto segnale-rumore, contenendo una vasta quantità di log benigni o fuorvianti (ad esempio, password errate) che i metodi standard di recupero tramite Knowledge Graph (KG) non riescono a filtrare efficacemente. La sfida centrale è creare un sistema che possa ancorare gli output degli LLM sia alla conoscenza di dominio a lungo termine, sia ai contesti di eventi in tempo reale ed evolutivi, per fornire strategie di difesa fedeli e consapevoli del tempo.

Metodologia: Il Framework DEFENGRAPH
Gli autori propongono DEFENGRAPH, un framework RAG potenziato da un Knowledge Graph a doppio strato progettato per supportare i difensori del Blue Team. Il sistema integra rappresentazioni di conoscenza strutturata con la generazione basata su LLM attraverso la seguente pipeline:

1. Costruzione del Knowledge Graph a Doppio Strato:

   • Static Knowledge Graph (SKG): Codifica la conoscenza infrastrutturale a lungo termine, l'architettura di sistema, i tipici comportamenti degli attaccanti e i playbook difensivi storici derivati da blueprint di cyber range e documentazione.
   • Dynamic Knowledge Graph (DKG): Cattura gli eventi di sicurezza in evoluzione temporale, le tracce degli attaccanti e le azioni dei ticket dei difensori registrate durante gli esercizi live. I nodi includono alert, ticket, IP e file, con gli archi che codificano relazioni temporali e semantiche.

2. Processo di Recupero Basato su Grafo (GRP):
   Al ricevimento di un alert SIEM (Wazuh), il sistema costruisce un grafo di query e recupera i sottografi rilevanti dall'SKG e dal DKG utilizzando:

   • Semantic-based Triple Matching (STM): Utilizza modelli linguistici pre-addestrati per codificare e confrontare le triple (entità, relazione, entità) tra la query e la base di conoscenza.
   • Path Propagation Score (PMC): Aggrega le caratteristiche delle triple vicine per calcolare i punteggi di corrispondenza dei percorsi, identificando i percorsi più probabilmente rilevanti.
   • Composizione del Sottografo: Unisce i percorsi con il miglior punteggio in sottografi, campionando i vicini a 2 hop per catturare il contesto circostante.

3. Filtraggio Contestuale e Re-ranking Basati su LLM:
   Per affrontare il rumore inerente ai sottografi recuperati, DEFENGRAPH impiega due moduli guidati da LLM:

   • Contextual Filter (CF): Valuta i percorsi recuperati rispetto al contesto specifico dell'alert per assegnare un punteggio e selezionare le entità e i percorsi più rilevanti, filtrando i nodi "grigi" irrilevanti.
   • Reasoning Re-ranker: Riordina i percorsi filtrati in base alla loro rilevanza rispetto all'alert e alla conoscenza storica, incorporando l'Assegnazione del Peso Temporale (Temporal Weight Assignment). Questo assegna pesi maggiori alle entità più vicine nel tempo alla query, garantendo che il sistema dia priorità alle minacce recenti ed evolutive.

4. Generazione di Attività Difensive:
   I percorsi di ragionamento finali e classificati vengono inseriti nel prompt dell'LLM per generare strategie di mitigazione azionabili e consapevoli del contesto, che si allineano con le pratiche difensive umane.

Contributi Chiave

• Framework DEFENGRAPH: Un nuovo framework temporal KG-RAG che combina la conoscenza di dominio statica con dati di eventi dinamici in tempo reale per generare strategie di difesa consapevoli del contesto.
• Dataset ACDC Cyber Range: La costruzione e il rilascio di un dataset di cybersecurity completo derivato da esercizi live di Red vs. Blue team in un ambiente simulato di un porto marittimo. Include oltre 8,2 milioni di log firewall, 6,1 milioni di alert Wazuh, 326 ticket di risposta agli incidenti e tracce di Red Team, rappresentando una fonte di dati realistica, rumorosa ed eterogenea.
• Guadagni di Performance: Dimostrazione che DEFENGRAPH migliora significativamente la fedeltà e l'interpretabilità degli output degli LLM attraverso molteplici modelli (GPT-4o, LLaMA-3, DeepSeek-R1, QWen-3), producendo raccomandazioni di difesa che si allineano più strettamente alla verità di base (ground truth) redatta da umani.

Risultati Sperimentali
Il framework è stato valutato sul dataset ACDC utilizzando quattro LLM leader e confrontato con baseline che includevano LLM-only, Hybrid RAG e GraphRAG. Le scoperte chiave includono:

• Reasoning Recall (RAR): Su GPT-4o, DEFENGRAPH ha migliorato la reasoning recall dal 61,45% (solo SKG) al 73,49% (Full). Guadagni simili sono stati osservati su altri modelli (ad es., LLaMA-3: 46,99% → 61,45%).
• Ticket-Action Recall (TAR): Il sistema ha recuperato una proporzione significativamente più alta di azioni difensive della ground truth. Su GPT-4o, il TAR è aumentato dal 52,17% al 72,46%.
• Precisione e Tassi di Errore: Sebbene la precisione (TAP) abbia visto guadagni moderati (24,49% → 29,24% su GPT-4o), il sistema ha mantenuto un basso tasso di azioni errate (sotto il 4%), con errori che consistono principalmente in sovra-reazioni o falsi positivi facilmente identificabili dai difensori umani.
• Robustezza Cold-Start: In scenari senza cronologia di ticket pregressa (reset del DKG), il sistema ha mantenuto forti capacità di ragionamento, sebbene l'action recall sia diminuito, evidenziando l'importanza del contesto dinamico per l'allineamento preciso delle azioni.
• Studi di Ablazione: I risultati hanno confermato che sia l'SKG che il DKG sono essenziali; rimuovere il DKG ha ridotto il TAR di circa il 20%, mentre rimuovere l'SKG ha causato un calo di circa il 25%, dimostrando la necessità sia della struttura storica che del contesto in tempo reale.

Significatività
Il paper posiziona DEFENGRAPH come una soluzione allo stato dell'arte per il supporto decisionale difensivo ancorato e consapevole del tempo. A differenza dei sistemi precedenti basati su KG che si concentrano sull'intrusione, sul tracciamento degli attacchi o sulla strutturazione dell'intelligence sulle minacce, DEFENGRAPH mira direttamente alla generazione di passaggi di mitigazione azionabili e allineati ai ticket. Integrando un grafo a doppio strato con il filtraggio e il re-ranking basati su LLM, il framework affronta la fragilità del RAG tradizionale in domini strutturati e rumorosi, consentendo agli LLM di fornire un ragionamento fedele che rifletta sia la topologia statica del sistema sia l'evoluzione dinamica di un attacco. Gli autori affermano che questo approccio colma il divario tra la comprensione abilitata dai KG e la guida operativa utile per i Blue Team.