From Detection to Response: A Deep Learning and Retrieval-Augmented Generation Framework for Network Intrusion Mitigation

Sintesi Tecnica: Dalla Rilevazione alla Risposta

Enunciato del Problema
Sebbene i Sistemi di Rilevamento delle Intrusioni (IDS) basati sull'apprendimento automatico abbiano raggiunto un'alta accuratezza nella classificazione degli attacchi di rete, spesso non riescono a soddisfare l'esigenza operativa critica degli analisti della sicurezza: determinare la risposta appropriata. I modelli di deep learning attuali funzionano frequentemente come "scatole nere", fornendo etichette di previsione senza spiegare la logica decisionale. Inoltre, le tecniche esistenti di Intelligenza Artificiale Spiegabile (XAI), come SHAP e LIME, identificano le caratteristiche influenti ma non offrono indicazioni di mitigazione attuabili. Inoltre, le fonti autorevoli di conoscenze sulla cybersecurity (ad esempio, le linee guida NIST, MITRE ATT&CK) sono troppo estese per essere consultate manualmente durante incidenti in tempo reale. Questo documento affronta il divario tra la rilevazione delle minacce ad alta accuratezza e la generazione di strategie di risposta strutturate, basate su prove e attuabili.

Metodologia
Gli autori propongono un framework unificato, end-to-end, che integra la rilevazione delle intrusioni basata sul deep learning con una pipeline di Retrieval-Augmented Generation (RAG). Il sistema opera attraverso cinque fasi modulari:

1. Acquisizione e Preprocessing dei Dati: Il framework utilizza due dataset di riferimento, CICIDS2018 e UNSW-NB15. Per abilitare la valutazione trasversale ai dataset, viene costruito uno spazio di caratteristiche unificato a 66 dimensioni. Le caratteristiche categoriali vengono codificate con one-hot encoding e viene applicato lo zero-padding per colmare i divari dimensionali. Un dizionario di interpretazione delle caratteristiche mappa i nomi tecnici delle caratteristiche in descrizioni leggibili dall'uomo e implicazioni di sicurezza.
2. Classificazione DNN Calibrata sulla Confidenza: Invece di un singolo modello multiclasse, il sistema impiega un ensemble di tre Deep Neural Networks (DNN) binarie addestrate indipendentemente utilizzando una strategia one-vs-rest (Benigno-vs-Resto, DoS-vs-Resto, DDoS-vs-Resto).
   • Architettura: I modelli utilizzano livelli completamente connessi con attivazione ReLU. Il modello CICIDS2018 utilizza tre livelli nascosti, mentre il modello UNSW-NB15 ne utilizza quattro, incorporando normalizzazione batch e regolarizzazione dropout.
   • Gestione dello Squilibrio delle Classi: Per affrontare lo squilibrio severo delle classi (ad esempio, il traffico DoS che costituisce solo lo 0,64% di UNSW-NB15), il sistema impiega una funzione di perdita di entropia incrociata binaria pesata per le classi, oversampling casuale, undersampling controllato e selezione del modello basata sul punteggio F1.
   • Output: L'ensemble produce una classe prevista e un punteggio di confidenza scalare, che viene mappato su un "Livello di Triage SOC" discreto (Molto Alto, Alto, Medio, Basso) per guidare la prioritizzazione da parte dell'analista.
3. Costruzione del Prompt Consapevole delle Spiegazioni: Al momento della classificazione, il sistema estrae le 5 caratteristiche più influenti utilizzando l'attribuzione basata sul gradiente. Queste caratteristiche vengono mappate in descrizioni in linguaggio naturale tramite il dizionario di interpretazione. Viene quindi assemblato un prompt strutturato contenente:
   • Contesto di rilevazione (classe di attacco, confidenza, livello).
   • Metadati del flusso di rete (indirizzi IP, porte, timestamp).
   • Indicatori anomali (le 5 caratteristiche principali e le loro interpretazioni).
   • Un'istruzione di ruolo di sistema che definisce il LLM come un analista senior di cybersecurity con requisiti espliciti di citazione.
4. Recupero Ibrido RAG: Il prompt viene arricchito recuperando indicazioni pertinenti da una base di conoscenze costruita a partire da 14 documenti autorevoli (inclusi le Pubblicazioni Speciali NIST e MITRE ATT&CK). La pipeline di recupero utilizza un approccio ibrido:
   • Ricerca Lessicale: Classificazione BM25.
   • Ricerca Semantica: Recupero di vettori densi utilizzando FAISS e sentence transformers.
   • Espansione della Query: Un dizionario di sinonimi specifico per la cybersecurity espande i termini (ad esempio, da "DoS" a "esaurimento delle risorse").
   • Riclassificazione: Un cross-encoder riclassifica i candidati principali per selezionare i 5 chunk finali per il prompt.
5. Generazione del Rapporto Basata su LLM: Un modello LLaMA 3:8B distribuito localmente (tramite Ollama) genera un rapporto strutturato di risposta agli incidenti. Il rapporto include sezioni su Motivazione, Indicatori Chiave, Valutazione della Confidenza, Valutazione della Minaccia e Raccomandazioni, tutti basati sulle citazioni recuperate.

Contributi Chiave

1. Strategia di Prompting Strutturato: Un metodo innovativo che vincola il ragionamento del LLM a prove concrete di rilevazione (classe prevista, confidenza e 5 caratteristiche anomale principali) piuttosto che a query generiche.
2. Pipeline di Recupero Ibrida: Un sistema di recupero che combina la ricerca per parole chiave BM25, la ricerca di vettori densi basata su FAISS e la riclassificazione con cross-encoder per estrarre strategie di mitigazione pertinenti da fonti autorevoli.
3. Framework di Mitigazione End-to-End: Un sistema che non solo rileva gli attacchi ma genera rapporti di mitigazione strutturati e basati su citazioni, colmando il divario tra rilevazione e risposta.
4. Valutazione Rigorosa: Un framework di valutazione che confronta gli output potenziati da RAG con verità fondamentali scritte da esperti e baseline LLM standard, utilizzando le metriche BERTScore, ROUGE e BLEU.

Risultati

• Prestazioni di Rilevazione: L'ensemble DNN ha raggiunto un'accuratezza del 99,84% sul dataset CICIDS2018 e del 95,30% sul dataset UNSW-NB15. Notevolmente, il recall DoS sul dataset altamente sbilanciato UNSW-NB15 è migliorato dallo 0,30% (baseline) al 97,6% dopo l'applicazione di interventi di bilanciamento.
• Prestazioni di Recupero: La pipeline di recupero ibrida ha raggiunto un tasso di successo del 97% con un Mean Reciprocal Rank (MRR) di 0,87 e una latenza media di 1,8 secondi.
• Qualità del Rapporto: I rapporti potenziati da RAG hanno superato significativamente gli output LLM standard su tutte le metriche. Rispetto alla baseline, il sistema RAG ha mostrato un miglioramento del 4,4% nel punteggio F1 di BERTScore, un aumento del 32,5% in ROUGE-1, un aumento del 126,4% in ROUGE-2 e un aumento del 244,1% in BLEU. I rapporti generati hanno incluso coerentemente citazioni alle fonti NIST e MITRE (tassi di citazione rispettivamente del 93,3% e dell'86,7%).

Significato
Il documento afferma che il suo framework affronta con successo il limite persistente nella ricerca sugli IDS in cui la rilevazione è disaccoppiata dalla risposta attuabile. Integrando la rilevazione basata sul deep learning con una pipeline RAG fondata su conoscenze di cybersecurity affidabili, il sistema produce rapporti di mitigazione che non sono solo accurati, ma anche spiegabili, consapevoli del contesto e operativamente utili per gli analisti del Centro Operativo di Sicurezza (SOC). Gli autori sottolineano che questo approccio riduce il tempo tra la rilevazione dell'attacco e la risposta efficace, mitigando così il rischio di interruzioni prolungate del sistema. L'uso di un LLM distribuito localmente affronta inoltre le preoccupazioni relative alla privacy e alla regolamentazione associate all'inoltro di dati sensibili sul traffico di rete verso API esterne.