From Detection to Response: A Deep Learning and Retrieval-Augmented Generation Framework for Network Intrusion Mitigation

Technische Samenvatting: Van Detectie tot Respons

Probleemstelling
Hoewel op machine learning gebaseerde Intrusion Detection Systems (IDS) hoge nauwkeurigheid hebben bereikt bij het classificeren van netwerkattacks, slagen ze er vaak niet in om aan de kritieke operationele behoefte van beveiligingsanalisten te voldoen: het bepalen van de passende respons. Bestaande deep learning-modellen fungeren vaak als "black boxes" en leveren voorspellingslabels zonder de beslissingslogica uit te leggen. Bovendien identificeren bestaande Explainable AI (XAI)-technieken, zoals SHAP en LIME, weliswaar invloedrijke kenmerken, maar bieden ze geen bruikbare richtlijnen voor mitigatie. Daarnaast zijn gezaghebbende bronnen voor cybersecuritykennis (bijvoorbeeld NIST-richtlijnen, MITRE ATT&CK) te uitgebreid om handmatig te raadplegen tijdens incidenten in real-time. Dit artikel adresseert de kloof tussen hoog-nauwkeurige dreigingsdetectie en het genereren van gestructureerde, op bewijs gebaseerde en bruikbare responsstrategieën.

Methodologie
De auteurs stellen een geïntegreerd, end-to-end raamwerk voor dat deep learning-gebaseerde intrusiedetectie combineert met een Retrieval-Augmented Generation (RAG)-pijplijn. Het systeem werkt via vijf modulaire fasen:

1. Data-acquisitie en Preprocessing: Het raamwerk maakt gebruik van twee benchmarkdatasets, CICIDS2018 en UNSW-NB15. Om evaluatie over datasets heen mogelijk te maken, wordt een geünificeerde 66-dimensionale kenruimte gerealiseerd. Categorische kenmerken worden one-hot gecodeerd en zero-padding wordt toegepast om dimensionale gaten te overbruggen. Een interpretatiedictionary voor kenmerken koppelt technische kenmerknamen aan menselijk leesbare beschrijvingen en beveiligingsimplicaties.
2. Vertrouwens-gekalibreerde DNN-classificatie: In plaats van één multi-class model, maakt het systeem gebruik van een ensemble van drie onafhankelijk getrainde binaire Deep Neural Networks (DNN) met een one-vs-rest-strategie (Benign-vs-Rest, DoS-vs-Rest, DDoS-vs-Rest).
   • Architectuur: De modellen maken gebruik van volledig verbonden lagen met ReLU-activering. Het CICIDS2018-model gebruikt drie verborgen lagen, terwijl het UNSW-NB15-model vier gebruikt, met batch-normalisatie en dropout-regulering.
   • Omgaan met class-ongelijkheid: Om ernstige class-ongelijkheid aan te pakken (bijvoorbeeld DoS-verkeer dat slechts 0,64% van UNSW-NB15 uitmaakt), maakt het systeem gebruik van class-gewogen binaire cross-entropy loss, random oversampling, gecontroleerde undersampling en modelselectie op basis van de F1-score.
   • Output: Het ensemble produceert een voorspelde klasse en een scalair vertrouwensscore, die wordt gemapt naar een discrete "SOC Triage Tier" (Zeer Hoog, Hoog, Gemiddeld, Laag) om prioritering door analisten te sturen.
3. Uitleg-bewuste Promptconstructie: Na classificatie extrahert het systeem de top-5 meest invloedrijke kenmerken met behulp van gradient-based attribution. Deze kenmerken worden via het interpretatiedictionary gemapt naar natuurlijke taalbeschrijvingen. Vervolgens wordt een gestructureerde prompt samengesteld die bevat:
   • Detectiecontext (aanvalsklasse, vertrouwen, tier).
   • Metagegevens van netwerkstromen (IP-adressen, poorten, tijdstippen).
   • Abnormale indicatoren (top-5 kenmerken en hun interpretaties).
   • Een systeemrolinstructie die de LLM definieert als senior cybersecurity-analist met expliciete vereisten voor citaties.
4. Hybride RAG-retrieval: De prompt wordt verrijkt door het ophalen van relevante richtlijnen uit een kennisbank die is opgebouwd uit 14 gezaghebbende documenten (waaronder NIST Special Publications en MITRE ATT&CK). De retrievals-pijplijn maakt gebruik van een hybride aanpak:
   • Lexicale zoekopdracht: BM25-ranking.
   • Semantische zoekopdracht: Dichte vectorretrieval met behulp van FAISS en sentence transformers.
   • Query-uitbreiding: Een synoniemdictionary specifiek voor cybersecurity breidt termen uit (bijvoorbeeld "DoS" naar "resource exhaustion").
   • Reranking: Een cross-encoder herrangt de top-kandidaten om de uiteindelijke top-5 chunks voor de prompt te selecteren.
5. LLM-gebaseerde rapportage: Een lokaal gedeployerd LLaMA 3:8B-model (via Ollama) genereert een gestructureerd incidentresponsrapport. Het rapport bevat secties over Redenering, Belangrijke Indicatoren, Vertrouwensbeoordeling, Dreigingsbeoordeling en Aanbevelingen, allemaal onderbouwd met de opgehaalde citaties.

Belangrijkste Bijdragen

1. Gestructureerde Promptstrategie: Een nieuwe methode die LLM-redenering koppelt aan concrete detectiebewijzen (voorspelde klasse, vertrouwen en top-5 abnormale kenmerken) in plaats van aan generieke zoekopdrachten.
2. Hybride Retrievalpijplijn: Een retrievalsysteem dat BM25-trefwoordzoekopdrachten, FAISS-gebaseerde dichte vectorzoekopdrachten en cross-encoder reranking combineert om relevante mitigatiestrategieën uit gezaghebbende bronnen te extraheren.
3. End-to-End Mitigatiekader: Een systeem dat niet alleen aanvallen detecteert, maar ook gestructureerde, op citaties gebaseerde mitigatierapporten genereert, waardoor de kloof tussen detectie en respons wordt overbrugd.
4. Rigoureuze Evaluatie: Een evaluatiekader dat RAG-versterkte outputs vergelijkt met door experts geschreven ground truth en vanilla LLM-baselines, gebruikmakend van BERTScore, ROUGE en BLEU-metrieken.

Resultaten

• Detectieprestaties: Het ensemble-DNN bereikte 99,84% nauwkeurigheid op de CICIDS2018-dataset en 95,30% op de UNSW-NB15-dataset. Opmerkelijk is dat de DoS-recall op de sterk ongelijke UNSW-NB15-dataset verbeterde van 0,30% (baseline) naar 97,6% na toepassing van balanceringsinterventies.
• Retrievalprestaties: De hybride retrievals-pijplijn behaalde een succespercentage van 97% met een mean reciprocal rank (MRR) van 0,87 en een gemiddelde latentie van 1,8 seconden.
• Kwaliteit van Rapporten: RAG-versterkte rapporten presteerden significant beter dan vanilla LLM-outputs op alle metrieken. In vergelijking met de baseline toonde het RAG-systeem een verbetering van 4,4% in BERTScore F1, een toename van 32,5% in ROUGE-1, een toename van 126,4% in ROUGE-2 en een toename van 244,1% in BLEU. De gegenereerde rapporten bevatten consequent citaties naar NIST- en MITRE-bronnen (respectievelijk 93,3% en 86,7% citatiepercentages).

Betekenis
Het artikel stelt dat het raamwerk de aanhoudende beperking in IDS-onderzoek succesvol aanpakt, waarbij detectie losgekoppeld is van bruikbare respons. Door deep learning-detectie te integreren met een RAG-pijplijn die is verankerd in vertrouwde cybersecuritykennis, produceert het systeem mitigatierapporten die niet alleen nauwkeurig zijn, maar ook verklaarbaar, contextbewust en operationeel bruikbaar voor Security Operations Center (SOC)-analisten. De auteurs benadrukken dat deze aanpak de tijd tussen aanvalsdetectie en effectieve respons verkort, waardoor het risico op langdurige systeemverstoring wordt verminderd. Het gebruik van een lokaal gedeployerde LLM adresseert ook privacy- en regelgevingszorgen die gepaard gaan met het routeren van gevoelige netwerkverkeersdata naar externe API's.