Retrieval-Augmented LLMs for Security Incident Analysis

Probleemstelling

Het onderzoeken van cyberveiligheidsincidenten is een uiterst arbeidsintensief proces. Analisten moeten enorme hoeveelheden gegevens uit diverse logbronnen (zoals intrusiedetectie-alerts, netwerkverkeer en authenticatie-evenementen) filteren om relevante indicatoren te vinden en de aanval te reconstrueren.

• Uitdagingen: Moderne SIEM-systemen genereren duizenden alerts per dag, maar analisten kunnen slechts een klein deel hiervan bekijken, wat leidt tot vermoeidheid en gemiste incidenten.
• Beperkingen van bestaande methoden: Signatuur-gebaseerde detectie generaliseert niet naar nieuwe aanvalsmethoden. Machine Learning-methoden leveren vaak alleen classificaties of rankings, maar geen narratieve reconstructie die nodig is voor forensisch onderzoek.
• LLM-beperkingen: Het direct invoeren van ruwe beveiligingslogs in een Large Language Model (LLM) is onpraktisch vanwege de contextlimieten van modellen (miljoenen logregels) en de mengeling van echte aanvalssignalen met enorme hoeveelheden normale activiteit.

Methodologie: Een RAG-gebaseerd Systeem

De auteurs presenteren een Retrieval-Augmented Generation (RAG) systeem dat gericht is op veiligheidsincidentanalyse. Het systeem combineert gerichte query's met semantische redenering van LLM's.

Architectuur en Werkingsprincipe:
Het systeem werkt in twee hoofdfasen:

1. Security Context Extraction (Veiligheidscontextextractie):
   • In plaats van ruwe logs direct naar het LLM te sturen, worden eerst Indicators of Compromise (IOCs) geëxtraheerd via een bibliotheek met vooraf gedefinieerde queries (gebaseerd op MITRE ATT&CK technieken).
   • Deze queries filteren en aggregeren duizenden logevenementen tot compacte, semantisch betekenisvolle patronen (bijv. samenvattingen van verbindingen, authenticatieanomalieën).
   • Deze geaggregeerde data wordt ingebed (embedded) en opgeslagen in een vectordatabase.
2. RAG-LLM Analyse:
   • Wanneer een forensische vraag wordt gesteld (bijv. "Wat is het IP van de geïnfecteerde host?"), zoekt het systeem de meest relevante context-chunks uit de vectordatabase op basis van semantische gelijkenis.
   • Een LLM ontvangt deze gecontextualiseerde informatie en genereert een gestructureerd, bewijsgebaseerd antwoord.
   • Het systeem ondersteunt twee modi: Forensische Vraag-Antwoord (identificatie van specifieke IOCs) en Aanvalreconstructie (het koppelen van losse gebeurtenissen tot een causaal verhaal van de aanval).

Belangrijke Ontwerpprincipes:

• Filteren voor analyse: Verminder ruis door eerst alleen relevante IOCs te extraheren.
• Embed eenmalig, query meermalen: De index wordt één keer gebouwd en kan voor verschillende vragen en modellen worden hergebruikt.
• Provider-onafhankelijk: Het systeem kan verschillende LLM-providers (cloud en lokaal) gebruiken zonder de pijplijn te wijzigen.

Kernbijdragen

1. Probleemformulering: Het definiëren van incidentanalyse als een vraag-antwoordtaak met type-specifieke matching-functies (voor IP's, hostnamen, domeinen) en het reconstrueren van aanvalsseries.
2. Veiligheidsbewuste RAG-architectuur: Een op maat gemaakte ophaalpijplijn die cross-event semantische redenering mogelijk maakt (bijv. het herkennen van een mismatch tussen Subject en SAN in certificaten om ESC1-aanvallen te detecteren).
3. Uitgebreide Evaluatie: Een vergelijking van acht LLM-configuraties (inclusief Claude Sonnet 4, DeepSeek V3, GPT-4/5, Llama 3.1 en Cisco Foundation-Sec-8B) op zowel malware-verkeer als Active Directory-aanvallen.
4. Kosten-batenanalyse: Een gedetailleerde analyse van de kosten-effectiviteit, waarbij wordt aangetoond dat bepaalde modellen vergelijkbare prestaties leveren voor een fractie van de kosten.

Resultaten

De evaluatie omvatte vier malware-scenario's en een multi-stadia Active Directory (AD) aanvalssimulatie.

Prestaties bij Malware-analyse:

• Terugvinding (Recall): Claude Sonnet 4 en DeepSeek V3 behaalden 100% recall op alle vier de malware-scenario's.
• Lokale modellen: Lokaal gedeployde modellen (Llama 3.1:70b en Cisco Foundation-Sec-8B) behaalden respectievelijk 95% en 90% recall, wat vergelijkbaar is met cloud-opties.
• Kosten: DeepSeek V3 bleek de meest kosteneffectieve optie, met een kosten per analyse van $0.008, wat 15 keer goedkoper is dan Claude Sonnet 4 ($0.12) bij gelijke prestaties.
• Contextgrootte: De prestaties van Claude en DeepSeek verbeterden aanzienlijk met de hoeveelheid opgehaalde context (van 60% bij k=1 naar 100% bij k=7).

Prestaties bij Active Directory Analyse:

• Aanvalsdetectie: Het systeem bereikte 100% precisie en 82% recall bij het detecteren van aanvalsstappen in AD-scenario's.
• Reconstructie: Het systeem slaagde erin complexe aanvalspaden te reconstrueren, zoals het misbruik van ESC1-certificaatsjablonen, door losse logevenementen (certificaataanvragen, Kerberos-tickets) te koppelen tot een coherent verhaal.
• Verdedigingsadviezen: De door het LLM gegenereerde verdedigingsaanbevelingen (zoals het revoceren van certificaten of resetten van KRBTGT) kwamen overeen met expert-acties en voorkwamen succesvolle compromittering van SCADA-systemen.

Ablatiestudies (RAG vs. Geen RAG):

• Zonder RAG (directe analyse van ruwe logs) misten alle modellen 100% van de aanvalsinfrastructuur (zoals C2-servers en kwaadaardige domeinen) vanwege contextlimieten. Ze konden wel de slachtoffers identificeren omdat deze in de eerste, "veilige" logregels stonden.
• Dit bewijst dat RAG-preprocessing essentieel is om de juiste informatie uit grote datasets te halen.

Betekenis en Conclusie

Dit paper demonstreert dat het combineren van gerichte query-based filtering met RAG-gebaseerde ophaling een krachtige en kosteneffectieve oplossing biedt voor beveiligingsanalisten.

• Kerninzicht: De kwaliteit van de redenering van het LLM is belangrijker dan het hebben van een domein-specifiek voorgetraind model (de algemene LLM's presteerden beter dan de beveiligingsspecialist Cisco Foundation-Sec-8B).
• Praktische toepasbaarheid: Het systeem kan incidenten analyseren binnen 1-2 minuten (cloud) of onder de 1 minuut per tijdsvenster (lokaal), wat haalbaar is voor real-time analyse.
• Toekomst: De studie onderstreept dat AI-systemen analisten kunnen versterken door de zware taak van dataverwerking over te nemen, waardoor analisten zich kunnen concentreren op de interpretatie van complexe aanvalspatronen. De auteurs maken hun code en query-bibliotheek openbaar om reproduceerbaarheid te waarborgen.