Before You Hand Over the Wheel: Evaluating LLMs for Security Incident Analysis

Dit paper introduceert SIABENCH, een agentisch evaluatiekader met een nieuw dataset voor beveiligingsincidentanalyse, waarmee elf grote taalmodellen worden getest op hun vermogen om complexe beveiligingstaken autonoom uit te voeren.

De kern

Stel je voor dat een Security Operations Center (SOC) een enorme, drukke brandweerkazerne is. Elke dag krijgen de brandweerlieden (de beveiligingsanalisten) duizenden meldingen: "Er is rook!", "Er is een lekkage!", "Iemand heeft de deur open gelaten!". Het probleem? De helft van die meldingen is nep (een verbrande toast in de keuken), en de andere helft is een echte, levensgevaarlijke brand die complex is en snel moet worden opgelost.

De mensen in de kazerne raken overbelast. Ze zijn moe, maken fouten door vermoeidheid, en hebben niet genoeg tijd om elke melding tot in de puntjes te onderzoeken.

Nu komt er een nieuwe technologie op de markt: LLMs (grote taalmodellen, zoals slimme AI-assistenten). Bedrijven denken: "Wauw, laten we die AI gebruiken om ons te helpen! Die kan lezen, redeneren en misschien zelfs de brandblussers pakken."

Maar hier zit de hak: We weten niet of die AI's wel goed genoeg zijn. Zou je een onervaren AI de brandblussers laten pakken als je niet eerst hebt getest of hij niet per ongeluk je huis in brand steekt?

Dat is precies wat dit papier doet. De auteurs hebben een gigantische testbaan gebouwd om te zien of die AI's wel klaar zijn om het stuur over te nemen.

Hier is de uitleg, stap voor stap, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Blindganger"

Vroeger hadden we geen goede manier om te testen of een AI goed was in beveiliging. Het was alsof je een auto koopt zonder ooit te hebben gereden. Je hoopt dat hij remt, maar je weet het niet zeker.

• De uitdaging: Beveiliging is niet één ding. Het is een puzzel. Je moet kijken naar netwerken, geheugen van computers, virussen, en e-mails. En je moet dit doen terwijl de situatie elke seconde verandert.
• Het gebrek: Er was geen "rijexamen" voor AI's in deze wereld. Geen standaardtest, geen dataset met echte branden en nepmeldingen.

2. De Oplossing: SIABENCH (De "Super-Testbaan")

De auteurs hebben SIABENCH bedacht. Denk hierbij aan een gokken-achtige testbaan (zoals een Circus of een Escape Room), maar dan voor AI's.

Ze hebben drie dingen gebouwd:

• A. De "Puzzelboeken" (Het Dataset):
  Ze hebben 25 complexe "misdadige" scenario's gemaakt (zoals een ransomware-aanval) en 135 simpele meldingen (waarvan sommige nep waren).

  • Vergelijking: Stel je voor dat ze een doolhof hebben gebouwd met 25 verschillende soorten doolhoven. Sommige zijn makkelijk (een kind kan het), andere zijn zo complex dat alleen een detective het kan oplossen. Ze hebben ook "valstrikken" toegevoegd: meldingen die eruitzien als een brand, maar gewoon een verbrande toast zijn.
  • Belangrijk: Ze hebben de vragen zo herschreven dat de AI niet kan "leren" uit zijn geheugen (zoals een student die het antwoord uit het boek leert). Ze moesten echt nadenken, net als een mens.

• B. De "Robot-Detective" (De Agent):
  Ze hebben een AI-agent gebouwd die de test zelf kan doen. Deze agent is niet alleen een slimme prater; hij heeft handen en voeten.

  • Vergelijking: Een gewone AI is als iemand die in een auto zit en zegt: "Ik denk dat we links moeten afslaan." Deze agent zit in de auto, draait zelf het stuur, drukt op de rem en kijkt uit het raam. Hij kan echte software gebruiken om bestanden te openen, netwerken te scannen en codes te ontcijferen.
  • Hij werkt in stappen: Eerst een plan maken, dan een actie uitvoeren, dan kijken wat er gebeurt, en dan opnieuw plannen.

• C. De "Jury" (De Evaluatie):
  Ze hebben 11 verschillende AI-modellen (zowel gratis als dure, bekende modellen) op deze testbaan gezet om te kijken wie er het beste scoort.

3. Wat hebben ze ontdekt? (De Resultaten)

Het is een gemengd verhaal, net als bij een nieuw rijbewijs:

• De "Top-rijders": De nieuwste, slimste AI's (zoals Claude-4.5 en GPT-5) doen het verrassend goed. Ze kunnen complexe puzzels oplossen en vinden vaak de echte "brand" tussen de nepmeldingen. Ze zijn bijna klaar om de assistent van de mens te worden.
• De "Leerlingen": Kleinere of oudere AI's raken vaak in de war. Ze maken fouten, blijven in een cirkel draaien (alsof ze vastlopen in een doolhof) of verzinnen feiten (hallucineren).
• De "Valstrikken": De AI's zijn goed in simpele dingen (zoals "Is er een IP-adres?"), maar worstelen met complexe dingen (zoals "Waarom is dit bestand verborgen in een PDF?").
• De "Nep-meldingen": De beste AI's zijn heel goed in het onderscheiden van echte bedreigingen en nep-meldingen. Dat is cruciaal, want als een AI elke toast voor een brand aanmerkt, wordt de mens weer overbelast.

4. Waarom is dit belangrijk voor jou?

Stel je voor dat je een autonome auto koopt. Je wilt weten: "Kan deze auto veilig rijden in de regen? Kan hij een kind op de weg zien?"

Dit papier is als een onafhankelijke test van de ANWB. Ze zeggen niet: "Deze auto is perfect." Ze zeggen: "Hier zijn de resultaten. De nieuwe modellen rijden goed, maar ze maken nog fouten in de sneeuw. Gebruik ze met een menselijke bestuurder naast je, tot ze bewezen hebben dat ze 100% veilig zijn."

Conclusie: "Niet zomaar het stuur overhandigen"

De titel van het papier, "Before You Hand Over the Wheel" (Voordat je het stuur overhandigt), is de kernboodschap.

• AI is een krachtige hulpmiddel: Het kan helpen bij het zoeken in enorme hoeveelheden data.
• Maar pas op: We mogen de AI nog niet volledig de leiding geven. Ze moeten nog getraind worden en we moeten weten waar ze falen.
• De toekomst: Met deze testbaan (SIABENCH) kunnen bedrijven nu zien welke AI ze moeten kopen en hoe ze die veilig kunnen inzetten, zonder dat hun beveiliging in gevaar komt.

Kortom: De AI's worden steeds slimmer, maar ze zijn nog niet klaar om alleen te rijden. Ze hebben een co-piloot (de mens) nodig totdat ze alle doolhoven zonder fouten kunnen doorlopen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Before You Hand Over the Wheel: Evaluating LLMs for Security Incident Analysis" in het Nederlands.

1. Het Probleem

Security Incident Analysis (SIA) is een kernactiviteit van Security Operations Centers (SOCs), maar organisaties worstelen met de enorme hoeveelheid en diversiteit van alerts. Analisten moeten heterogene alerttypen verwerken, meerdere analyseobjectieven nastreven en werken met een patchwork van tools. Hoewel Security Orchestration, Automation and Response (SOAR) platforms partialle automatisering bieden, vereisen ze nog steeds veel handmatige inspanning.

Organisaties kijken naar Large Language Models (LLMs) om deze processen te ondersteunen, maar er is een kritisch gebrek aan rigoureuze benchmarks. Dit leidt tot drie hoofdproblemen:

1. Gebrek aan geschikte datasets: Er ontbreekt een LLM-klaar dataset dat het volledige spectrum van SIA-taken dekt, inclusief zowel diepe analyse als alert-triage.
2. Gebrek aan best practices: Er zijn geen gestandaardiseerde methoden om te evalueren wat LLMs kunnen in dynamische, multi-stap SIA-scenario's (in tegenstelling tot CTF-wedstrijden die vaak één doel hebben).
3. Snel evoluerende landschap: De snelle release van nieuwe LLM-modellen maakt het moeilijk om hun effectiviteit en beperkingen systematisch te volgen zonder een flexibel evaluatiekader.

Zonder deze evaluatie bestaat het risico dat LLMs worden geïmplementeerd die de beveiliging verslechteren in plaats van verbeteren door fouten of hallucinaties.

2. Methodologie: SIABENCH

De auteurs introduceren SIABENCH, een agentic evaluatiekader dat bestaat uit drie pijlers: een dataset, een autonoom agent-systeem en een evaluatieprotocol.

A. Het SIABENCH Dataset

Het dataset is uniek omdat het specifiek is ontworpen voor SIA en bestaat uit twee delen:

1. Security Incident Analysis (SIA) Taken (Deel I):

   • Omvang: 25 incident-scenario's met 229 onderzoeksvragen.
   • Domeinen: Netwerkforensiek, geheugenforensiek, malware-analyse (binair, code, PDF), phishing-analyse en log-analyse.
   • Ontwerp: De scenario's zijn afgeleid van trainingplatforms (zoals CyberDefenders) maar ondergaan een strenge pre-processing om data-contaminatie (door LLM-training) te voorkomen. Dit omvat:
     • Parafrafering: Herformulering van scenario-beschrijvingen.
     • Neutralisatie van identifiers: Verwijdering van specifieke namen (bedrijven, gebruikers) en bestandsnamen.
     • De-biasing: Omvorming van gesloten vragen naar open onderzoeksvragen (bijv. van "Wat is het IP?" naar "Is er bewijs van scanning? Zo ja, wat is het IP?").
   • Validatie: Het dataset is gevalideerd door 14 cybersecurity-experts om de realiteitsgetrouwheid en de juistheid van de toegewezen MITRE ATT&CK-tactieken te garanderen.

2. Alert Triage Taken (Deel II):

   • Omvang: 135 alert-scenario's (50 True Positives en 80 False Positives).
   • Doel: Evaluatie van de capaciteit om echte bedreigingen te onderscheiden van valse alarms (bijv. op basis van Snort/Suricata alerts en PCAP-bestanden).

B. De SIABENCH Agent

Om de LLMs te evalueren, hebben de auteurs een autonoom agent ontwikkeld dat SIA-taken uitvoert. De agent werkt in een multi-state workflow (Init, Incident Analysis, Solved) en gebruikt het ReAct-framework (Reason + Act).

• Dynamische Interactie: De agent kan commando's uitvoeren in een geïsoleerde omgeving (Kali Linux) met tools zoals tshark, Volatility, Oledump en PDFiD.
• Samenvatting (Summarization): Om contextlimieten te overwinnen en irrelevante informatie uit lange logs te filteren, gebruikt de agent een module die "Key Security Insights" (KSI) extrahert uit analyse-rapporten.
• Meerdere Doelen: De agent lost vragen sequentieel op, waarbij de uitkomst van de ene vraag de volgende stap beïnvloedt, wat de realistische werking van een SOC-analist nabootst.

C. Evaluatie

De auteurs hebben 11 grote LLMs geëvalueerd (4 open-weight modellen zoals Llama 3.1 en DeepSeek, en 7 gesloten-weight modellen zoals GPT-4o/5, Claude 3.5/4.5, en Gemini). De evaluatie meet:

• Fully Solved (FS): Percentage scenario's waarbij alle vragen correct zijn beantwoord.
• Partially Solved (PS): Gemiddeld percentage correcte antwoorden per scenario.
• Foutanalyse: Identificatie van faalmodi zoals "infinite loops", "hallucinaties", "shallow investigation" en "question dependency".

3. Belangrijkste Resultaten

Algemene Prestaties

• Leiders: De nieuwste modellen Claude-4.5-Sonnet en GPT-5 presteren het beste, maar zelfs deze modellen lossen slechts 8 van de 25 scenario's volledig op (Fully Solved).
• Prestatie per Domein:
  • Netwerkforensiek: Goede prestaties bij eenvoudige taken (zoals scan-detectie), maar sterke daling bij complexe pakketinspectie.
  • Geheugenforensiek: Dit is het meest uitdagende domein; prestaties dalen drastisch bij moeilijke taken.
  • Malware-analyse: Redelijke prestaties bij statische analyse, maar moeite met geobfuscueerde code en diepe reverse engineering.
• Tactiek-niveau: LLMs presteren goed bij Reconnaissance (bijv. port scans detecteren) en Exfiltratie, maar worstelen met Defense Evasion (obfuscatie) en complexe Execution-analyses.

Foutanalyse

De belangrijkste oorzaken van falen zijn:

1. Infinite Loops: Vooral bij kleinere modellen (Llama 3.1-8B) die vastlopen in herhalingen van commando's.
2. Shallow Investigation: Modellen vertrouwen op oppervlakkige sleutelwoorden in plaats van diepe analyse.
3. Question Dependency: Als de eerste vraag fout wordt beantwoord, faalt de rest van de keten.
4. Hallucinaties: Het fabriceren van antwoorden zonder bewijs.

Alert Triage

Voor het onderscheiden van True vs. False Positives presteren de top-modellen uitstekend:

• GPT-5: Bereikt 98% nauwkeurigheid (100% FP-detectie, 96% TP-detectie).
• Claude-4.5-Sonnet: Bereikt 96% nauwkeurigheid.
• Dit suggereert dat LLMs zeer geschikt zijn voor het filteren van valse alarms, wat een directe meerwaarde biedt voor SOC-efficiëntie.

Ablatie-studie

De studie toont aan dat de multi-state workflow en de samenvattingsmodule cruciaal zijn. Zonder samenvatting lopen modellen vast in contextlimieten (Context Limitation Errors), wat de prestaties aanzienlijk verlaagt. Ook blijkt dat het ReAct-framework (reden voor actie) essentieel is voor oudere modellen, terwijl nieuwere modellen (zoals GPT-5) dit vermogen inherent bezitten.

4. Belangrijkste Bijdragen

1. Eerste Benchmark Dataset voor SIA: Een uniek dataset met 25 diepe analyse-scenario's en 135 alert-triage-scenario's, specifiek ontworpen om data-contaminatie te minimaliseren en realistische SOC-omstandigheden te simuleren.
2. Autonome SIA-Agent: Een framework dat LLMs toestaat om zelfstandig tools aan te roepen, logs te analyseren en multi-stap onderzoeken uit te voeren, met extensie voor nieuwe modellen.
3. Uitgebreide Evaluatie: De eerste systematische vergelijking van 11 major LLMs op security incident analysis, inclusief validatie op "live" taken die na de trainingscutoff-datum zijn gepubliceerd.
4. Inzicht in Beperkingen: Gedetailleerde analyse van waarom LLMs falen (bijv. infinite loops, hallucinaties) en hoe agent-architectuur (zoals samenvatting en planning) deze problemen kan mitigeren.

5. Significantie

De paper is van groot belang voor de cybersecurity-gemeenschap omdat het een objectief, reproduceerbaar kader biedt om te bepalen of en wanneer LLMs veilig in SOC's kunnen worden ingezet.

• Besluitvorming: Het helpt organisaties om gefundeerde beslissingen te nemen over modelselectie (bijv. het kiezen van GPT-5 of Claude-4.5 voor triage, maar voorzichtigheid bij complexe forensiek).
• Veiligheid: Het benadrukt dat "hand over de wheel" (volledige automatisering) nog niet veilig is voor complexe incidenten, maar dat LLMs wel effectief kunnen fungeren als assistenten voor junior analisten en voor alert-triage.
• Toekomstgericht: SIABENCH is ontworpen om uitbreidbaar te zijn, waardoor het een continue leaderboard kan worden om de voortgang van LLMs in de tijd te volgen.

Kortom, de auteurs concluderen dat hoewel LLMs aanzienlijke vooruitgang boeken, er nog ruimte is voor verbetering in redeneervermogen en betrouwbaarheid voordat ze volledig autonoom opereren in kritieke beveiligingsomgevingen.