💬 NLP

ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation

Dit artikel introduceert ExCyTIn-Bench, de eerste benchmark die is ontworpen om LLM-agenten te evalueren op cyberdreigingsonderzoek door 7.542 vragen te genereren op basis van Microsoft Sentinel-logbestanden en onderzoeksgrafieken, waarbij wordt aangetoond dat de huidige topmodellen slechts een beloningscore van 0,606 bereiken en dat er aanzienlijke ruimte is voor toekomstige verbetering.

Oorspronkelijke auteurs: Yiran Wu, Mauricio Velazco, Andrew Zhao, Manuel Raúl Meléndez Luján, Srisuma Movva, Yogesh K Roy, Quang Nguyen, Roberto Rodriguez, Qingyun Wu, Michael Albada, Julia Kiseleva, Anand Mudgerikar

Gepubliceerd 2026-05-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yiran Wu, Mauricio Velazco, Andrew Zhao, Manuel Raúl Meléndez Luján, Srisuma Movva, Yogesh K Roy, Quang Nguyen, Roberto Rodriguez, Qingyun Wu, Michael Albada, Julia Kiseleva, Anand Mudgerikar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Een Nieuwe "Rijexamen" voor AI-Detectives

Stel je voor dat je een vloot van zeer slimme, nieuwe AI-robots hebt. Je wilt weten of ze goed genoeg zijn om cybersecurity-detectives te worden. Kunnen ze een berg rommelige data bekijken, de slechteriken vinden en precies uitzoeken wat er tijdens een hack is gebeurd?

De auteurs van dit paper zeggen: "We kunnen ze niet zomaar trivia-vragen stellen zoals 'Wat is een virus?', want dat test alleen hun geheugen. We moeten zien of ze het werk daadwerkelijk kunnen doen."

Dus bouwden ze ExCyTIn-Bench. Denk hierbij aan een hoog-risico rijexamen voor AI-agenten. In plaats van een auto bestuurt de AI door een digitale misdaadplek. In plaats van een testcircuit is het een gesimuleerd computernetwerk van een bedrijf, gevuld met nep (maar realistische) beveiligingslogs.

Hoe Ze De Test Bouwden (De "Misdaadplek")

Om de test eerlijk en realistisch te maken, verzonnen de onderzoekers niet zomaar willekeurige vragen. Ze bouwden de test in drie stappen:

De Misdaadplek (De Data): Ze richtten een nep-Microsoft Azure-bedrijf op genaamd "Alpine Ski House". Ze simuleerden 8 verschillende cyberaanvallen die in het echt hebben plaatsgevonden (zoals ransomware of e-mailoplichting). Ze verzamelden 57 verschillende tabellen met logs (zoals politierapporten, telefoonregistraties en beveiligingscamera-beelden) met duizenden vermeldingen.
De Kaart (De Grafiek): Wanneer een menselijke detective onderzoek doet, kijkt hij niet naar alles tegelijk. Hij volgt een spoor: Waarschuwing A leidt naar Gebruiker B, wat leidt naar Verdacht Bestand C. De onderzoekers zetten deze sporen om in een kaart (een grafiek).
- De Knopen: De kaart heeft stippen die "Waarschuwingen" (de politiesirenes) en "Entiteiten" (de mensen of computers die betrokken zijn) voorstellen.
- De Randen: De lijnen die ze verbinden, tonen hoe ze met elkaar samenhangen.
De Vragen (Het Examen): In plaats van dat een mens vragen schrijft, gebruikten ze een AI om naar deze kaart te kijken en 7.542 vragen te genereren.
- Voorbeeld: "We zagen een verdachte login vanaf IP-adres X. Op basis van de kaart, welk bestand gebruikte de hacker om wachtwoorden te stelen?"
- De AI-agent moet het antwoord vinden door langs de lijnen van de kaart te "rijden", de database te bevragen en de stippen met elkaar te verbinden.

Hoe De AI Het Examen Doet

De AI-agent wordt geplaatst in een MySQL-database-omgeving (een gigantisch archiefkabinet). Het kent de indeling van het kabinet niet. Het moet:

Om de kaart vragen: "Welke tabellen heb je?"
De aanwijzingen lezen: "Laat me de logs voor dit IP-adres zien."
De stippen verbinden: "Oké, dat IP-adres is gekoppeld aan deze gebruiker. Laat me controleren wat die gebruiker heeft gedaan."
Het antwoord indienen: "De hacker gebruikte het bestand ntdsutil.exe."

Als de AI het antwoord goed heeft, krijgt hij een punt. Als hij vastloopt of de verkeerde vragen stelt, krijgt hij een lagere score. De test geeft zelfs deels punten als de AI enkele aanwijzingen vindt maar niet het uiteindelijke antwoord, net als een leraar die punten geeft voor het tonen van je werk.

Wat Ze Vonden (De Resultaten)

De onderzoekers testten veel verschillende AI-modellen (van grote bedrijven zoals OpenAI, Google en Anthropic, evenals open-source modellen) op deze test.

Het is Moeilijk: Zelfs de slimste AI-modellen hadden moeite. Het beste model (Claude-Opus-4.5) haalde slechts een score van 0,606 (op 1,0). Dit betekent dat er nog veel ruimte is voor verbetering.
Het "Aha!"-moment: De AI-modellen die het beste presteerden, waren degene die stap-voor-stap konden redeneren. Ze gokten niet zomaar; ze verkennden de database, realiseerden zich dat hun eerste gok verkeerd was en probeerden een nieuw pad, net als een menselijke detective.
Open Source vs. Grote Tech: Verrassend genoeg presteerden sommige kleinere, open-source modellen bijna even goed als de enorme, dure modellen, wat aantoont dat de kloof kleiner wordt.

Waarom Dit Belangrijk Is

Het paper beweert dat dit de eerste benchmark van deze soort is. Voorheen testten we AI voornamelijk op hoe goed het cybersecurity-feiten uit het hoofd kon leren. Nu hebben we een manier om te testen of AI een misdaad daadwerkelijk kan onderzoeken door bewijsmateriaal te sorteren en een complexe keten van gebeurtenissen te doorgronden.

Kortom: De auteurs bouwden een realistische "misdaadplek" en een set "detective-puzzels" om te zien of AI-agenten kunnen leren cybersecurity-onderzoekers te worden. De resultaten tonen aan dat AI weliswaar beter wordt, maar nog een lange weg te gaan heeft voordat het menselijke beveiligingsanalisten kan vervangen.

1. Probleemstelling

Cyber threat investigation is een complex, meerstapsproces waarbij beveiligingsanalisten heterogene beveiligingslogs moeten filteren, gebeurtenissen over meerdere gegevensbronnen moeten correleren en door middel van multi-hop bewijsketens moeten redeneren om bedreigingen te identificeren. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken in complexe redeneertaken, ontbreekt het aan gestandaardiseerde benchmarks om LLM-agents specifiek te evalueren op cyber threat investigation. Bestaande benchmarks (bijv. CTIBench, SECURE) richten zich voornamelijk op kennisopslag, tekstextractie of meerkeuzevragen, en testen niet het vermogen van een agent om te interageren met een database, schema's te ontdekken en sequentiële redenering uit te voeren om echte beveiligingsincidenten op te lossen.

2. Methodologie

De auteurs stellen ExCyTIn-Bench voor, een uitgebreide benchmark ontworpen om realistische scenario's voor dreigingsonderzoek te simuleren. De methodologie omvat drie kerncomponenten:

A. Dataverzameling & Omgevingsconstructie

Bron: Gegevens zijn verzameld uit een fictieve Microsoft Azure-tenant ("Alpine Ski House") die is geconfigureerd met realistische beveiligingsmonitors.
Schaal: De omgeving bevat 57 distincte logtabellen (bijv. SigninLogs, EmailEvents, SecurityAlert, SecurityIncident) met meer dan 14 miljoen rijen in de volledige 44-daagse logstream.
Incidenten: De dataset behandelt 8 distincte, meerstaps aanvalsketens gebaseerd op historische aanval uit de echte wereld (bijv. Manatee Tempest Ransomware, BEC/Account Takeover). Elk incident beslaat 2 uur tot 5 dagen en omvat diverse MITRE ATT&CK-technieken.
Interface: De benchmark biedt een MySQL Docker-omgeving waarin agents interageren via SQL-query's. Agents moeten het schema (tabellen en kolommen) ontdekken door exploratie, aangezien het volledige schema niet in de prompt wordt verstrekt.

B. Vraaggeneratie via Bipartiete Grafieken

Om hoogwaardige, niet-repetitieve en onderbouwde vragen te genereren, hebben de auteurs een principiële grafiekgebaseerde generatiepijplijn ontwikkeld:

Grafiekconstructie: Voor elk incident wordt een bipartiete grafiek $G=(U, V, E)$ geconstrueerd waarbij $U$ Alert-vertices vertegenwoordigt en $V$ Entiteit-vertices (bijv. gebruikers, IP's, hosts). Randen verbinden alerts met de entiteiten die ze betreffen.
Padselectie: Het systeem selecteert twee distincte alerts ( $u_s$ en $u_e$ ) als start- en eindpunt. Het identificeert de entiteiten die verbonden zijn met deze alerts om een pad te vormen.
QA-Generatie: Een LLM wordt geprompted om een vraag te genereren met behulp van de startalert en de bijbehorende verbonden entiteiten als context, en de entiteit van de eindalert als antwoord.
Oplossingspad: Het kortste pad tussen de start- en eindknooppunten in de grafiek dient als het ground-truth oplossingspad, wat een fijnmazige evaluatie van tussenstappen mogelijk maakt.

Output: Dit proces genereerde 7.542 vragen, waarvan 589 zijn geselecteerd voor de testset om diversiteit te waarborgen en overlap van paden tussen trainings- en testsets te voorkomen.

C. Evaluatiekader

Beloningssysteem: De benchmark maakt gebruik van een gedecayde beloningsmechanisme (geïnspireerd door Reinforcement Learning).
- Volledige Beloning (1.0): Toegekend voor het juiste eindantwoord.
- Gedeeltelijke Beloning: Als het eindantwoord onjuist is, controleert het systeem of de agent tussenliggende knooppunten (IoC's) langs het oplossingspad heeft gevonden. Beloningen worden toegewezen op basis van de gemaakte vooruitgang, met een decay-factor ( $\gamma=0.4$ ) toegepast op stappen die verder van het eindantwoord verwijderd zijn.
Beoordeling: Evaluatie wordt uitgevoerd met een LLM-as-a-judge (GPT-4o) om variaties in antwoordformatering te hanteren en te verifiëren of de redenering van de agent overeenkomt met de ground truth, in plaats van uitsluitend te vertrouwen op strikte stringmatching.

3. Belangrijkste Bijdragen

Eerste Benchmark voor Dreigingsonderzoek: ExCyTIn-Bench is de eerste benchmark die specifiek is ontworpen om LLM-agents te evalueren op de end-to-end taak van cybersecurity-dreigingsonderzoek met behulp van loggegevens uit de echte wereld.
Nieuwe QA-Generatiestrategie: Het paper introduceert een methode om deterministische, niet-repetitieve vragen te genereren vanuit bipartiete alert-entiteitsgrafieken, waardoor wordt gegarandeerd dat vragen zijn onderbouwd door expliciete datapaden en verifieerbare oplossingstrajecten hebben.
Fijnmazige Procesevaluatie: In tegenstelling tot binaire pass/fail-metrics, biedt de benchmark stapsgewijze beloningen, waardoor het vermogen van een agent om tussenliggende Indicators of Compromise (IoC's) te extraheren en zijn voortgang in complexe zoekruimtes te evalueren, mogelijk wordt.
Uitgebreide Empirische Analyse: De auteurs bieden een gedetailleerde analyse van modelprestaties, gedrag (schemaontdekking, querysucces) en efficiëntie (kosten versus beloning) over een breed scala aan modellen.

4. Experimentele Resultaten

De auteurs hebben talloze propriëtaire en open-source modellen (waaronder GPT-4o, Claude-Opus-4.5, Llama-4, Qwen-3 en redeneringsmodellen zoals o1/o3) geëvalueerd met verschillende promptingstrategieën (ReAct, Expel, Best-of-N, Self-Reflection).

Prestatieplafond: De taak is uiterst uitdagend. Het best presterende model, Claude-Opus-4.5, behaalde een maximale gemiddelde beloning van 0,606, wat aanzienlijke ruimte voor verbetering laat.
Modelvergelijking:
- Propriëtaire versus Open Source: Top-propriëtaire modellen (Claude-Opus-4.5, GPT-5.1) presteren beter dan open-source modellen, maar grote open-source modellen (bijv. Llama-4-Maverick-17B) sluiten de kloof snel, met concurrerende beloningen (~0,29).
- Redeneringsmodellen: Modellen met expliciete redeneercapaciteiten (bijv. o1, o3) tonen sterke prestaties, vooral in combinatie met reflectiestrategieën.
Methodologische Impact:
- ReAct + Reflectie: Deze combinatie leverde de hoogste prestatiewinsten op voor de meeste modellen, aanzienlijk beter dan de basisprompt.
- Expel: De Expel-methode (regels distilleren uit trainingsdata) toonde hoge efficiëntie (minder beurten) maar hogere kosten door promptinflatie.
Efficiëntie: Er is een sterke positieve correlatie (Pearson $r=0,86$ ) tussen querysuccespercentages en uiteindelijke beloningen. Kleinere modellen worstelen vaak met schemaontdekking, wat leidt tot meer fouten en lagere beloningen.
Ablatiestudies:
- DB Scope: Het verwijderen van alertlogs (simulatie van zero-day-aanvallen) veroorzaakte een significante daling in prestaties, wat de kritieke rol van detectie-alerts in onderzoek benadrukt.
- Tijdsvenster: Het uitbreiden van het tijdsvenster naar een volledige geschiedenis van 44 dagen introduceerde ruis, wat de prestaties licht verminderde in vergelijking met per-incident slices.

5. Betekenis en Toekomstige Richtingen

Autonome Beveiliging Vooruitbrengen: ExCyTIn-Bench biedt een cruciale testomgeving voor het ontwikkelen van autonome agents die de last op menselijke SOC-analisten kunnen verminderen door multi-step threat hunting te automatiseren.
RL voor Cybersecurity: De fijnmazige beloningsstructuur maakt de benchmark uniek geschikt voor het trainen van agents via Reinforcement Learning (RL), waardoor precieze credit-toewijzing over onderzoeksstappen mogelijk is.
Realistische Evaluatie: Door patronen uit de echte wereld aan te vallen en schemaontdekking te vereisen, gaat de benchmark voorbij aan "kennisopvraging" om echt onderzoekend redeneren en toolgebruik te testen.
Open Source: De auteurs hebben de benchmark, omgeving en code (SecRL) open-source gemaakt, wat reproduceerbaarheid bevordert en onderzoek in door AI gedreven cybersecurityverdediging versnelt.

Concluderend stelt ExCyTIn-Bench een nieuwe standaard voor het evalueren van LLM-agents in cybersecurity, en toont aan dat hoewel huidige modellen veelbelovend zijn, aanzienlijke vooruitgang in redeneren, schema-interpretatie en multi-hop planning vereist is om volledig autonoom dreigingsonderzoek te bereiken.