🤖 AI

Benchmarking LLM-Assisted Blue Teaming via Standardized Threat Hunting

Dit artikel introduceert CyberTeam, een benchmarkkader dat blauwe team-bedreigingsjacht standaardiseert tot een gestructureerde, modulaire workflow van 30 taken en 9 operationele modules om LLM's te sturen, en toont aan dat deze aanpak de prestaties bij bedreigingsanalyse significant verbetert ten opzichte van open-eindige redeneerstrategieën.

Oorspronkelijke auteurs: Yuqiao Meng, Luoxi Tang, Feiyang Yu, Xi Li, Guanhua Yan, Ping Yang, Zhaohan Xi

Gepubliceerd 2026-05-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuqiao Meng, Luoxi Tang, Feiyang Yu, Xi Li, Guanhua Yan, Ping Yang, Zhaohan Xi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een complex misdrijf op te lossen. Je hebt een briljante nieuwe assistent: een kunstmatige intelligentie (KI) die miljoenen boeken kan lezen en bijna elke taal begrijpt. Als je deze KI echter simpelweg vertelt: "Zoek uit wie dit misdrijf heeft gepleegd en stop hen", kan het verward raken. Het kan de verkeerde dader verdenken, nepbewijs verzinnen of een oplossing voorstellen die niet echt werkt.

Dit artikel introduceert een nieuw hulpmiddel genaamd CYBERTEAM om deze KI-detectives hun werk beter te laten doen. Hieronder wordt uitgelegd hoe het werkt, in eenvoudige bewoordingen:

1. Het Probleem: De "Open-ended" Valstrik

In het verleden vroegen onderzoekers KI-modellen om cybersecurityproblemen op te lossen door ze simpelweg een prompt te geven zoals: "Analyseer dit logbestand." Dit is alsof je een detective een rommelige stapel papieren geeft en zegt: "Los dit op."

Het Probleem: De KI kan hallucineren (dingen verzinnen), belangrijke stappen overslaan of de volgorde verkeerd doen. Bijvoorbeeld, het kan suggereren een computer te patchen voordat het zelfs maar heeft uitgezocht welk virus erop zit.
De Realiteit: Echte cybersecurity is geen enkele vraag; het is een keten van gebeurtenissen. Je moet de slechterik vinden, begrijpen hoe hij zich verplaatst, beslissen hoe gevaarlijk hij is, en daarna hem stoppen.

2. De Oplossing: Een "Gestandaardiseerde Werkflow"

De auteurs hebben CYBERTEAM gebouwd, dat fungeert als een strenge, stap-voor-stap recept voor de KI. In plaats van de KI vrij rond te laten dwalen, dwingen ze het om een specifiek pad te volgen.

Stel je het voor als een fabrieksassemblagelijn:

Stap 1 (De Transportband): De KI krijgt een specifieke taak, zoals "Vind de namen van de hackers." Het kan pas naar de volgende stap gaan als het deze heeft afgerond.
Stap 2 (De Gespecialiseerde Gereedschappen): De KI "denkt" niet zomaar over alles tegelijk. Het gebruikt specifieke "gereedschappen" (genaamd Operationele Modules) voor elke taak:
- NER (De Naamzoeker): Een gereedschap dat alleen zoekt naar namen, data en IP-adressen.
- REX (De Patroonscanner): Een gereedschap dat alleen zoekt naar specifieke codes zoals e-mailadressen of bestands-hashes.
- RAG (De Bibliothecaris): Een gereedschap dat naar een bibliotheek met real-world veiligheidsdata gaat om de nieuwste informatie te vinden voordat het antwoordt.
- SUM (De Samenvatter): Een gereedschap dat lange, saaie rapporten samenvat tot korte, duidelijke opsommingstekens.

Door deze gereedschappen aan elkaar te koppelen, wordt de KI gedwongen georganiseerd te zijn. Het kan de "Naamzoeker" niet overslaan om direct naar de "Oplossing" te springen.

3. De Test: Op de Proef Gesteld

De onderzoekers testten deze nieuwe "assemblagelijn" tegen de oude "vrijdenkende" methode met een enorme bibliotheek van real-world cyberbedreigingen (meer dan 450.000 voorbeelden van bronnen zoals MITRE en NIST).

Ze vroegen de KI om 30 verschillende taken uit te voeren, zoals:

Identificeren wie de aanvaler is.
Uitzoeken hoe hij het systeem binnenkwam.
Bepalen hoe urgent de bedreiging is.
Een plan schrijven om de aanval te stoppen.

4. De Resultaten: Structuur Wint

De resultaten waren duidelijk: De gestructureerde, stap-voor-stap aanpak (CYBERTEAM) was veel beter dan de vrijblijvende aanpak.

Minder Fouten: De KI maakte veel minder "hallucinaties" (verzonnen feiten) wanneer het de specifieke gereedschappen in de juiste volgorde moest gebruiken.
Betere Nauwkeurigheid: Het was veel beter in het vinden van de juiste "playbooks" (plannen om aanvallen te stoppen) en het voorstellen van de juiste software-patches.
Het "Waarom": Het artikel vond dat wanneer de KI werd toegestaan om gewoon vrij te "denken" (met methoden zoals Chain-of-Thought), het vaak verdwaalde of kritieke details miste. Maar wanneer het gedwongen werd de assemblagelijn te volgen, presteerde het als een doorgewinterde professional.

5. De Haken: Ruis Maakt Uit

Het artikel testte ook wat er gebeurt als de KI "ruis" of rommelige data krijgt (zoals een rapport met typefouten of verwarrende formulering).

Goed Nieuws: De KI kon kleine typefouten (zoals een ontbrekende letter) prima aan.
Slecht Nieuws: Als de betekenis van de tekst was verdraaid of verwarrend (semantische ruis), had de KI moeite, zelfs met de nieuwe gereedschappen. Dit suggereert dat hoewel de gereedschappen helpen, de kwaliteit van de door mensen geschreven rapporten nog steeds erg belangrijk blijft.

Samenvatting

Kortom, dit artikel betoogt dat we, om KI nuttig te maken voor het stoppen van cyberaanvallen, het niet zomaar zijn weg door het probleem moeten laten "chatten". In plaats daarvan moeten we een gestructureerde, modulaire werkflow bouwen die de KI dwingt zich te gedragen als een gedisciplineerde detective: eerst feiten verzamelen, deze dan analyseren, en uiteindelijk een oplossing voorstellen. CYBERTEAM is de blauwdruk voor het bouwen van die gedisciplineerde werkflow.

Technische Samenvatting: Benchmarken van LLM-ondersteunde Blue Teaming via Gestandaardiseerde Bedreigingsjacht

Probleemstelling

Naarmate cyberbedreigingen in omvang en complexiteit toenemen, staan blauwe team-verdedigers onder grote druk om risico's proactief te detecteren en te mitigeren. Hoewel Large Language Models (LLM's) potentie hebben aangetoond in geïsoleerde cybersecurity-taken—zoals malware-classificatie, penetratietesten en fuzzing—blijft hun effectiviteit in bedreigingsjacht in de echte wereld onvoldoende onderzocht. Huidig onderzoek richt zich vaak op analyses van één enkel punt, waardoor het de inherente meerfasige, gekoppelde aard van bedreigingsjacht niet adresseert. Praktische bedreigingsjacht vereist een reeks afhankelijke taken (van toeschrijving van bedreigingen tot incidentrespons), waarbij de output van één fase de context vormt voor de volgende. Bestaande LLM-toepassingen missen vaak de gestructureerde workflows die nodig zijn om deze onderlinge afhankelijkheden te hanteren, wat leidt tot problemen met betrouwbaarheid, hallucinaties en een gebrek aan actievere, gestandaardiseerde outputs in complexe defensieve scenario's.

Methodologie: CYBERTEAM

Om deze lacunes aan te vullen, introduceren de auteurs CYBERTEAM, een benchmark die is ontworpen om LLM's in blauwe team-bedreigingsjacht rigoureus te evalueren en te sturen. De methodologie is gebaseerd op drie pijlers:

1. Gestandaardiseerde Workflow en Taakafhankelijkheid

CYBERTEAM modelleert bedreigingsjacht als een Afhankelijkheidsketen, die de realistische voortgang van onderzoek tot mitigatie weerspiegelt. De benchmark systematiseert 30 analytische taken in vier categorieën:

Toeschrijving van Bedreigingen: Oorsprong blootleggen (bijv. identificatie van actoren, extractie van infrastructuur, correlatie van campagnes).
Gedragsanalyse: Begrip van interacties van tegenstanders (bijv. bestandsysteemactiviteit, netwerkanalyse, extractie van TTP's).
Prioritering: Beoordeling van urgentie en risico (bijv. classificatie van aanvalsvectoren, scoring van ernst).
Respons en Mitigatie: Genereren van actievere verdedigingsstrategieën (bijv. aanbeveling van playbooks, generatie van patchcode).

In tegenstelling tot open-ended redenering, dwingt CYBERTEAM een gestructureerde pijplijn af waarbij downstream-taken vertrouwen op de gevalideerde outputs van upstream-stappen.

2. Operationele Modules

Om standaardisatie in evenwicht te brengen met de flexibiliteit die voor diverse scenario's vereist is, integreert CYBERTEAM 9 operationele modules die de redenering van LLM's sturen. Deze modules zetten ongestructureerde bedreigingslogs om in discrete, uitvoerbare stappen:

Extractie en Parsing: Named Entity Recognition (NER), Regex Parsing (REX), Text Span Localization (SPA).
Redenering en Synthese: Samenvatting (SUM), Tekstmapping (MAP), Classificatie (CLS), Wiskundige Berekening (MATH).
Kennisintegratie: Retrieval-Augmented Generation (RAG) voor toegang tot externe bedreigingsinlichtingen (bijv. CVE's, MITRE ATT&CK).
Vergelijkbaarheid: Tekstgelijkheidsmatching (SIM).

Elke taak $t_i$ is gekoppeld aan een specifieke reeks van deze modules $f^*_i$ , zodat de LLM specifieke bewerkingen uitvoert (bijv. het gebruik van RAG om adviezen op te halen voordat een mitigatiestrategie wordt samengevat) in plaats van uitsluitend te vertrouwen op interne kennis.

3. Data en Evaluatie

Databronnen: De benchmark aggregeert 452.293 samples uit 23 diverse bronnen, waaronder kwetsbaarheidsdatabases (NVD, MITRE CVE, CWE, CAPEC, D3FEND, Exploit-DB, VulDB) en bedreigingsinlichtingenplatforms (VirusTotal, AlienVault OTX, MISP, Mandiant, Recorded Future, IBM X-Force, enz.).
Evaluatiestrategie: De auteurs evalueren toonaangevende industriële LLM's (bijv. GPT-5.1, Grok-4.1, Llama-3.1-405B) en state-of-the-art cybersecurity-agents tegen CYBERTEAM.
Baselines: De prestaties worden vergeleken met open-ended redeneringsstrategieën, waaronder In-Context Learning (ICL), Chain-of-Thought (CoT) en Tree-of-Thought (ToT).
Metingen: Taakspecifieke metrieken worden toegepast, waaronder F1-score voor extractie, Nauwkeurigheid voor classificatie, BERTScore voor generatie, Hit@k voor ranking, Pass-rate voor codegeneratie en Genormaliseerde Afstand voor numerieke schatting.

Belangrijkste Resultaten

De empirische evaluatie levert enkele kritieke bevindingen op:

Superioriteit van Standaardisatie: De modulaire, gestandaardiseerde aanpak (CYBERTEAM) presteert consistent beter dan open-ended redeneringsstrategieën (ICL, CoT, ToT) over alle 30 taken. Bijvoorbeeld, bij Aanbeveling van Playbooks behaalde de gestandaardiseerde methode met GPT-5.1 een Hit@10-score van 92,7%, vergeleken met 90,5% voor CoT en aanzienlijk lagere scores voor ICL. Vergelijkbare winsten werden waargenomen bij Aanpassing van Beveiligingscontroles en Correlatie van Adviezen.
Omgaan met Complexe Afhankelijkheden: Het prestatieverschil is het meest uitgesproken bij taken die sterke onderlinge afhankelijkheden vereisen (bijv. Reconstructie van Gebeurtenisreeksen), waarbij de gestandaardiseerde workflow de nauwkeurigheid met meer dan 20% verbeterde ten opzichte van CoT. Open-ended methoden falen vaak in het handhaven van de juiste logische volgorde of informatieflow die nodig is voor meerfasige jacht.
Robuustheid tegen Ruis: Hoewel LLM's die door CYBERTEAM worden geleid token-niveau ruis (willekeurige karakters invoegen) relatief goed hanteren, blijven ze kwetsbaar voor semantische ruis (herformuleerde of contextueel verschoven tekst), wat leidt tot aanzienlijke prestatiedegradatie. Dit benadrukt de aanhoudende noodzaak van hoogwaardige, door experts samengestelde bedreigingsrapporten.
Interpreteerbaarheid: De modulaire aanpak verbetert de interpreteerbaarheid. In tegenstelling tot ondoorzichtige redeneerketens in open-ended prompts, kunnen de outputs van CYBERTEAM worden teruggevoerd naar specifieke bewerkingen (bijv. welke RAG-opvraging een specifieke mitigatie heeft geïnformeerd), wat menselijke audit en vertrouwen faciliteert.
Efficiëntie-afwegingen: Hoewel de gestandaardiseerde pijplijn hogere latentie met zich meebrengt dan eenvoudige ICL (vanwege sequentiële module-uitvoering), biedt het een gunstiger balans tussen betrouwbaarheid en computerkosten in vergelijking met de extreme overhead van Tree-of-Thought (ToT).

Betekenis en Claims

Het artikel claimt dat CYBERTEAM de eerste uitgebreide, praktijkgerichte benchmark biedt voor het evalueren van LLM's in blauwe team-bedreigingsjacht. De betekenis hiervan ligt in:

Paradigmaverschuiving: Verplaatsen van geïsoleerde taks-evaluatie naar een holistische, workflow-gedreven beoordeling die realistische defensieve operaties weerspiegelt.
Valideren van Gestructureerde Redenering: Aantonen dat voor cybersecurity-taken met hoge stakes gestructureerde, modulaire redenering superieur is aan open-ended generatie. De auteurs betogen dat strikte naleving van operationele procedures (via modules) hallucinaties reduceert en ervoor zorgt dat outputs aansluiten bij actievere verdedigingsdoelen.
Actievere Inzichten: Het bieden van een raamwerk dat LLM's leidt via gestandaardiseerde maar flexibele redeneringsworkflows, en een blauwdruk biedt voor het integreren van AI in Security Operations Centers (SOC's).

De auteurs concluderen dat hoewel LLM's veelbelovend zijn, hun inzet in bedreigingsjacht de discipline van gestandaardiseerde workflows vereist om betrouwbaarheid, interpreteerbaarheid en effectiviteit in complexe, onderling afhankelijke scenario's te waarborgen. CYBERTEAM dient als een bron voor de onderzoeksgemeenschap om toekomstige innovaties in AI-ondersteunde cybersecurity-defensie te stimuleren.