Design Principles for the Construction of a Benchmark Evaluating Security Operation Capabilities of Multi-agent AI Systems

Titel: Ontwerpprincipes voor de constructie van een benchmark ter evaluatie van beveiligingsoperationele capaciteiten van multi-agent AI-systemen (SOC-bench)

Auteurs: Yicheng Cai et al. (Cyber Security Laboratory, Pennsylvania State University)

---

1. Het Probleem

Met de opkomst van Large Language Models (LLMs) en multi-agent AI-systemen, groeit de interesse in het automatiseren van Security Operation Centers (SOC's). Hoewel er reeds benchmarks bestaan om de red team-capaciteiten (aanval, penetratietesten) van AI-systemen te evalueren (zoals Cybench en CyberGym), ontbreekt er een systematische benchmark voor blue team-operaties (verdediging, incident response).

De huidige blauwe team-benchmarks zijn beperkt tot specifieke, geïsoleerde taken (bijvoorbeeld het extraheren van indicatoren uit dreigingsrapporten). Echter, real-world SOC-operaties worden gedomineerd door complexe, gecoördineerde incident-responsprocessen die meerdere afhankelijke taken vereisen. Zonder een benchmark die deze gecoördineerde, multi-taak blue team-capaciteiten evalueert, kunnen organisaties de autonomie en effectiviteit van AI-systemen in een SOC niet objectief meten.

2. Methodologie: SOC-bench en Ontwerpprincipes

De auteurs introduceren SOC-bench, een conceptueel ontwerp voor een benchmark specifiek gericht op de evaluatie van gecoördineerde multi-agent AI-systemen in een blue team-context. De kern van de methologie ligt in vijf strikte ontwerpprincipes (Design Principles - DP) die het benchmark-ontwerp leiden:

1. DP1 (Realiteit als Gouden Standaard): De benchmark gebruikt een bestaand, reëel incident-responsysteem ("as-is") als gouden standaard, niet een theoretisch toekomstig systeem. De AI heeft geen extra kennis over de aanvaller; het werkt uitsluitend op basis van wat het SOC observeert.
2. DP2 (Geen Kruis-Taak Hints): AI-systemen moeten de onderlinge afhankelijkheden tussen blauwe team-taken zelfstandig ontdekken. De benchmark levert geen hints over data-afhankelijkheden of coördinatiestrategieën tussen taken.
3. DP3 (Uitkomst-georiënteerd, niet Proces-georiënteerd): AI-systemen hoeven menselijke oplossingsprocedures niet na te bootsen. De evaluatie is puur gebaseerd op de kwaliteit van de uitkomsten (outcomes), niet op de manier waarop de AI daar komt.
4. DP4 (Imperfectie): De benchmark erkent dat real-world systemen (zoals SIEM en IDS) imperfect zijn, met vals-positieven, vals-negatieven en latentie.
5. DP5 (Toekomstbestendig): Het ontwerp is niet specifiek voor huidige AI-technologieën (zoals RAG of MoE), maar is robuust genoeg voor toekomstige evoluties in agentic AI.

Scenario en Scope:
De benchmark is gebaseerd op een grote ransomware-aanval (geïnspireerd op het Colonial Pipeline-incident) en omvat een netwerktopologie die de echte bedrijfstopologie nabootst. Het is beperkt tot incident-respons en sluit red team-operaties uit.

3. Kernbijdragen: De Vijf Blue Team-taken

SOC-bench bestaat uit een familie van vijf onderling afhankelijke taken die de volledige levenscyclus van een ransomware-incident bestrijken. Elke taak heeft specifieke input-data (telemetrie, logs, alerts) en vereist specifieke uitkomsten.

1. Task Fox (Vroege detectie van cyberaanval-campagnes):

   • Doel: Bepalen of waargenomen activiteit een gecoördineerde aanval is en of deze ransomware-achtig is.
   • Uitkomsten: Classificatie van de schaal (lokaal vs. campagne), type-inferentie en een samenvattend alert-bundel met bewijs.
   • Data: Host-logs, netwerkverkeer, SIEM-alerts en helpdesk-tickets.

2. Task Goat (Bestandsysteem forensiek):

   • Doel: Analyse van bestandsversleuteling en impact tijdens een ransomware-incident.
   • Uitkomsten: Labels voor versleutelde bestanden/directories, impact per host/share, detectie van VSS (Volume Shadow Copy) manipulatie, attributie van het encryptie-proces en een samenvatting.
   • Data: Bestandsmetadata, EDR/XDR logs, backup/VSS logs.

3. Task Mouse (Data-exfiltratie analyse):

   • Doel: Bepalen of data-exfiltratie heeft plaatsgevonden en kwantificeren daarvan.
   • Uitkomsten: Bevestiging van exfiltratie, starttijd, volume, betrokken hosts en gebruikte protocollen.
   • Data: PCAP-bestanden, firewall-logs, Windows/Linux logs.

4. Task Tiger (Attributie en TTP-analyse):

   • Doel: Analyse van Indicators of Compromise (IoCs) om de aanval toe te schrijven en TTPs (Tactics, Techniques, and Procedures) te rapporteren.
   • Uitkomsten: Identificatie van relevante data-bronnen, een Threat Graph (grafische weergave van de aanvalspaden) en een executive summary met de initiële toegangspunt.
   • Data: CTI-feeds, OS-logs, firewall-logs, SIEM/XDR alerts, malware samples.

5. Task Panda (Aanbevelen van containment-acties):

   • Doel: Het genereren van tijdige en accurate acties om de aanval te beteugelen.
   • Uitkomsten: Een BLUF-rapport (Bottom Line Up Front) met voorgestelde acties (bijv. isolatie, blokkering), doelen en onderbouwing op basis van trade-offs tussen beveiliging en beschikbaarheid.
   • Data: Geïntegreerde data uit eerdere taken, netwerktopologie, CTI.

4. Resultaten en Evaluatiemethodiek

Het paper presenteert voornamelijk het conceptuele ontwerp en de evaluatiemethodologie in plaats van empirische resultaten van een specifieke AI-agent. De evaluatie gebeurt via een "scoreboard" per taak:

• Ring-model (Ring-based scoring): Uitkomsten worden beoordeeld op een schaal van "Bullseye" (perfecte conclusie met bewijs) tot "Miss" (incorrect).
• Stapsgewijze evaluatie: Taken zoals Fox en Panda worden per tijdsvenster (bijv. elke 30 minuten) beoordeeld om de tijdsefficiëntie en sequentiële redeneerkracht te meten.
• Strikte bewijsvereiste: Alle claims moeten gekoppeld zijn aan specifieke evidence_id's uit de dataset.
• Strafpunten: Er zijn straffen voor het gebruik van irrelevante data-bronnen, het citeren van later beschikbare bewijzen voor eerdere beslissingen (data leakage), en het overleveren van spam-claims.

De auteurs tonen aan dat dit ontwerp in staat is om de complexiteit van real-world SOC-operaties te modelleren, inclusief de onzekerheid en imperfectie van data.

5. Betekenis en Impact

De bijdrage van dit werk is fundamenteel voor de toekomst van AI in cybersecurity:

• Invulling van een gat: Het vult het ontbrekende stuk in de benchmark-landschap door zich te richten op blue team coördinatie in plaats van alleen red team of geïsoleerde taken.
• Realistische evaluatie: Door DP1 en DP4 te hanteren, zorgt SOC-bench ervoor dat AI-systemen worden getest onder omstandigheden die lijken op echte incident-respons (onvolledige data, vals-positieven), in plaats van in een gezuiverde labomgeving.
• Stimulans voor Autonomie: Het benchmark-ontwerp dwingt multi-agent systemen om zelfstandig de afhankelijkheden tussen taken te ontdekken (DP2), wat essentieel is voor het bereiken van echt autonome SOC's waar mensen slechts als supervisors fungeren.
• Toekomstbestendigheid: Door niet afhankelijk te zijn van specifieke huidige AI-architecturen, blijft de benchmark relevant naarmate de technologie evolueert.

Kortom, SOC-bench biedt de noodzakelijke infrastructuur en principes om te bepalen of multi-agent AI-systemen daadwerkelijk klaar zijn om de zware last van complexe cyberincident-respons te dragen.