CyberSleuth: Autonomous Blue-Team LLM Agent for Web Attack Forensics

Dit paper introduceert CyberSleuth, het eerste systematische onderzoek naar autonome AI-agenten die post-mortem cyberforensische analyses automatiseren en met 80% nauwkeurigheid gedetailleerde rapporten genereren door middel van gespecialiseerde multi-agent architectuur.

De kern

CyberSleuth: De Digitale Detective die Altijd Wakkert Houdt

Stel je voor dat een inbreker je huis binnendringt. Hij breekt een raam open, loopt door de gangen en steelt je dure spullen. De volgende ochtend kom je thuis en zie je de rommel. Wat doe je? Je belt de politie, maar de rechercheurs moeten urenlang door je huis lopen, elk raam controleren, de vloer op zijn kop zoeken en proberen te raden hoe de inbreker precies te werk ging. Dat is langzaam, vermoeiend en foutgevoelig.

In de wereld van computers is dit precies wat er gebeurt na een cyberaanval. Experts moeten handmatig door miljoenen digitale sporen (zoals verkeersdata) graven om te zien wat er gebeurd is. Dat is de taak van CyberSleuth, een slimme kunstmatige intelligentie (AI) die dit werk voor hen overneemt.

Hier is hoe het werkt, vertaald naar begrijpelijke taal:

1. Het Probleem: Een Oogst van Chaos

Wanneer hackers een website of server aanvallen, laten ze een spoor van digitale rommel achter. Dit zijn duizenden kleine pakketjes data die door het netwerk reizen. Voor een menselijke expert is het als proberen een heel verhaal te reconstrueren door alleen naar losse letters te kijken die over de vloer liggen. Het kost dagen, is saai en je kunt makkelijk iets over het hoofd zien.

2. De Oplossing: Een Team van Digitale Detectives

De onderzoekers van deze paper hebben CyberSleuth bedacht. Dit is geen enkele robot die alles zelf doet, maar een team van gespecialiseerde AI-agenten die samenwerken, net als een goed georganiseerd politieteam.

Stel je voor dat je een team hebt met drie soorten detectives:

• De Hoofdinspecteur: Hij kijkt naar het grote plaatje en houdt het plan bij.
• De Technicus (De "Tshark"-expert): Deze agent is een meester in het lezen van de technische taal van computers. Hij kan duizenden regels data in een seconde scannen en de belangrijke stukjes eruit halen.
• De Rechercheur: Deze agent gaat het internet op om te kijken of er vergelijkbare misdaden bekend zijn. Hij zoekt in databases met bekende hackers-methoden (zogenaamde CVE's).

3. Hoe Ze Werken: De "Flow Reporter" Strategie

De onderzoekers hebben geprobeerd verschillende manieren om dit team te laten werken. Ze ontdekten dat als je één grote AI probeert te laten doen wat iedereen doet (lezen, zoeken, schrijven), die AI snel de draad kwijtraakt. Het is alsof je één persoon vraagt om tegelijkertijd te koken, te wassen en te strijken; het resultaat is rommelig.

De beste aanpak was CyberSleuth met een simpele volgorde:

1. De Technicus scant eerst het hele netwerkverkeer en maakt een beknopt, duidelijk verslag van wat er verdachts is (bijvoorbeeld: "Er is een raam ingeslagen via poort 80").
2. De Hoofdinspecteur leest dit verslag en vraagt de Rechercheur om te zoeken naar wat voor soort raam dat precies was.
3. De Rechercheur vindt de oplossing: "Ah, dit is een bekende hack genaamd CVE-2024-XXXX!"
4. De Hoofdinspecteur schrijft het eindrapport: "De inbreker heeft gebruikgemaakt van een bekende sleutel, het raam is gebroken, en de diefstal is gelukt."

4. De Resultaten: Slimmer dan Mensen?

De onderzoekers hebben CyberSleuth getest met 30 verschillende scenario's, inclusief zeer recente hacks uit 2025 die nog niet in de boeken van de AI stonden.

• Succes: CyberSleuth kon in 80% van de gevallen precies vertellen welke dienst was aangevallen, welke hack-methoden werden gebruikt en of de hacker erin geslaagd was.
• Rapporten: Menselijke experts (25 stuks) keken naar de rapporten van de AI en vonden ze compleet, logisch en zeer bruikbaar.
• Flexibiliteit: Het mooie is dat dit team niet alleen goed is in het oplossen van website-hacks. Als je ze vraagt om naar het verkeer van een besmette computer (met virussen) te kijken, kunnen ze dat ook. Ze passen zich aan, net als een detective die ook goed is in het oplossen van inbraken én brandstichting.

5. Waarom is dit belangrijk?

Vroeger moesten mensen urenlang in de duisternis zoeken. Met CyberSleuth hebben we een team dat:

• Niet moe wordt: Het kan 24/7 werken.
• Niet vergeetachtig is: Het onthoudt elke stap die het zet.
• Snel is: Het doet in minuten wat mensen uren doen.
• Leren kan: Het wordt steeds beter door te oefenen met nieuwe gevallen.

Kortom: CyberSleuth is als het hebben van een super-snel, super-slim politieteam dat 24 uur per dag wakker blijft, elk spoor volgt en binnen no-time een compleet verslag maakt over hoe een hacker je systeem heeft binnengekregen. Dit stelt menselijke experts vrij om zich te richten op het voorkomen van de volgende aanval, in plaats van het uitzoeken van de vorige.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CyberSleuth: Autonomous Blue-Team LLM Agent for Web Attack Forensics" in het Nederlands.

Titel: CyberSleuth: Autonome Blue-Team LLM-Agent voor Forensisch Onderzoek naar Webaanvallen

Auteurs: Stefano Fumero, Kai Huang, Matteo Boffa, Danilo Giordano, Marco Mellia (Politecnico di Torino) en Dario Rossi (Huawei Technologies France).

---

1. Het Probleem

Post-mortem analyse van gecompromitteerde systemen is een hoeksteen van cyberforensiek, maar blijft vandaag de dag grotendeels een handmatige, tijdrovende en foutgevoelige taak voor beveiligingsexperts. Hoewel Agentic AI (LLM-agenten met redeneercapaciteiten) veelbelovend is voor automatisering, is de toepassing in de cyberbeveiliging, en specifiek voor forensisch onderzoek, nog onvoldoende onderzocht.

Forensisch onderzoek vereist complexe vaardigheden die huidige LLM-agenten vaak missen:

• Langdurig redeneren: Het vermogen om een onderzoek over een lange tijdlijn vol te houden.
• Contextueel geheugen: Het onthouden en correleren van bewijsmateriaal uit verschillende bronnen.
• Consistente correlatie: Het koppelen van ongestructureerde netwerkdata aan specifieke kwetsbaarheden (CVE's).

Bestaande oplossingen zijn vaak beperkt tot het samenvatten van logs of vereisen vooraf verwerkte data, terwijl een echte forensische agent in staat moet zijn om ruwe netwerkdata (PCAP-bestanden) autonoom te analyseren.

2. Methodologie

De auteurs presenteren CyberSleuth, een autonoom LLM-agentensysteem ontworpen voor post-mortem forensisch onderzoek. Het systeem analyseert netwerktraces (PCAP) om de volgende doelen te bereiken:

1. Het geïdentificeerde doelwit (dienst) vaststellen.
2. Het specifieke geëxploiteerde CVE (Common Vulnerabilities and Exposures) koppelen aan het bewijs.
3. Beoordelen of de aanval succesvol was.
4. Een volledig forensisch rapport genereren.

Architectuur en Ontwerpkeuzes:
De auteurs hebben drie verschillende agent-architecturen vergeleken, gebaseerd op een MemGPT-achtig geheugenmanagement (met een vectordatabase voor langetermijngeheugen en een FIFO-wachtrij voor kortetermijngeheugen):

1. Single Agent (SA): Een enkele agent die direct met de pakketlijst werkt en tools (zoals tshark en webzoek) gebruikt. Dit bleek inefficiënt omdat de agent de focus verloor bij complexe traces.
2. Tshark Expert Agent (TEA): Een multi-agent systeem waarbij een hoofdagent instructies geeft aan een gespecialiseerde tshark-subagent. Hoewel dit beter presteerde dan SA, leidde de coördinatie tussen de agenten vaak tot miscommunicatie en onnauwkeurige zoekopdrachten.
3. Flow Reporter Agent (FRA) – De CyberSleuth Architectuur: Dit is de beste oplossing. Het gebruikt een sequentiële multi-agent aanpak:
   • Een gespecialiseerde Flow Summariser sub-agent analyseert eerst systematisch de TCP/UDP-flows in het PCAP-bestand en genereert een gestructureerd rapport met verdachte activiteiten.
   • De Hoofdagent gebruikt dit rapport als context om verdere redenering uit te voeren, webzoekopdrachten te doen om CVE's te verifiëren, en het definitieve rapport te schrijven.
   • Belangrijk: De hoofdagent heeft geen directe toegang tot de ruwe data meer, maar vertrouwt op de samenvatting. Dit voorkomt "context-overload" en houdt de agent gefocust.

Tools:

• Web Search Tool: Een aangepaste tool die zoekopdrachten formuleert op basis van de gevonden diensten en aanvalstypen (zonder vooraf bekende CVE-codes te raden) en de resultaten samenvat.
• Geheugen: Een hybride systeem met een vectordatabase voor langetermijngeheugen (semantische zoekopdrachten) en een token-beperkte wachtrij voor kortetermijncontext.

Datasets:

• Web-aanvallen: 30 gecontroleerde scenario's (20 voor training/architectuurvergelijking, 10 nieuwe 2025-kwetsbaarheden voor validatie).
• Malware-verkeer: 10 traces van besmette apparaten (van de Malware Traffic Analysis dataset) om de overdraagbaarheid (portabiliteit) te testen.

3. Belangrijkste Bijdragen

• Eerste systematische studie: Dit is het eerste werk dat LLM-agenten systematisch toepast op post-mortem forensisch onderzoek van web-aanvallen.
• CyberSleuth Platform: Een open-source implementatie die multi-agent specialisatie, effectief geheugenmanagement en tool-integratie combineert.
• Benchmark Uitbreiding: De auteurs breiden de bestaande CFA-bench uit met nieuwe incidenten en evalueren zes verschillende LLM-backends (waaronder GPT-4o, o3, GPT-5, DeepSeek R1, Kimi K2, LLaMA-4).
• Design Principes: Het paper identificeert drie cruciale ontwerpprincipes voor succesvolle forensische agenten:
  1. Multi-agent specialisatie is essentieel voor volhardend redeneren.
  2. Eenvoudige orkestratie (sequentieel) presteert beter dan diep geneste hiërarchische structuren.
  3. De ontwerpprincipes zijn overdraagbaar naar andere forensische taken (zoals malware-verkeersanalyse).

4. Resultaten

• Prestaties op Web-aanvallen:

  • De Flow Reporter Agent (FRA) architectuur behaalde de beste resultaten, met een 80% nauwkeurigheid op de nieuwe 2025-incidenten (onbekend tijdens training).
  • Het systeem produceerde complete, coherente en praktisch bruikbare rapporten, beoordeeld door een panel van 25 experts (gemiddelde score > 4.2/5 op volledigheid, bruikbaarheid en logische samenhang).
  • FRA reduceerde het aantal redeneringsstappen aanzienlijk (gemiddeld ~5 stappen) en verlaagde de kosten in vergelijking met andere architecturen.

• LLM Vergelijking:

  • Open-source modellen (zoals DeepSeek R1 en Kimi K2) presteerden vergelijkbaar met of zelfs beter dan gesloten modellen (GPT-4o) op veel metrics, tegen een fractie van de kosten.
  • OpenAI o3 en GPT-5 toonden de hoogste nauwkeurigheid bij het bepalen van de aanvalssucces, maar waren duurder.
  • Een interessante bevinding was dat sommige modellen (zoals o3) te veel vertrouwden op hun interne kennis en te weinig gebruik maakten van webzoekopdrachten, wat leidde tot hallucinaties bij specifieke CVE's.

• Portabiliteit (Malware):

  • Door alleen de prompt aan te passen (zonder de architectuur te wijzigen), slaagde CyberSleuth erin om in 9 van de 10 malware-scenario's de slachtofferdetails en Indicators of Compromise (IOCs) correct te extraheren. Dit bewijst dat het ontwerp generaliseert over verschillende forensische domeinen.

5. Betekenis en Conclusie

Het paper toont aan dat Agentic AI effectief kan worden ingezet voor complexe, redeneringsintensieve taken in de cyberbeveiliging, zoals forensisch onderzoek. CyberSleuth overbrugt de kloof tussen ruwe netwerkdata en actievable forensische inzichten.

De belangrijkste conclusies zijn:

• Multi-agent specialisatie is superieur aan "all-in-one" agenten omdat het de cognitieve last verdeelt en de focus behoudt.
• Eenvoudige orkestratie (zoals een gescheiden summariser-agent) is robuuster dan complexe, geneste communicatiepatronen.
• Generatie: Een goed ontworpen agent kan met minimale aanpassingen worden toegepast op verschillende forensische uitdagingen (van web-aanvallen tot malware-analyse).

CyberSleuth biedt een solide basis voor de toekomst van geautomatiseerde Blue-Team operaties, waarbij menselijke experts worden ondersteund door agenten die snel, nauwkeurig en consistent forensische rapporten kunnen genereren. De auteurs maken de code en benchmarks openbaar om verdere rigorose evaluatie in de gemeenschap te stimuleren.