CyberThreat-Eval: Can Large Language Models Automate Real-World Threat Research?

Dit paper introduceert CyberThreat-Eval, een expert-geannoteerde benchmark die is gebaseerd op de daadwerkelijke workflow van een toonaangevend bedrijf om Large Language Models te evalueren op hun vermogen om real-world cyberdreigingsinlichtingen te analyseren, waarbij wordt vastgesteld dat huidige modellen tekortschieten in nuance en feitelijke nauwkeurigheid.

De kern

🕵️‍♂️ De Digitale Detectives en de Slimme Robots

Stel je voor dat er een wereld vol digitale detectives is: cybersecurity-analisten. Hun werk is als een gigantische naald in een hooiberg zoeken. Elke dag stromen er duizenden nieuwsberichten, forumposts en rapporten binnen over hackers, virussen en gevaarlijke software. De taak van deze detectives is om die "hooiberg" te doorzoeken, de echte gevaarlijke "naalden" te vinden, en vervolgens een duidelijk verslag te schrijven voor de baas (of de overheid) zodat ze weten hoe ze zich moeten beschermen.

Tot nu toe deden mensen dit werk met de hand. Maar nu hebben we Grote Taalmodellen (LLMs), zoals de slimme robots die je misschien kent van chatbots. De vraag was: Kunnen deze robots het werk van de detectives overnemen?

De auteurs van dit paper (van Microsoft en de HKUST) zeggen: "Ja, maar ze zijn nog niet helemaal klaar." Ze hebben een nieuwe test ontwikkeld om dit te bewijzen.

🧪 De Nieuwe Test: "CyberThreat-Eval"

Vroeger testten wetenschappers deze robots met simpele quizzen.

• Voorbeeld: "Wie is de hacker die CVE-2021-26855 heeft gebruikt? A, B, C of D?"

Dit is echter niet hoe echte detectives werken. In het echte leven krijgen ze geen meerkeuzevragen. Ze krijgen een rommelig nieuwsartikel en moeten zelf beslissen: "Is dit gevaarlijk? Zo ja, hoe gevaarlijk? En wat moeten we doen?"

De auteurs hebben daarom CyberThreat-Eval bedacht. Dit is een nieuwe, eerlijke test die precies kijkt naar hoe een echte detective werkt. Ze hebben de test opgedeeld in drie stappen, alsof je een huis bouwt:

1. De Voordeur (Triage): Kijk naar de duizenden brieven op de mat. Welke zijn echt belangrijk en welke zijn gewoon reclame? De robot moet beslissen welke brieven hij oppakt.
2. De Bibliotheek (Deep Search): Als de brief interessant is, moet de detective naar de bibliotheek gaan om meer informatie te vinden. De robot moet zelf op internet zoeken naar extra bewijsstukken die de originele brief aanvullen.
3. Het Verslag (TI Drafting): Tot slot moet de detective een duidelijk verhaal schrijven: "Wie is de dader, hoe hebben ze het gedaan, en wat moeten we doen?"

🤖 Wat bleek uit de test?

De auteurs hebben verschillende robots (zoals GPT-4o en o3-mini) op deze test laten werken. Hier zijn de resultaten, vertaald naar alledaags taal:

• De Robot is een goede verzamelaar, maar een slechte filter:
  Bij stap 1 (de voordeur) pikten de robots bijna alles op wat er op de mat lag. Ze misten bijna niets (goed!), maar ze pakten ook heel veel onzin mee (slecht!). Ze waren te bang om iets te missen, waardoor de echte detectives later nog steeds veel rommel moesten opruimen.
• De Robot is goed in feiten, slecht in "wie":
  Bij het schrijven van het verslag (stap 3) waren de robots goed in het uitleggen van hoe iets werkte (bijvoorbeeld: "De hacker gebruikte een sleutel om het raam open te maken"). Maar ze waren slecht in het uitleggen van wie de dader was. Ze maakten vaak verzonnen verhalen over de identiteit van de hacker, of ze gaven te weinig details.
• De Robot hallucineert (droomt):
  Soms gaf de robot een IP-adres of een viruscode op die er niet bestond. Dit is gevaarlijk. Als een detective denkt dat een virus op een bepaalde computer zit, maar dat is niet zo, dan gaat hij de verkeerde computer controleren en mist hij de echte dreiging.

🛠️ De Oplossing: De "Threat Research Agent" (TRA)

Omdat de robots alleen nog niet perfect zijn, hebben de auteurs een slimme oplossing bedacht: TRA.

Stel je TRA voor als een robot-assistent met een menselijke supervisor.

1. De robot doet het zware werk: hij zoekt, leest en schrijft een eerste versie van het verslag.
2. Maar voordat het verslag de deur uitgaat, checkt TRA het tegen echte databases (zoals een digitale "VirusTotal"). Als de robot een IP-adres verzonnen heeft, ziet TRA dit en corrigeert het.
3. Mensen komen in beeld: Een echte menselijke expert kijkt mee. De robot vraagt: "Ik denk dat dit de dader is, maar ik ben niet zeker." De mens zegt: "Goed, check nog eens bij deze bron."

Dit werkt als een tandarts-assistent: de assistent (de robot) doet de tanden poetsen en de boel schoonmaken, maar de tandarts (de mens) kijkt erop om te zien of er geen gaatjes over het hoofd zijn gezien.

🏁 Conclusie: Wat betekent dit voor ons?

Dit paper zegt eigenlijk: "AI is een krachtige hulpmachine, maar we kunnen de knop 'volautomatisch' nog niet indrukken."

• Goed nieuws: AI kan de detectives enorm helpen door de eerste ruwe zoektocht te doen. Het bespaart tijd en energie.
• Niet zo goed nieuws: Als we de AI alleen laten werken, maken ze fouten die leiden tot verkeerde conclusies. Ze missen de nuance en de diepte die een ervaren mens heeft.

De boodschap is duidelijk: De toekomst ligt niet in het vervangen van de menselijke detective, maar in het geven van een superkrachtige bril aan de detective. Die bril (de TRA) helpt hem sneller te zien, maar de detective zelf moet nog steeds de beslissingen nemen en de eindcontrole doen.

Kort samengevat: De robots zijn slimme stagiairs die hard werken, maar ze hebben nog steeds een ervaren mentor nodig om te voorkomen dat ze de verkeerde weg oplopen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CyberThreat-Eval: Can Large Language Models Automate Real-World Threat Research?" in het Nederlands.

Probleemstelling

Het analyseren van Open Source Intelligence (OSINT) is cruciaal voor het opstellen van Cyber Threat Intelligence (CTI)-rapporten. Dit proces volgt doorgaans een drie-staps workflow: triage (prioriteren van artikelen), diepe zoektocht (verzamelen van aanvullende bewijzen) en TI-drafting (opstellen van het rapport met IoCs en ATT&CK-technieken).

Hoewel Large Language Models (LLMs) potentieel bieden voor automatisering, vertonen bestaande benchmarks en methoden ernstige tekortkomingen:

1. Onrealistische taakformaten: Veel benchmarks gebruiken meerkeuzevragen of feitelijke recall-taken, wat niet overeenkomt met de workflow van echte analisten die zelden werken met A/B/C/D-opties.
2. Model-gerichte vs. Analist-gerichte metrics: Bestaande evaluaties vertrouwen vaak op lexische overlapping (zoals ROUGE of BERTScore) in plaats van op bruikbaarheid, feitelijke nauwkeurigheid en operationele kosten. Een beknopt samenvatting kan hierdoor beter scoren dan een gedetailleerde, waardevolle analyse.
3. Gebrek aan end-to-end dekking: Bestaande benchmarks testen vaak slechts losse taken en missen de volledige workflow van triage tot rapportage.

Methodologie

De auteurs introduceren CyberThreat-Eval, een nieuw, expert-geannoteerd benchmark dat is opgezet op basis van de dagelijkse workflow van een toonaangevende technologiebedrijf (Microsoft).

1. Data Constructie:
De dataset bevat real-world data uit drie stadia:

• Triage: 488 artikelen die moeten worden beoordeeld op acceptatie en prioriteitsscore.
• Deep Search: 55 start-URL's waarbij het model moet zoeken naar aanvullende, waardevolle URL's.
• TI Drafting: Taken voor IoC-extractie (1310 items), TTP-identificatie (1565 items), en het genereren van narratives over dreigingsactoren en oorzaken (412 artikelen).

2. Evaluatie Metrics:
In plaats van alleen lexische metrics, worden analist-gerichte metrics gebruikt:

• Feitelijke nauwkeurigheid: Validatie tegen grondwaarheid (ground truth).
• Operationele kosten: Tijd en token-verbruik per taak.
• Kwaliteit van inhoud: Beoordeeld door menselijke experts op relevantie, volledigheid, coherentie en bronvermelding.

3. Experimenteel Opzet:
Er zijn vier LLM's geëvalueerd: twee basismodellen (GPT-4o, o3-mini) en twee modellen die zijn fijngefineerd (fine-tuned) op een specifiek CTI-corpus (GPT-4o FT, GPT-4o-mini FT).

4. Threat Research Agent (TRA):
Om de beperkingen van LLM's op te lossen, presenteren de auteurs TRA, een end-to-end framework met een "human-in-the-loop" benadering. TRA integreert:

• Externe grondwaarheid: Koppeling aan databases zoals VirusTotal voor verificatie van IoCs en TTP's.
• Iteratieve feedback: Menselijke experts geven feedback die direct wordt verwerkt om de output te verfijnen en hallucinaties te minimaliseren.

Belangrijkste Resultaten

De evaluatie van CyberThreat-Eval levert de volgende inzichten op:

• Triage: LLM's hebben een hoge recall (ze vinden bijna alle relevante artikelen), maar een lage precision (ze accepteren veel irrelevante artikelen), wat de werkdruk voor analisten kan verhogen.
• Deep Search: Basismodellen (zoals GPT-4o en o3-mini) vinden meer nuttige URL's dan fijngefineerde modellen. Fijnfining lijkt het model te conservatief te maken voor het zoeken naar nieuwe informatie.
• TI Drafting & Extractie:
  • IoC-extractie: Redelijk robuust, maar er is een afweging tussen snelheid en recall.
  • TTP-identificatie (MITRE ATT&CK): Dit is een groot struikelblok. Alle modellen presteren slecht (precision < 0,35) bij het correct toewijzen van tactieken, technieken en procedures.
  • Narratives: LLM's zijn goed in het genereren van logische "root cause" analyses, maar worstelen met het creëren van diepgaande, contextuele profielen van dreigingsactoren (vaak te vaag of hallucinerend).
• Kosten vs. Kwaliteit: Er is een duidelijke trade-off. Modellen met hogere nauwkeurigheid (zoals o3-mini) zijn aanzienlijk duurder en trager. Fijnfining verbetert niet altijd alle metrics en kan de exploratieve breedte verminderen.

Impact van TRA:
De introductie van TRA (met menselijke feedback en externe verificatie) leidt tot significante verbeteringen:

• IoC-extractie: Precisie stijgt met 26 procentpunten.
• TTP-identificatie: Precisie verbetert aanzienlijk (bijv. van 0,28 naar 0,42 voor o3-mini).
• Inhoudskwaliteit: Scores voor relevantie en coherentie stijgen naar >4,5/5, waardoor rapporten direct "publicatieklaar" zijn.
• Efficiëntie: TRA verlaagt de latentie voor GPT-4o met ongeveer 70 seconden door gerichte verificatie.

Bijdragen

1. CyberThreat-Eval Benchmark: Een nieuw, expert-geannoteerd dataset dat de volledige end-to-end CTI-workflow (triage, deep search, drafting) dekt, met realistische taken en analist-gerichte metrics.
2. Omvangrijke Evaluatie: Een systematische analyse van de sterke en zwakke punten van huidige LLM's in een echte productiewereld, inclusief de trade-offs tussen kosten, snelheid en nauwkeurigheid.
3. TRA Framework: Een bewezen, praktisch framework dat LLM's combineert met externe kennisbronnen en menselijke expertise om betrouwbare, hallucinatie-vrije threat intelligence te genereren.

Significantie

Dit paper is van groot belang voor de cybersecurity- en AI-gemeenschap omdat het de kloof tussen academische benchmarks en de realiteit van threat intelligence analyse dicht. Het toont aan dat LLM's op zichzelf nog niet klaar zijn voor volledige automatisering van complexe CTI-taken, vooral wat betreft redenering en feitelijke verificatie. De voorgestelde aanpak (TRA) biedt een haalbaar pad naar praktische automatisering waarbij menselijke expertise en externe data essentieel blijven voor betrouwbaarheid. De publicatie van zowel de benchmark als het framework ondersteunt de gemeenschap bij het ontwikkelen van meer robuuste en veilige AI-systemen voor cyberverdediging.