Proactively Detecting Threats: A Novel Approach Using LLMs

Technische Samenvatting: Proactieve Dreigingsdetectie met behulp van Large Language Models

Probleemstelling
Enterprise security wordt steeds vaker uitgedaagd door geavanceerde malware en een expanderend digitaal aanvalsoppervlak, verergerd door werken op afstand en de adoptie van de cloud. Huidige cybersecurity-paradigma's zijn overwegend reactief en vertrouwen op bekende signatures of detectie na een compromittering, wat organisaties kwetsbaar laat voor zero-day aanvallen en polymorfe malwarefamilies. Bovendien, hoewel gestructureerde threat intelligence-standaarden (zoals STIX 2.0) bestaan, blijft de adoptie binnen de sector gefragmenteerd. Gevolgelijk vertrouwt 69% van de security teams op ongestructureerde, vrije tekstuele dreigingsrapporten van diverse webbronnen. Deze rapporten bevatten Indicators of Compromise (IOC's) in inconsistente formaten (bijv. afbeeldingen, hashes, tekst), wat automatische extractie en classificatie bemoeilijkt. Er is een kritiek gat in proactieve systemen die in staat zijn om ongestructureerde webgebaseerde intelligentie te parsen om IOC's te identificeren voordat ze in traditionele databases worden gecatalogiseerd.

Methodologie
De auteurs hebben een geautomatiseerd systeem ontwikkeld om de effectiviteit van Large Language Models (LLMs) te evalueren bij het proactief identificeren van IOC's uit ongestructureerde webbronnen. De methodologie bestond uit drie primaire fasen:

1. Dataverzameling en Parsing: Een geautomatiseerde webcrawler verzamelde ruwe data van 15 gerenommeerde threat intelligence-bronnen (waaronder Sophos, SentinelOne en Abuse.ch) via RSS/Atom-feeds. Een parser die gebruikmaakt van reguliere expressies extraheerde specifieke patronen die overeenkomen met IOC's: IPv4/IPv6-adressen, domeinen, URL's en file hashes (SHA1, MD5, SHA256). Het systeem mapt de geëxtraheerde termen ook naar het MITRE ATT&CK-framework om de context te verrijken.
2. Datasetconstructie: De studie analyseerde 479 webpagina's met 2.658 IOC's (711 IPv4, 502 IPv6, 1.445 domeinen). Een specifieke testsubset van 303 webpagina's werd samengesteld, bevattende 251 bevestigde kwaadaardige indicatoren (geverifieerd via context en VirusTotal) en benigne indicatoren.
3. LLM-Evaluatie: Zes vooraf getrainde LLM-varianten (Gemini 2.0 Flash-Lite, Gemini 1.5 Pro, Qwen3 30B, Qwen3 32B, Llama 8B en Llama 70B) werden geëvalueerd zonder fine-tuning. De modellen kregen de opdracht om te fungeren als cybersecurity-experts, waarbij ze de volledige tekst van een webpagina (context) analyseerden om te bepalen of een specifieke geëxtraheerde entiteit een Indicator of Compromise was. De evaluatie richtte zich op classificatiemetrieken: Precisie, Recall, Specificiteit en F1-score.

Belangrijkste Bijdragen

• Systematische Evaluatie van LLM's voor Proactieve Detectie: Dit artikel presenteert de eerste systematische evaluatie van LLM's voor het extraheren van IOC's uit ongestructureerde webgebaseerde threat intelligence, waarbij de aanpak onderscheidt van reactieve malware-detectie.
• Geautomatiseerde Ongestructureerde Data Pipeline: De auteurs hebben een pipeline ontwikkeld die diverse, niet-gestandaardiseerde dreigingsrapporten omzet in gestructureerde data, waarmee het gebrek aan verenigde benaderingen voor multi-source threat intelligence wordt geadresseerd.
• Uitgebreide Benchmarking: De studie biedt een vergelijkende analyse van zes verschillende LLM-architecturen over een real-world dataset van bijna 2.700 IOC's, wat empirische data levert over de trade-offs tussen recall en precisie in security-contexten.

Resultaten
De evaluatie toonde significante prestatievariaties tussen de modellen:

• Gemini 1.5 Pro: Bereikte de hoogste prestatiebalans, met een precisie van 0,958 en een specificiteit van 0,788 voor de identificatie van kwaadaardige IOC's. Opvallend genoeg vertoonde het een perfecte recall (1,0) voor werkelijke dreigingen, wat betekent dat het alle kwaadaardige indicatoren in de testset succesvol identificeerde.
• Qwen3 32B: Vertoonde de laagste prestaties, gekenmerkt door een hoog aantal false negatives (51) bij het classificeren van niet-kwaadaardige data, wat resulteerde in een lage F1-score.
• Llama 70B: Identificeerde succesvol alle kwaadaardige indicatoren (TP=251), maar leed onder een hoger aantal false negatives vergeleken met de Gemini-modellen, wat leidde tot een lagere recall voor de kwaadaardige klasse.
• Algemene Trends: Modellen excelleerden over het algemeen in hoge recall (het vangen van dreigingen), maar hadden moeite met specificiteit (het correct identificeren van benigne data). De studie merkte op dat modellen vaak benigne context, zoals domain registrars of research repositories, onterecht als kwaadaardig classificeerden vanwege de aanwezigheid van trefwoorden zoals "abuse" of "killer" binnen de tekst.

Betekenis en Claims
Het paper claimt dat LLM's een levensvatbaar mechanisme bieden om cybersecurity te verschuiven van reactieve naar proactieve maatregelen door de extractie van IOC's uit de enorme hoeveelheid ongestructureerde webrapporten te automatiseren. De auteurs benadrukken dat hoewel een hoge recall essentieel is voor dreigingsdetectie, de geobserveerde trade-off met precisie (false positives) wijst op de noodzaak voor verbeterde modelverfijning en contextbewuste classificatie.

De auteurs concluderen bescheiden dat hoewel LLM's baanbrekende prestaties leveren in het identificeren van kwaadaardige indicatoren door middel van contextueel begrip, ze momenteel uitdagingen ervaren bij het accuraat onderscheiden tussen kwaadaardige indicatoren en benigne entiteiten die vergelijkbare linguïstische kenmerken delen (bijv. domeinnamen die "abuse" of "dark" bevatten). Het werk legt een fundament voor toekomstige automatisering in enterprise security-systemen, maar erkent dat verder onderzoek vereist is om complexe indicatortypen te behandelen en hallucinaties in ongestructureerde data-parsing te verminderen.