🤖 machine learning

Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

Dit artikel stelt een nieuwe empirische baseline vast voor multi-label ATT&CK-classificatie op complexe ongestructureerde Cyber Threat Intelligence-rapporten door de introductie van een door mensen geannoteerde dataset van 2.076 zinnen en door het evalueren van zeven open-source LLM's, die gezamenlijk een lage micro-gemiddelde F1-score van 0,22 behaalden, wat aangeeft dat huidige modellen ontoereikend blijven voor productie-waardige implementatie ondanks een positieve correlatie tussen de omvang van de parameters en de prestaties.

Oorspronkelijke auteurs: Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiligingsbeambte bent die een duizend pagina tellend, slordig dagboek probeert te lezen van een chaotische crimineel. Dit dagboek (een CTI-rapport genoemd) zegt niet alleen "Ik heb de auto gestolen." Het zegt: "Ik heb het slot geplikt, de motor gehotwired, naar de bank gereden en daarna de beveiligingscamera's gewist."

Jouw taak is om elke zin te lezen en deze te labelen met de juiste "misdaadcode" uit een enorm regelboek genaamd MITRE ATT&CK. Dit regelboek bevat 211 verschillende codes voor elke mogelijke manier waarop een aanvaller kan toeslaan. Het probleem is dat één zin vaak meerdere misdaden tegelijk bevat en de taal is ingewikkeld.

Lange tijd waren computers hier slecht in. Ze waren als een robot die alleen eenvoudige, enkelvoudige aantekeningen kon lezen. Als de aantekening complex was, raakte de robot in de war.

Toen kwamen Large Language Models (LLMs). Denk aan deze als superintelligente, veelgelezen stagiairs die context en nuance kunnen begrijpen. Mensen hoopten dat deze AI-stagiairs eindelijk de slordige dagboeken konden lezen en de misdaden perfect konden labelen.

Dit papier is het rapportcijfer van zeven van deze open-source stagiairs. De onderzoekers wilden zien of deze AI-stagiairs daadwerkelijk klaar zijn voor de baan, of dat ze nog te onervaren zijn.

Hier is wat ze deden en wat ze ontdekten, eenvoudig uitgelegd:

1. De Test: Een "Echtelijke" Examen

Eerdere tests voor deze AI-stagiairs waren als het geven van een quiz met gemakkelijke vragen met één antwoord (bijv. "De crimineel gebruikte een sleutel." -> Label: Slot kraken).

De onderzoekers in dit papier zeiden: "Dat is niet hoe het echte leven werkt." Ze maakten een moeilijker, realistischer examen:

Ze namen 83 echte, slordige beveiligingsrapporten geschreven door menselijke experts.
Ze braken deze af in 2.076 individuele zinnen.
Ze lieten menselijke experts elke zin handmatig labelen met de juiste misdaadcodes. Sommige zinnen hadden geen codes; sommige hadden er één; sommige hadden er wel negen tegelijk!
Dit werd de "Antwoordlijst" (Ground Truth) om de AI te beoordelen.

2. De Deelnemers

Ze kozen 7 verschillende open-source AI-modellen.

Denk aan deze modellen als studenten van verschillende groottes. Sommige zijn klein (8 miljard "hersencellen" of parameters), en sommige zijn reuzen (236 miljard).
Ze testten ze in verschillende "modi":
- Zero-Shot: Alleen de instructies geven.
- Few-Shot: De AI eerst een paar voorbeelden geven om te bestuderen.
- Chain-of-Thought: De AI vragen om "hardop na te denken" stap voor stap voordat hij antwoordt.
- Temperature: De "creativiteitsknop" van de AI hoger of lager draaien (0 = strikte robot, 0.5 = iets creatiever).

3. De Resultaten: De Stagiairs zijn nog aan het leren

De resultaten waren een beetje een realiteitscheck.

De Score: Zelfs het beste AI-model haalde slechts een score van 22% (op een schaal waarbij 100% perfect is).
- Analogie: Stel je een student voor die een moeilijke eindexamen maakt en een D- haalt. Hij slaagt wel, maar hij mist de meeste antwoorden.
Grootte doet ertoe (Grotendeels): De grootste, meest complexe AI-modellen (de "reuzen") deden over het algemeen beter dan de kleine modellen. Er was een duidelijke link: groter brein = iets betere score.
De "Magische" Instellingen Werkten Niet:
- Het geven van voorbeelden aan de AI (Few-Shot) hielp nauwelijks.
- De AI vragen om "stap voor stap na te denken" (Chain-of-Thought) hielp ook nauwelijks.
- Het draaien aan de "creativiteitsknop" (Temperature) maakte bijna geen verschil.
- Analogie: Het is also[t] het geven van een ander gekleurd potlood aan een student of het zeggen dat ze "hun best moeten doen", maar als de student de stof niet kent, verandert de score niet.

4. Het Enige Dat Hielp: Het "Spiekbriefje"

De onderzoekers probeerden nog één ding. Ze gaven de AI een Retrieval-Augmented Generation (RAG) opstelling.

Analogie: In plaats van alleen te vertrouwen op wat de AI heeft onthouden, gaven ze de AI een open boek (het officiële regelboek) om in te kijken terwijl hij de test maakte.
Het Resultaat: De score sprong van 22% naar 32%.
Dit was de grootste verbetering van allemaal. Het bewees dat de AI niet faalt omdat hij "dom" is; hij faalt omdat hij niet over de actuele regels beschikt op het moment zelf.

5. Wat Ging Er Mis?

De onderzoekers keken naar de fouten die de AI maakte:

False Positives (Vals Positief): De AI zag een woord als "ontwijken" en gokte op "Kapen", terwijl de zin over iets anders ging. De AI gokte op basis van trefwoorden in plaats van het verhaal te begrijpen.
False Negatives (Vals Negatief): De AI miste een misdaad omdat hij niet begreep dat "het plaatsen van een ransomware-binary" eigenlijk een specifiek type transfer was. De AI miste de diepe context.

De Kernboodschap

Het papier concludeert dat huidige open-source AI-modellen nog niet klaar zijn om de enige beveiligingsbeambten te zijn voor het classificeren van complexe cyberdreigingen. Ze zijn te onnauwkeurig (met scores van slechts 22-32%) om zonder menselijke hulp te worden vertrouwd in een echte beveiligingscentrale.

De enige factor die hun prestaties aanzienlijk verbeterde, was het geven van toegang tot het officiële regelboek (RAG) tijdens de test. Het simpelweg veranderen van de manier waarop je de vragen stelt (prompts) of het groter maken van het model lost het kernprobleem niet op.

Kortom: De AI-stagiairs zijn slim, maar momenteel te foutgevoelig om alleen te werken. Ze hebben een menselijke supervisor en een referentiemanual nodig om de taak correct uit te voeren.

Technische Samenvatting: Evaluatie van Open-Source LLM's voor Multi-Label ATT&CK Techniek Classificatie

Probleemstelling

Het classificeren van Cyber Threat Intelligence (CTI) rapporten in MITRE ATT&CK technieken is cruciaal voor proactieve defensie, maar blijft een arbeidsintensief proces vanwege de complexiteit van ongestructureerde tekst, multi-stap aanvalspatronen en de 211-klasse taxonomie. Hoewel Large Language Models (LLM's) veelbelovend zijn in het begrijpen van context, lijden bestaande evaluaties aan significante beperkingen: ze vertrouwen op vereenvoudigde, enkelvoudige techniek-zinnen die de multi-label aard van echte rapporten niet weerspiegelen, wat leidt tot opgeblazen prestatiecijfers. Bijgevolg blijft de baseline-prestatie van open-source LLM's op complexe, ongestructureerde CTI-rapporten ongeëvalueerd, waardoor security practitioners zonder empirisch bewijs blijven om de integratie van deze modellen in threat ingestion pipelines te begeleiden.

Methodologie

Om dit gat te dichten, hebben de auteurs een rigoureus experimenteel kader geconstrueerd dat de creatie van datasets, modelevaluatie en statistische analyse omvat.

1. Dataset Constructie (RQ1)
De auteurs hebben een ground-truth dataset samengesteld bestaande uit 2.076 zinnen geëxtraheerd uit de "Case Summary" secties van 83 complexe ongestructureerde CTI-rapporten (april 2020–februari 2025) afkomstig van The DFIR Report.

Annotatieproces: Er werd een zesfasen annotatiestrategie toegepast, bestaande uit onafhankelijke labeling, cross-labeling, herlabeling van instanties met lage overeenstemming en geschilbeslechting.
Reikwijdte: Zinnen werden gemapt naar 114 unieke ATT&CK technieken (van de 211 beschikbare in Enterprise v17.1). De dataset bevat zowel techniek-positieve (1.281 zinnen) als negatieve (795 zinnen) klassen om de fout-positieve ratio's te evalueren.
Kwaliteitscontrole: Het proces bereikte een gemiddelde inter-annotator overeenstemming van $\kappa = 0,68$ (substantiële overeenstemming), waarbij 65 technieken de $\kappa \geq 0,7$ drempel overschreden.
Kenmerken: De dataset vertoont een ernstige klassenonbalans (Imbalance Ratio = 229,0) en een long-tail distributie, waarbij 40,2% van de gelabelde zinnen meerdere technieken bevat (gemiddelde cardinaliteit = 1,58).

2. Modellevaluatie (RQ2)
Zeven open-source LLM's variërend van 8B tot 236B parameters (inclusief Llama 3.1, Gemma 3, DeepSeek-V2.5 en GPT-OSS varianten) werden geëvalueerd.

Experimenteel Ontwerp: Een full factorial design testte 53 inferentieconfiguraties die de volgende combinaties bevatten:
- Prompt Strategie: Zero-Shot vs. Three-Shot (N=3).
- Redenering: Chain-of-Thought (CoT) vs. Geen CoT.
- Temperatuur: 0,0 vs. 0,5.
RAG Baseline: Een Retrieval-Augmented Generation (RAG) pipeline werd geïmplementeerd met behulp van een FAISS vector database van ATT&CK documentatie om de LLM70 te funderen in externe kennis, waarbij deze werd vergeleken met standaard inferentie.
Metrieken: Micro-gemiddelde Precision, Recall en F1-scores werden gebruikt als primaire metrieken om de operationele dekking over alle techniek-instanties te reflecteren.

3. Statistische Analyse (RQ3)
Spearman's rangcorrelatie ( $\rho$ ) werd toegepast om de monotone relaties tussen inferentie-instellingen (parametergrootte, promptstrategie, redenering, temperatuur) en classificatieprestaties te beoordelen.

Belangrijkste Bijdragen

Dataset: Een publiekelijk beschikbare, door mensen geannoteerde ground-truth dataset van 2.076 zinnen uit 83 ongestructureerde rapporten, gemapt naar 114 ATT&CK technieken, wat de grootste dataset van zijn soort tot nu toe vertegenwoordigt.
Prestatie Benchmark: Een systematische evaluatie die een empirische baseline vestigt voor multi-label ATT&CK classificatie, waarbij wordt vastgesteld dat huidige open-source LLM's aanzienlijk moeite hebben met deze taak.
Statistische Analyse: Een correlatiestudie die de impact van modelgrootte en inferentie-hyperparameters kwantificeert, waarbij parametergrootte wordt geïdentificeerd als de enige statistisch significante voorspeller van prestaties.

Resultaten

Baseline Prestaties: De best presterende non-RAG configuratie (DS236, 236B parameters, T=0,0, 3-shot, CoT) behaalde een micro-gemiddelde F1-score van slechts 0,22.
Model Variantie: Prestaties varieerden aanzienlijk per modelgrootte en architectuur. De 236B model (DS236) en 70B model (LLM70) vormden de top cluster (F1 0,20–0,22), terwijl kleinere modellen (bijv. GPT20, 20B) presteerden nabij willekeurige kans (F1 $\leq$ 0,03).
Impact van Hyperparameters:
- Parametergrootte: Toonde een statistisch significante positieve correlatie met de F1-score ( $\rho = 0,85, p = 0,014$ ).
- Prompt Strategie & Redenering: Noch Few-Shot prompting, noch Chain-of-Thought redenering produceerde statistisch significante winst over de modelconfiguraties heen ( $p > 0,05$ ).
- Temperatuur: Variaties tussen 0,0 en 0,5 hadden geen statistisch significant effect op de prestaties.
RAG Impact: Het implementeren van RAG met LLM70 verhoogde de micro F1-score naar 0,32 (een $\Delta$ van +0,10), primair gedreven door een substantiële toename in recall (van 0,23 naar 0,41). Deze verbetering werd toegeschreven aan externe kennisgronding in plaats van prompt tuning.
Foutanalyse: Falen werd gecategoriseerd in Type I (false positives door overmatige afhankelijkheid van trefwoorden of hallucinatie) en Type II (false negatives door gebrek aan domeinkennis of onvermogen om multi-stage gedragingen te synthetiseren).

Betekenis en Claims

Het artikel claimt de eerste empirische baseline te bieden voor open-source LLM's op complexe, multi-label CTI classificatie. De auteurs stellen dat huidige open-source LLM's onvoldoende zijn voor productie-waardige ATT&CK classificatie, zoals bewezen door de lage F1-scores (max 0,22) vergeleken met eerdere gespecialiseerde tools die vaak hogere scores rapporteren op vereenvoudigde datasets.

De studie concludeert dat prompt engineering strategieën (N-shot, CoT, temperatuur) geen effectieve hefbomen zijn om de prestatiekloof in dit domein te dichten. In plaats daarvan geven de resultaten aan dat parametergrootte een kritieke factor is, en dat retrieval grounding (RAG) de meest productieve richting voor verbetering is, wat een significante boost in recall biedt. De auteurs positioneren hun dataset en bevindingen als een reproduceerbare basis voor toekomstig onderzoek, waarbij zij suggereren dat toekomstig werk zich moet richten op hiërarchische RAG, parameter-efficiënte fine-tuning en hiërarchie-bewuste metrieken in plaats van verdere prompt tuning.