🤖 machine learning

Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

Diese Arbeit etabliert eine neue empirische Baseline für die Multi-Label-ATT&CK-Klassifizierung in komplexen, unstrukturierten Cyber Threat Intelligence-Berichten, indem sie einen von Menschen annotierten Datensatz von 2.076 Sätzen einführt und sieben Open-Source-LLMs evaluiert, die kollektiv einen niedrigen mikro-gemittelten F1-Score von 0,22 erreichten, was darauf hindeutet, dass aktuelle Modelle trotz einer positiven Korrelation zwischen der Parametergröße und der Leistung noch immer unzureichend für den produktionsreifen Einsatz sind.

Ursprüngliche Autoren: Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Sicherheitswachmann, der versucht, ein tausendseitiges, chaotisches Tagebuch eines unberechenbaren Kriminellen zu lesen. Dieses Tagebuch (genannt ein CTI-Bericht) sagt nicht einfach nur „Ich habe das Auto gestohlen“. Es sagt: „Ich habe das Schloss geknackt, den Motor überbrückt, zum Bankgebäude gefahren und dann die Sicherheitskameras manipuliert.“

Ihre Aufgabe ist es, jeden Satz zu lesen und ihn mit dem richtigen „Verbrechens-Code“ aus einem riesigen Regelwerk namens MITRE ATT&CK zu versehen. Dieses Regelwerk enthält 211 verschiedene Codes für jede erdenkliche Art und Weise, wie ein Angreifer vorgehen kann. Das Problem dabei ist, dass ein einziger Satz oft mehrere Verbrechen gleichzeitig enthält und die Sprache kompliziert ist.

Lange Zeit waren Computer schlecht darin. Sie waren wie ein Roboter, der nur einfache, einzeilige Notizen lesen konnte. Wenn die Notiz komplex war, wurde der Roboter verwirrt.

Dann kamen Large Language Models (LLMs). Denken Sie an diese als an superintelligente, viel gelesene Praktikanten, die Kontext und Nuancen verstehen können. Die Menschen hofften, dass diese KI-Praktikanten endlich in der Lage wären, die chaotischen Tagebücher zu lesen und die Verbrechen perfekt zu kennzeichnen.

Dieses Paper ist der Zeugnisbericht für sieben dieser Open-Source-Praktikanten. Die Forscher wollten sehen, ob diese KI-Praktikanten wirklich bereit für den Job sind oder ob sie noch zu unerfahren sind.

Hier ist, was sie getan haben und was sie herausgefunden haben, einfach erklärt:

1. Der Test: Eine Prüfung unter „Realbedingungen“

Frühere Tests für diese KI-Praktikanten waren wie ein Quiz mit leichten Fragen mit nur einer Antwort (z. B. „Der Kriminelle benutzte einen Schlüssel.“ -> Tag: Schlossknacken).

Die Forscher in diesem Paper sagten: „So funktioniert das echte Leben nicht.“ Sie erstellten eine schwierigere, realistischere Prüfung:

Sie nahmen 83 echte, chaotische Sicherheitsberichte, die von menschlichen Experten geschrieben wurden.
Sie brachen diese in 2.076 einzelne Sätze auf.
Menschliche Experten haben jeden Satz manuell mit den korrekten Verbrechens-Codes markiert. Einige Sätze hatten keine Codes; einige hatten einen; manche hatten bis zu neun Codes gleichzeitig!
Dies wurde der „Lösungsschlüssel“ (Ground Truth), um die KI zu bewerten.

2. Die Kontrahenten

Sie wählten 7 verschiedene Open-Source-KI-Modelle.

Denken Sie an diese Modelle als an Studenten unterschiedlicher Größe. Einige sind klein (8 Milliarden „Gehirnzellen“ oder Parameter), andere sind Giganten (236 Milliarden).
Sie testeten sie in verschiedenen „Modi“:
- Zero-Shot: Nur die Anweisungen geben.
- Few-Shot: Der KI ein paar Beispiele zum Lernen geben, bevor sie antwortet.
- Chain-of-Thought: Die KI bitten, „laut nachzudenken“ und Schritt für Schritt vorzugehen, bevor sie antwortet.
- Temperature: Den Regler für die „Kreativität“ der KI hoch oder runter drehen (0 = strenger Roboter, 0,5 = etwas kreativer).

3. Die Ergebnisse: Die Praktikanten müssen noch lernen

Die Ergebnisse waren eine kleine Ernüchterung.

Die Punktzahl: Selbst das beste KI-Modell erreichte nur eine Punktzahl von 22 % (auf einer Skala, bei der 100 % perfekt sind).
- Analogie: Stellen Sie sich vor, ein Schüler macht eine schwierige Abschlussprüfung und bekommt eine 5-Minus (D-). Er besteht zwar, aber er lässt die meisten Antworten liegen.
Größe zählt (größtenteils): Die größten, komplexesten Modelle (die „Giganten“) machten im Allgemeinen besser ab als die kleinen. Es gab einen klaren Zusammenhang: größeres Gehirn = etwas bessere Punktzahl.
Die „magischen“ Einstellungen funktionierten nicht:
- Der KI Beispiele zu geben (Few-Shot) half nicht wirklich.
- Die KI zu bitten, „Schritt für Schritt zu denken“ (Chain-of-Thought), half nicht wirklich.
- Das Drehen am „Kreativitätsregler“ (Temperature) machte fast keinen Unterschied.
- Analogie: Es ist, als würde man einem Schüler einen anderen Bleistift geben oder ihm sagen, er solle sich „mehr anstrengen“, aber wenn er den Stoff nicht beherrscht, ändert das die Punktzahl nicht.

4. Die eine Sache, die half: Das „Spickzettel“-Prinzip

Die Forscher versuchten noch eine Sache. Sie gaben der KI ein Retrieval-Augmented Generation (RAG)-Setup.

Analogie: Anstatt sich nur auf das zu verlassen, was die KI auswendig gelernt hat, gaben sie der KI ein offenes Buch (das offizielle Regelwerk), in dem sie während des Tests nachschlagen konnte.
Das Ergebnis: Die Punktzahl sprang von 22 % auf 32 %.
Dies war die größte Verbesserung von allen. Es bewies, dass die KI nicht deshalb scheitert, weil sie „dumm“ ist, sondern weil sie nicht die aktuellen Regeln direkt vor Augen hat.

5. Was lief schief?

Die Forscher untersuchten die Fehler, die die KI machte:

False Positives (Falsch-Positive): Die KI sah ein Wort wie „umgehen“ (evade) und tippte auf „Entführung/Kapern“ (Hijacking), obwohl der Satz eigentlich von etwas anderem handelte. Sie rät basierend auf Schlagworten, anstatt die Geschichte zu verstehen.
False Negatives (Falsch-Negative): Die KI übersah ein Verbrechen, weil sie nicht verstand, dass „das Bereitstellen einer Ransomware-Binärdatei“ tatsächlich eine spezifische Art des Transfers war. Ihr fehlte der tiefe Kontext.

Das Fazit

Das Paper kommt zu dem Schluss, dass aktuelle Open-Source-KI-Modelle noch nicht bereit sind, die alleinigen Sicherheitswachmänner für die Klassifizierung komplexer Cyber-Bedrohungen zu sein. Sie sind zu ungenau (sie erreichen nur 22–32 %), um ohne menschliche Hilfe in einem echten Sicherheitszentrum eingesetzt zu werden.

Die einzige Sache, die ihre Leistung signifikant verbesserte, war der Zugriff auf das offizielle Regelwerk (RAG) während des Tests. Einfach nur die Art der Fragestellung zu ändern (Prompting) oder das Modell größer zu machen, löste das Kernproblem nicht.

Kurz gesagt: Die KI-Praktikanten sind intelligent, aber sie sind derzeit noch zu fehleranfällig, um alleine zu arbeiten. Sie brauchen einen menschlichen Vorgesetzten und ein Handbuch, um die Aufgabe korrekt zu erledigen.

Technische Zusammenfassung: Evaluierung von Open-Source-LLMs für die Multi-Label-Klassifizierung von ATT&CK-Techniken

Problemstellung

Die Klassifizierung von Cyber Threat Intelligence (CTI)-Berichten in MITRE ATT&CK-Techniken ist entscheidend für die proaktive Verteidigung, bleibt jedoch aufgrund der Komplexität unstrukturierter Texte, mehrstufiger Angriffsmuster und der 211-Klassen-Taxonomie ein arbeitsintensiver Prozess. Während Large Language Models (LLMs) vielversprechende Ansätze zur Kontextverständnis gezeigt haben, leiden bestehende Evaluierungen unter erheblichen Einschränkungen: Sie stützen sich auf vereinfachte, technisch-einzelne Sätze, die die Multi-Label-Natur realer Berichte nicht widerspiegeln, was zu inflierten Leistungsmetriken führt. Infolgedessen bleibt die Basisleistung von Open-Source-LLMs bei komplexen, unstrukturierten CTI-Berichten ungeprüft, wodurch Sicherheitsexperten ohne empirische Evidenz zurückbleiben, um die Integration dieser Modelle in Threat-Ingestion-Pipelines zu steuern.

Methodik

Um diese Lücke zu schließen, konstruierten die Autoren ein rigoroses experimentelles Framework, das Datensatz-Erstellung, Modell-Evaluierung und statistische Analyse umfasst.

1. Datensatz-Konstruktion (RQ1)
Die Autoren kuratierten einen Ground-Truth-Datensatz bestehend aus 2.076 Sätzen, die aus den „Case Summary“-Abschnitten von 83 komplexen unstrukturierten CTI-Berichten (April 2020–Februar 2025) aus The DFIR Report extrahiert wurden.

Annotationsprozess: Es wurde eine sechsphasige Annotationsstrategie angewandt, die unabhängige Labeling-, Cross-Labeling-, Relabeling-Verfahren für Instanzen mit geringer Übereinstimmung sowie die Klärung von Unstimmigkeiten beinhaltete.
Umfang: Die Sätze wurden auf 114 einzigartige ATT&CK-Techniken (aus den verfügbaren 211 in Enterprise v17.1) abgebildet. Der Datensatz enthält sowohl technik-positive (1.281 Sätze) als auch negative (795 Sätze) Klassen, um die False-Positive-Raten zu evaluieren.
Qualitätskontrolle: Der Prozess erreichte eine mittlere Inter-Annotator-Agreement von $\kappa = 0,68$ (substanzielle Übereinstimmung), wobei 65 Techniken den Schwellenwert von $\kappa \geq 0,7$ überschritten.
Charakteristika: Der Datensatz weist eine schwere Klassenimbalance (Imbalance Ratio = 229,0) und eine Long-Tail-Verteilung auf, wobei 40,2 % der gelabelten Sätze mehrere Techniken enthalten (mittlere Kardinalität = 1,58).

2. Modell-Evaluierung (RQ2)
Sieben Open-Source-LLMs mit einer Spanne von 8B bis 236B Parametern (einschließlich Llama 3.1, Gemma 3, DeepSeek-V2.5 und GPT-OSS-Varianten) wurden evaluiert.

Experimentelles Design: Ein vollfaktorielles Design testete 53 Inferenz-Konfigurationen, die kombinierten:
- Prompt-Strategie: Zero-Shot vs. Three-Shot (N=3).
- Reasoning: Chain-of-Thought (CoT) vs. No CoT.
- Temperatur: 0,0 vs. 0,5.
RAG-Baseline: Eine Retrieval-Augmented Generation (RAG)-Pipeline wurde implementiert, die eine FAISS-Vektordatenbank der ATT&CK-Dokumentation nutzt, um das LLM70 durch externes Wissen zu fundieren, und dieses gegen die Standard-Inferenz vergleicht.
Metriken: Micro-gemittelte Precision, Recall und F1-Scores wurden als primäre Metriken verwendet, um die operative Abdeckung über alle Technik-Instanzen hinweg widerzuspiegeln.

3. Statistische Analyse (RQ3)
Die Spearman-Rangkorrelation ( $\rho$ ) wurde angewandt, um die monotonen Beziehungen zwischen den Inferenz-Einstellungen (Parametergröße, Prompt-Strategie, Reasoning, Temperatur) und der Klassifizierungsleistung zu bewerten.

Wichtigste Beiträge

Datensatz: Ein öffentlich zugänglicher, menschlich annotierter Ground-Truth-Datensatz aus 2.076 Sätzen aus 83 unstrukturierten Berichten, abgebildet auf 114 ATT&CK-Techniken, was den bisher größten Datensatz seiner Art darstellt.
Performance-Benchmark: Eine systematische Evaluierung, die eine empirische Baseline für die Multi-Label-ATT&CK-Klassifizierung etabliert und aufzeigt, dass aktuelle Open-Source-LLMs bei dieser Aufgabe signifikant Schwierigkeiten haben.
Statistische Analyse: Eine Korrelationsstudie, welche die Auswirkungen von Modellgröße und Inferenz-Hyperparametern quantifiziert und die Parametergröße als einzigen statistisch signifikanten Prädiktor für die Leistung identifiziert.

Ergebnisse

Baseline-Leistung: Die leistungsstärkste Non-RAG-Konfiguration (DS236, 236B Parameter, T=0,0, 3-shot, CoT) erreichte einen Micro-gemittelten F1-Score von lediglich 0,22.
Modell-Varianz: Die Leistung variierte signifikant nach Modellgröße und Architektur. Das 236B-Modell (DS236) und das 70B-Modell (LLM70) bildeten das Top-Cluster (F1 0,20–0,22), während kleinere Modelle (z. B. GPT20, 20B) nahe am Zufallsniveau operierten (F1 $\leq$ 0,03).
Hyperparameter-Einfluss:
- Parametergröße: Zeigte eine statistisch signifikante positive Korrelation mit dem F1-Score ( $\rho = 0,85, p = 0,014$ ).
- Prompt-Strategie & Reasoning: Weder Few-Shot-Prompting noch Chain-of-Thought-Reasoning führten über die Modellkonfigurationen hinweg zu statistisch signifikanten Gewinnen ( $p > 0,05$ ).
- Temperatur: Variationen zwischen 0,0 und 0,5 hatten keinen statistisch signifikanten Effekt auf die Leistung.
RAG-Einfluss: Die Implementierung von RAG mit LLM70 steigerte den Micro-F1-Score auf 0,32 (ein $\Delta$ von +0,10), primär getrieben durch eine erhebliche Steigerung des Recalls (von 0,23 auf 0,41). Diese Verbesserung wurde der Wissensfundierung durch externe Quellen zugeschrieben und nicht dem Prompt-Tuning.
Fehleranalyse: Fehler wurden in Typ I (False Positives durch Überreaktion auf Keywords oder Halluzinationen) und Typ II (False Negatives durch mangelndes Domänenwissen oder Unfähigkeit, mehrstufige Verhaltensweisen zu synthetisieren) kategorisiert.

Signifikanz und Behauptungen

Das Paper beansprucht, die erste empirische Baseline für Open-Source-LLMs bei komplexer, Multi-Label-CTI-Klassifizierung zu liefern. Die Autoren behaupten, dass aktuelle Open-Source-LLMs für die produktionsreife ATT&CK-Klassifizierung unzureichend sind, wie die niedrigen F1-Scores (max. 0,22) im Vergleich zu spezialisierten Tools belegen, die auf vereinfachten Datensätzen oft höhere Werte erzielen.

Die Studie kommt zu dem Schluss, dass Prompt-Engineering-Strategien (N-shot, CoT, Temperatur) keine effektiven Hebel sind, um die Leistungslücke in diesem Bereich zu schließen. Stattdessen deuten die Ergebnisse darauf hin, dass die Parametergröße ein kritischer Faktor ist und die Retrieval-Fundierung (RAG) der produktivste Weg zur Verbesserung darstellt, da sie eine signifikante Steigerung des Recalls bietet. Die Autoren positionieren ihren Datensatz und ihre Erkenntnisse als reproduzierbare Grundlage für zukünftige Forschung und legen nahe, dass sich zukünftige Arbeiten eher auf hierarchisches RAG, parameter-effizientes Fine-Tuning und hierarchie-bewusste Metriken konzentrieren sollten als auf weiteres Prompt-Tuning.