🤖 machine learning

Constructing Multi-label Hierarchical Classification Models for MITRE ATT&CK Text Tagging

Dieses Paper stellt ein Framework für die mehrdimensionale hierarchische Klassifizierung zur Automatisierung des MITRE ATT&CK-Text-Tagging vor, das durch den Einsatz klassischer Methoden des maschinellen Lernens eine hohe Genauigkeit erreicht (94 % auf der Taktik-Ebene und 82 % auf der Techniken-Ebene) und dabei GPT-4o signifikant übertrifft, während gleichzeitig die Notwendigkeit komplexer LLM-basierter Architekturen entfällt.

Ursprüngliche Autoren: Andrew Crossman, Jonah Dodd, Viralam Ramamurthy Chaithanya Kumar, Riyaz Mohammed, Andrew R. Plummer, Chandra Sekharudu, Deepak Warrier, Mohammad Yekrangian

Veröffentlicht 2026-01-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Andrew Crossman, Jonah Dodd, Viralam Ramamurthy Chaithanya Kumar, Riyaz Mohammed, Andrew R. Plummer, Chandra Sekharudu, Deepak Warrier, Mohammad Yekrangian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Bibliothekar, der versucht, eine riesige, chaotische Bibliothek mit Geschichten über Cyberangriffe zu organisieren. Jedes Mal, wenn eine neue Geschichte (ein „Bedrohungsbericht“) eingeht, müssen Sie sie unter bestimmten Kategorien ablegen, damit andere Bibliothekare sie später finden können.

In der Welt der Cybersicherheit wird dieses Ablagesystem als MITRE ATT&CK bezeichnet. Es ist wie ein riesiger, zweistufiger Aktenschrank:

Die obere Schublade (Taktiken): Diese beantwortet die Frage: „Warum hat der Bösewicht das getan?“ (z. B. „Sie wollten Passwörter stehlen“ oder „Sie wollten ihre Spuren verwischen“).
Die untere Schublade (Techniken): Diese beantwortet die Frage: „Wie haben sie es gemacht?“ (z. B. „Sie verwendeten eine bestimmte Art von Phishing-E-Mail“ oder „Sie nutzten eine bestimmte Software-Schwachstelle“).

Seit Jahren müssen Sicherheitsexperten diese Berichte lesen und sie manuell in die richtigen Schubladen einsortieren. Das ist langsam, langweilig und anfällig für menschliche Fehler. In dieser Arbeit geht es darum, einen Roboter-Assistenten zu bauen, der die Ablage für sie übernimmt.

Die „Bottom-Up“-Konstruktion

Anstatt zu versuchen, einen riesigen, komplexen Roboter von Grund auf neu zu bauen (ein „Top-Down“-Ansatz), haben die Autoren ihr System Schritt für Schritt aufgebaut, wie beim Stapeln von Blöcken. Sie begannen klein und fügten erst dann Komplexität hinzu, wenn sie wussten, dass der vorherige Block stabil war.

Schritt 1: Der einfache Klassifizierer (Der „Ein-Label“-Roboter)
Zuerst brachten sie einem einfachen maschinellen Lernmodell bei, einen Satz zu betrachten und ein „Warum“ (Taktik) zu erraten. Sie testeten dies gegen GPT-4o, den berühmten KI-Chatbot.
- Das Ergebnis: Der einfache Roboter gewann. Er hatte etwa 82 % der Antworten richtig, während GPT-4o nur 59 % richtig hatte. Die Autoren fanden heraus, dass für diese spezifische, strukturierte Aufgabe ein einfaches, klassisches Werkzeug tatsächlich besser war als die schicke, komplexe KI.
Schritt 2: Der Multi-Label-Klassifizierer (Der „Mehrere-Labels“-Roboter)
Das echte Leben ist nicht einfach; ein einzelner Satz hat oft mehrere Gründe für einen Angriff. Also verbesserten sie den Roboter so, dass er die obersten 3 „Warum“-Gründe errät, anstatt nur einen.
- Das Ergebnis: Dies steigerte ihre Genauigkeit auf 94 %.
Schritt 3: Der hierarchische Klassifizierer (Der „Vollständige Ablage“-Roboter)
Schließlich brachten sie dem Roboter bei, das „Warum“ und das „Wie“ gemeinsam zu erraten. Wenn der Roboter errät, dass das „Warum“ „Passwortdiebstahl“ ist, sucht er dann nach dem spezifischen „Wie“ (z. B. „Keylogging“).
- Das Ergebnis: Dieses System erreichte eine Genauigkeit von 82 % für die vollständige „Warum + Wie“-Kombination.

Das „Geheimrezept“ (Warum es funktioniert)

Die Autoren verwendeten nicht die neueste, teuerste „Generative KI“ oder komplexe neuronale Netze. Stattdessen nutzten sie klassisches maschinelles Lernen (speziell etwas namens „Stochastic Gradient Descent“ mit „TF-IDF“).

Stellen Sie sich das so vor: Anstatt einen superkomplexen, teuren Ferrari zu bauen, um zum Supermarkt zu fahren, bauten sie ein sehr zuverlässiges, effizientes Fahrrad. Es erledigt den Job schneller, kostet weniger und ist leichter zu reparieren.

Sie fügten auch ein Datenschutz-Schloss (Hashing) hinzu. Stellen Sie sich vor, sie wollten ihren Roboter mit der Welt teilen, aber sie waren besorgt, die geheimen Rezepte (die Daten) zu teilen, die zum Trainieren verwendet wurden. Sie fanden einen Weg, die Daten zu verschlüsseln, sodass der Roboter daraus lernen konnte, ohne dass jemand die ursprünglichen Zutaten sehen konnte. Dies ermöglichte es ihnen, den Roboter sicher für die Öffentlichkeit freizugeben.

Der „Neue Bibliotheks“-Test

Um zu sehen, ob ihr Roboter wirklich klug war, testeten sie ihn nicht nur mit den Geschichten, aus denen er lernte. Sie gaben ihm einen völlig neuen Satz von Geschichten über Finanzbedrohungen (spezifisch für das Bankwesen), die er noch nie gesehen hatte.

Das Ergebnis: Zuerlich war der Roboter verwirrt (weil die neuen Geschichten anders waren). Aber als sie ihm nur ein ganz kleines bisschen Training mit diesen neuen Geschichten gaben, lernte er schnell, sie korrekt abzuheften. Dies beweist, dass der Roboter flexibel ist und sich an neue Situationen anpassen kann, ohne eine massive Menge an neuen Daten zu benötigen.

Das große Fazit

Die Autoren kommen zu dem Schluss, dass man nicht immer die teuerste, komplexeste KI braucht, um ein Problem zu lösen. Indem sie die Aufgabe in kleine, handhabbare Schritte unterteilten und zuverlässige, klassische Werkzeuge verwendeten, bauten sie ein System, das:

Genauer ist als ein erstklassiger KI-Chatbot (GPT-4o) für diese spezifische Aufgabe.
Schneller und günstiger im Betrieb ist.
Sicher mit der Öffentlichkeit zu teilen ist.
Sich mit sehr wenig zusätzlichem Training an neue Arten von Daten anpassen kann.

Sie haben ihren „Roboter-Bibliothekar“ kostenlos auf GitHub zur Verfügung gestellt, damit andere Sicherheitsteams ihn nutzen können, um ihre eigenen Cyber-Bedrohungsberichte zu organisieren.

Technisches Resümee: Konstruktion von Modellen zur Multi-Label-Hierarchischen Klassifizierung für das MITRE ATT&CK Text-Tagging

Problemstellung

Das MITRE ATT&CK-Framework dient als kritische Wissensbasis für die Cybersicherheit und organisiert die Verhaltensweisen von Bedrohungsakteuren in einer Hierarchie aus Taktiken (dem „Warum“ oder den Zielen eines Angriffs) und Techniken (dem „Wie“ oder den verwendeten Methoden). Eine primäre Anwendung dieses Frameworks ist die manuelle Annotation von Cyber-Bedrohungsanalyseberichten, Schwachstellenbeschreibungen und Bedrohungsszenarien zur Erleichterung der nachgelagerten Analyse. Derzeit bleibt dieser Tagging-Prozess weitgehend manuell, was einen Engpass für Sicherheitsanalysten darstellt. Während verschiedene computergestützte Methoden zur Automatisierung oder Teilautomatisierung dieser Aufgabe entstanden sind, mangelt es an einem vereinheitlichten Framework zur Kategorisierung dieser Bemühungen sowie an Bedarf an robusten, zugänglichen Modellen, die nicht auf komplexen Large Language Models (LLMs) oder ressourcenintensiven Architekturen basieren.

Methodik

Die Autoren schlagen eine „Bottom-up“-stufenweise Konstruktion eines Multi-Label-hierarchischen Klassifizierungssystems vor, was von kanonischen „Top-down“-KI/ML-Architekturauswahlen abweicht. Dieser Ansatz wird durch eine stratifizierte „Task Space“-Formulierung (Tabelle 1) geleitet, welche die Tagging-Aufgaben nach Komplexität kategorisiert, reichend von der Single-Label-Multiclass-Klassifizierung bis hin zum komplexen Multi-Label-hierarchischen Mapping.

Die Methodik verläuft durch drei experimentelle Stufen unter Verwendung klassischer maschineller Lernverfahren (speziell Stochastic Gradient Descent (SGD) Klassifikatoren mit TF-IDF Vektorisierung):

Experimentelle Stufe 1 (Multiclass Tactic Classification):
- Aufgabe: Abbildung eines Satzes ( $D$ ) auf eine einzelne Taktik ( $T$ ).
- Ansatz: Ein Baseline-Multiclass-SGD-Modell wurde auf 14.405 allgemeinen Cyber-Intelligence-Sätzen trainiert.
- Vergleich: Das Modell wurde gegen GPT-4o mittels eines Text-to-Text Prompt-Engineering-Ansatzes evaluiert.
- Ergebnis: Das klassische SGD-Modell übertraf GPT-4o signifikant (81,95 % vs. 59 % Genauigkeit).
Experimentelle Stufe 2 (Multi-Label Hierarchical Construction):
- Aufgabe: Erweiterung des Systems zur Vorhersage mehrerer Taktiken und der dazugehörigen Techniken (Task ID 7 im Task Space).
- Ansatz:
  - Top-N Vorhersage: Das Multiclass-Modell wurde modifiziert, um die Top $n=3$ vorhergesagten Taktiken statt eines einzelnen Labels auszugeben.
  - Hierarchische Konditionierung: Für jede vorhergesagte Taktik wurde ein separates, taktikspezifisches Multiclass-SGD-Modell trainiert, um die Top $m=3$ assoziierten Techniken vorherzusagen.
  - Sicherheit: Ein Hashing-Mechanismus (MurmurHash3) wurde in den Vektorisierungsprozess integriert, um sensible Trainingsdaten zu verschlüsseln, ohne die Modellleistung zu beeinträchtigen, was die öffentliche Freigabe ermöglicht.
- Ergebnis: Das System erreichte eine Genauigkeit von etwa 94 % auf Taktik-Ebene und 82 % auf Technik-Ebene (beim Mapping als Multiclass-Transformationen).
Experimentelle Stufe 3 (Generalisierung auf neue Domänen):
- Aufgabe: Evaluierung des Baseline-Modells auf einem spärlichen Datensatz von 552 Finanz-Bedrohungsszenarien, die von Experten bei JPMorgan Chase erstellt wurden.
- Ansatz: Das auf allgemeinen Cyber-Intelligence-Daten trainierte Modell wurde auf diese neue Domäne getestet; anschließend wurde ein neues Modell von Grund auf neu auf einer kleinen Teilmenge der Bedrohungsszenario-Daten trainiert.
- Ergebnis: Das Baseline-Modell zeigte eine begrenzte Generalisierung (41 % Genauigkeit), aber die Architektur erwies sich als adaptiv und verbesserte sich auf 66 % Genauigkeit mit minimalem Retraining auf den neuen Domänendaten.

Kernbeiträge

Stratifizierte Task Space Formulierung: Die Arbeit liefert eine strukturierte Taxonomie (Tabelle 1) für die MITRE ATT&CK Text-Tagging-Aufgabe, welche bestehende AIML-Ansätze organisiert und Pfade für zukünftige Entwicklungen klärt.
Bottom-Up Modellkonstruktion: Die Autoren demonstrieren eine Methodik zum Aufbau hierarchischer Modelle, die durch Experimente die CISA „Best Practices for MITRE ATT&CK Mapping“ organisch kapseln, anstatt auf vordefinierten komplexen Architekturen zu basieren.
Performance vs. Komplexität: Die Studie etabliert, dass klassische Methoden des maschinellen Lernens (SGD + TF-IDF) die Leistung von State-of-the-Art-Methoden (einschließlich GPT-4o) für diese spezifische Aufgabe erreichen oder übertreffen können, wodurch die Abhängigkeit von LLMs, RAG, Agenten oder komplexen DAG-basierten Methoden entfällt.
Öffentliche Freigabe und Sicherheit: Die Autoren haben eine teilbare, sichere Version ihres Tagging-Systems (via GitHub) veröffentlicht, die Daten-Hashing zur zum Schutz sensibler Trainingsdaten enthält, während eine hohe Performance beibehalten wird.
Beispiel für Domänenadaption: Die Arbeit illustriert, wie das Baseline-Modell für neue, spärliche Datensätze (Finanz-Bedrohungsszenarien) gebootstrappt werden kann, was das Potenzial für Low-Resource-Modellbau hervorhebt.

Ergebnisse

Genauigkeit auf Taktik-Ebene: Der Multi-Label-hierarchische Ansatz erreichte etwa 94 % Genauigkeit auf der Taktik-Ebene.
Genauigkeit auf Technik-Ebene: Der Ansatz erreichte etwa 82 % Genauigkeit auf der Technik-Ebene.
GPT-4o Vergleich: GPT-4o erreichte lediglich ~60 % Genauigkeit auf der Taktik-Ebene, was signifikant unter dem klassischen SGD-Ansatz liegt.
Hierarchischer Nutzen: Die Ergebnisse bestätigten, dass der hierarchische Ansatz effektiv ist; Techniken wurden nie korrekt vorhergesagt, wenn sie mit einer falschen Taktik gepaart waren, was die konditionale Modellierungsstrategie validiert.
Datensicherheit: Die Integration von Hashing zur Datenverschlüsselung hatte keinen signifikanten Einfluss auf die Systemleistung, was eine sichere öffentliche Distribution ermöglichte.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Cybersecurity-Community eine Lücke zwischen spezialisierten Sicherheitsaktivitäten und der reichen mathematischen/technischen Literatur im Bereich AIML aufweist. Durch die Bereitstellung einer rigorosen Task-Formulierung und eines leistungsstarken, zugänglichen und sicheren Baseline-Modells zielen die Autoren darauf ab, diese Lücke zu schließen.

Die Autoren betonen, dass zwar viele Ansätze existieren, die breite Anwendung durch Sicherheitsexperten jedoch selten ist, oft aufgrund von Usability-Problemen in Low-Resource- oder Sparse-Data-Settings. Folglich liegt die Bedeutung dieser Arbeit nicht nur in den Leistungsmetriken, sondern in der Usability, Teilbarkeit und Erweiterbarkeit des vorgeschlagenen Systems. Das Paper postuliert, dass ein direkter, klassischer Machine-Learning-Ansatz, der die Datensicherheit respektiert und minimale Ressourcen erfordert, eine Voraussetzung für die tatsächliche Einführung automatisierter Tagging-Tools durch Sicherheitsexperten ist. Die Autoren erklären explizit, dass ihr Ziel darin besteht, weitere Entwicklungen zu erleichtern und ein Fundament für zukünftige Arbeiten zu schaffen, anstatt den Anspruch auf eine finale, perfekte Lösung zu erheben.