What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review

Diese systematische Übersichtsarbeit analysiert 80 Studien zur automatisierten Extraktion von Taktiken, Techniken und Prozeduren (TTPs) aus unstrukturierten Texten, wobei sie den aktuellen Stand der Technik von regelbasierten Ansätzen hin zu Transformer- und LLM-Modellen beleuchtet und gleichzeitig kritische Herausforderungen wie mangelnde Reproduzierbarkeit, eingeschränkte Datensätze und ein Ungleichgewicht bei den untersuchten Aufgaben identifiziert.

Das Wesentliche

Stellen Sie sich vor, die Welt der Cyber-Sicherheit ist wie ein riesiges, chaotisches Archiv in einer Bibliothek. In diesem Archiv liegen Millionen von Berichten über Diebe, Hacker und Spione (die „Gegner"). Diese Berichte sind nicht in ordentlichen Tabellen geschrieben, sondern als lange, verworrene Geschichten, Notizen und Gerüchte auf Zetteln, die überall herumliegen.

Die Aufgabe der Sicherheits-Experten ist es, aus diesen Geschichten herauszufinden: Was genau haben die Diebe gemacht? Wie haben sie es gemacht? Und welche Werkzeuge haben sie benutzt?

In der Fachsprache nennt man diese Informationen TTPs (Taktiken, Techniken und Verfahren).

• Taktik: Das Warum (z. B. „Der Dieb will ins Haus einbrechen").
• Technik: Das Wie (z. B. „Der Dieb benutzt einen Dietrich").
• Verfahren: Die genauen Schritte (z. B. „Zuerst das Fenster aufhebeln, dann den Alarm umgehen").

Das Problem ist: Es gibt so viele dieser Berichte, dass kein Mensch sie alle lesen und verstehen kann. Deshalb versuchen Forscher, Computerprogramme zu bauen, die diese Geschichten automatisch lesen und die wichtigen Informationen (die TTPs) herauspicken.

Diese wissenschaftliche Arbeit ist wie eine große Inspektion aller bisherigen Versuche, solche Computerprogramme zu bauen. Die Autoren haben 80 verschiedene Studien untersucht, um zu sehen: Was funktioniert gut? Was funktioniert schlecht? Und wo müssen wir noch nachbessern?

Hier ist eine einfache Zusammenfassung, was sie herausgefunden haben, mit ein paar bildhaften Vergleichen:

1. Das Hauptproblem: Der „Einzel-Technik"-Fokus

Die meisten bisherigen Computerprogramme sind wie Spezialisten, die nur eine Sache können.

• Die meisten Programme sind darauf trainiert, nur die Technik zu erkennen (z. B. „Aha, hier steht 'Dietrich'").
• Aber sie sind viel schlechter darin, die Taktik zu verstehen (das große Ganze: „Der Dieb will sich unbemerkt einschleichen") oder gezielt nach bestimmten Techniken in einem riesigen Text zu suchen.
• Analogie: Es ist, als ob Sie einen Detektiv hätten, der nur nach dem Wort „Messer" sucht, aber nicht versteht, dass der Täter vielleicht eine „Waffe" benutzt hat, die nicht unbedingt ein Messer ist.

2. Der Wandel der Werkzeuge: Von der Lupe zum Superhirn

Die Art und Weise, wie diese Programme arbeiten, hat sich stark verändert:

• Früher: Man benutzte einfache Regeln (wie eine Checkliste: „Wenn das Wort 'Hack' vorkommt, dann ist es ein Angriff"). Das war wie eine Lupe, die nur sehr einfache Muster findet.
• Mittlerweile: Man nutzt moderne KI-Modelle (Transformer wie BERT), die den Kontext besser verstehen. Das ist wie ein erfahrener Detektiv, der den ganzen Satz liest und versteht, was gemeint ist.
• Heute: Man beginnt, riesige Sprachmodelle (LLMs, wie ChatGPT) zu nutzen. Das sind wie Super-Intelligenzen, die ganze Bücher lesen und Zusammenhänge herstellen können. Aber diese neuen Werkzeuge werden noch nicht oft genug eingesetzt.

3. Das große Problem: Die „Geheimnisse" der Forscher

Ein sehr wichtiger Punkt der Studie ist die Reproduzierbarkeit (also: Kann man das Ergebnis nachprüfen?).

• Viele Forscher bauen ihre Programme mit geheimen Daten (z. B. interne Berichte von Firmen, die niemand sonst sehen darf).
• Andere geben den Code nicht heraus.
• Analogie: Stellen Sie sich vor, ein Koch sagt: „Mein Kuchen schmeckt fantastisch!", aber er verrät Ihnen nicht das Rezept und benutzt Zutaten, die Sie nicht kaufen können. Niemand kann nachkochen und prüfen, ob der Kuchen wirklich so gut ist.
• In dieser Studie haben die Autoren festgestellt: Nur sehr wenige Forscher teilen ihre Daten und ihren Code. Das macht es schwer, die besten Methoden zu finden und zu vergleichen.

4. Wo liegen die Lücken?

Die Studie zeigt, dass wir noch nicht am Ziel sind:

• Zu einfache Tests: Viele Programme werden nur an kleinen, sauberen Datensätzen getestet. In der echten Welt sind die Berichte aber chaotisch, voller Fehler und in verschiedenen Sprachen.
• Fehlende Zusammenhänge: Die Programme erkennen oft einzelne Wörter, aber sie verstehen nicht die Geschichte dahinter. Sie wissen nicht, dass Schritt A vor Schritt B kommen muss.
• Mangelnde Vielfalt: Die meisten Programme lernen nur aus englischen Texten. Was ist mit Berichten auf Chinesisch, Russisch oder Arabisch?

5. Der Ausblick: Was müssen wir tun?

Die Autoren geben einen Fahrplan für die Zukunft:

• Öffentliche Bibliotheken: Wir brauchen mehr geteilte, öffentliche Datensätze, damit jeder forschen kann.
• Bessere Tests: Wir müssen die Programme an echten, chaotischen Daten testen, nicht nur an sauberen Übungstexten.
• Ganze Geschichten verstehen: Die KI muss lernen, ganze Absätze zu lesen und die zeitliche Abfolge von Angriffen zu verstehen, nicht nur einzelne Sätze.

Fazit

Diese Studie ist wie ein Fahrplan für die Zukunft der Cyber-Sicherheit. Sie sagt uns: „Wir haben gute Werkzeuge entwickelt, um die Taten der Hacker zu verstehen, aber wir nutzen sie noch nicht richtig, wir testen sie nicht genug im echten Leben, und wir teilen unsere Geheimnisse zu wenig."

Wenn wir diese Probleme lösen, können wir in Zukunft viel schneller und besser gegen Cyber-Angriffe vorgehen, bevor sie großen Schaden anrichten. Es geht darum, aus dem chaotischen Archiv der Hacker-Berichte endlich eine klare, verständliche Landkarte zu machen, auf der sich die Verteidiger sicher bewegen können.

Technische Zusammenfassung

1. Problemstellung

Die Cyberbedrohungslandschaft entwickelt sich rasant weiter. Angreifer passen ihre Taktiken, Techniken und Verfahren (TTPs – Tactics, Techniques, and Procedures) kontinuierlich an, um Entdeckungen zu vermeiden. Für Verteidiger ist es entscheidend, diese Verhaltensmuster aus Cyber Threat Intelligence (CTI) zu verstehen, um effektive Abwehrstrategien zu entwickeln.
Das Hauptproblem besteht darin, dass die Menge an unstrukturierten CTI-Berichten (von Sicherheitsanbietern, Forschungsgruppen etc.) exponentiell wächst. Die manuelle Extraktion und Zuordnung von TTPs zu strukturierten Wissensdatenbanken wie MITRE ATT&CK ist arbeitsintensiv, fehleranfällig und skaliert nicht mit der Geschwindigkeit neuer Bedrohungen.
Zwar gibt es bereits Ansätze zur automatisierten Extraktion, doch die aktuelle Forschungslage ist fragmentiert: Es fehlen einheitliche Definitionen, die verwendeten Datensätze variieren stark, die Evaluierungsmetriken sind inkonsistent, und viele Studien nutzen proprietäre Daten. Dies erschwert den Vergleich von Methoden und die Einschätzung des aktuellen Standes der Technik (State-of-the-Art).

2. Methodik

Die Autoren führten eine systematische Literaturübersicht (Systematic Literature Review - SLR) durch, die sich an den Richtlinien von Kitchenham et al. orientiert.

• Datenerhebung: Es wurden fünf führende wissenschaftliche Datenbanken (IEEE Xplore, ACM Digital Library, ScienceDirect, SpringerLink, ACL) durchsucht.
• Suchstrategie: Suchbegriffe umfassten „MITRE AND ATT&CK", „MITRE OR ATT&CK" und „Tactics AND Techniques AND Procedures". Der Zeitraum erstreckte sich von 2015 bis Juni 2025.
• Auswahlprozess:
  • Initial wurden 3.219 Publikationen identifiziert.
  • Nach Anwendung von Ein- und Ausschlusskriterien (z. B. Peer-Review, Fokus auf TTP-Extraktion, englische Sprache) und einem „Snowballing"-Verfahren (Vorwärts- und Rückwärts-Snowballing) wurden die Studien gefiltert.
  • Zwei unabhängige Reviewer bewerteten die Relevanz. Die Übereinstimmung wurde mit dem Cohen's Kappa-Koeffizienten (0,86) validiert.
• Endkorpus: 80 relevante peer-reviewte Studien wurden für die qualitative Analyse ausgewählt.
• Analyse: Die Autoren extrahierten Daten zu sieben Forschungsfragen (RQs) und kategorisierten die Studien mittels qualitativem Open Coding in Dimensionen wie Extraktionsziele, Datenquellen, Annotation, Methodik, Evaluierung und Reproduzierbarkeit.

3. Schlüsselbeiträge

Das Paper liefert eine strukturierte Synthese des Forschungsgebiets und identifiziert folgende Hauptbeiträge:

1. Kategorisierung der Extraktionsziele: Einteilung der Studien in fünf Hauptkategorien (Taktik-Klassifikation, Technik-Klassifikation, Technik-Suche, IoC-Extraktion & TTP, Wissensgraphen-Konstruktion).
2. Methodologische Übersicht: Systematische Darstellung der verwendeten Ansätze, von regelbasierten Systemen über traditionelles Machine Learning bis hin zu Transformer-Architekturen und Large Language Models (LLMs).
3. Datenquellen-Analyse: Identifikation der genutzten Datenquellen (z. B. CTI-Berichte, Schwachstellen-Datenbanken, System-Logs) und deren Verteilung.
4. Reproduzierbarkeits-Bewertung: Kritische Analyse der Verfügbarkeit von Code, Datensätzen und Annotationen.
5. Identifikation von Lücken: Aufzeigen von Defiziten in Evaluierungspraktiken, Generalisierbarkeit und Annotationstiefe.
6. Empfehlungen: Ableitung konkreter Forschungsrichtungen für die Zukunft.

4. Wichtige Ergebnisse und Erkenntnisse

A. Extraktionsziele (RQ1)

• Dominanz der Technik-Klassifikation: Mit 39 von 80 Studien ist die automatische Klassifizierung von Texten in spezifische MITRE ATT&CK-Techniken die häufigste Aufgabe.
• Unterversorgung anderer Bereiche: Taktik-Klassifikation (6 Studien), Technik-Suche (5 Studien) und die Extraktion von Indikatoren für Kompromittierung (IoCs) im Kontext von TTPs (6 Studien) sind weniger erforscht.
• Wissensgraphen (KG): 24 Studien konzentrieren sich auf den Aufbau von Wissensgraphen, um Entitäten und Relationen zu modellieren, was jedoch oft noch nicht die Komplexität vollständiger STIX-Schemata erreicht.

B. Datenquellen und Vorverarbeitung (RQ2, RQ3, RQ4)

• Hauptdatenquelle: CTI-Berichte (z. B. von FireEye, Kaspersky) sind die primäre Quelle (28 Studien). Benchmark-Datensätze und öffentliche Wissensdatenbanken (MITRE ATT&CK, CAPEC) werden in 48 Studien genutzt.
• Datenbeschaffung: Häufig werden Web-Crawler eingesetzt, was jedoch zu viel Rauschen führt. Nur wenige Studien nutzen API-basierte Ansätze oder legen Wert auf Lizenzkonformität (Creative Commons).
• Annotation: Die meisten Datensätze sind manuell annotiert (oft auf Satzebene), was teuer und zeitaufwendig ist. Die Qualitätssicherung durch Inter-Annotator-Übereinstimmung wird nur in wenigen Studien (4 von 80) explizit berichtet.

C. Methodische Ansätze (RQ5)

• Evolution der Modelle: Der Feld hat sich von regelbasierten Systemen und traditionellem ML (SVM, Random Forest) hin zu Transformer-Architekturen (BERT, RoBERTa, SecureBERT) entwickelt.
• Domain-Adaption: Spezialisierte Modelle wie SecureBERT oder CyBERT, die auf Cybersecurity-Texten vortrainiert wurden, zeigen bessere Ergebnisse als generische BERT-Modelle.
• LLM-Einsatz: Jüngste Studien (ab ca. 2023) beginnen, Large Language Models (LLMs wie LLaMA, GPT-3.5/4) für Few-Shot-Learning, Retrieval-Augmented Generation (RAG) und komplexe Schlussfolgerungen zu nutzen.
• Graph-Modelle: Graph Neural Networks (GNNs) und Knowledge Graph Embeddings werden zunehmend für die Modellierung von Beziehungen zwischen Entitäten eingesetzt.

D. Evaluierung und Reproduzierbarkeit (RQ6, RQ7)

• Metriken: Die meisten Studien nutzen Precision, Recall und F1-Score. Oft werden jedoch nur aggregierte Werte berichtet, ohne eine detaillierte Analyse pro Klasse oder die Herausforderungen von Multi-Label-Szenarien (ein Bericht enthält oft mehrere TTPs) angemessen zu adressieren.
• Reproduzierbarkeitskrise: Dies ist ein kritischer Befund.
  • Nur 12,5% der Studien stellen sowohl Code als auch Daten öffentlich zur Verfügung.
  • 50% der Studien geben keine klaren Angaben zur Verfügbarkeit von Ressourcen.
  • Viele Studien nutzen proprietäre oder nicht öffentlich zugängliche Datensätze, was eine unabhängige Validierung und den systematischen Benchmarking erschwert.

5. Signifikanz und zukünftige Forschungsrichtungen

Das Paper schließt mit einer Roadmap für zukünftige Arbeiten, um die Lücken zwischen akademischer Forschung und operativen Sicherheitsanforderungen zu schließen:

1. Operative Datensätze: Entwicklung und Veröffentlichung hochwertiger, öffentlich zugänglicher Datensätze, die echte, unstrukturierte CTI-Berichte aus der Praxis widerspiegeln (inkl. Rauschen und Mehrdeutigkeiten).
2. Multi-Label-Evaluierung: Übergang von vereinfachten Single-Label-Szenarien zu komplexen Multi-Label- und Hierarchie-Modellen, die das gleichzeitige Vorkommen mehrerer TTPs abbilden.
3. Granulare Berichterstattung: Detaillierte Metriken pro TTP-Kategorie und Datenquelle, anstatt nur aggregierter Scores.
4. Kontextbewusste Extraktion: Modelle, die nicht nur Sätze isoliert betrachten, sondern den gesamten Dokumentenkontext, zeitliche Abfolgen und kausale Zusammenhänge verstehen.
5. Robustheit und Generalisierung: Tests der Modelle über verschiedene Datensätze, Zeiträume und Bedrohungsdome hinweg, um Konzeptdrift und Domain-Shift zu adressieren.
6. Adversary Emulation: Nutzung von CTI und LLMs zur Generierung realistischer Angriffssequenzen für Simulationen und Tests von Abwehrsystemen.

Fazit:
Die Arbeit stellt einen Meilenstein für das Verständnis der automatisierten TTP-Extraktion dar. Sie zeigt, dass zwar erhebliche Fortschritte durch Deep Learning und LLMs erzielt wurden, die Forschung jedoch noch stark durch mangelnde Reproduzierbarkeit, eingeschränkte Datensätze und vereinfachte Evaluierungsmethoden behindert wird. Eine stärkere Ausrichtung auf reale operative Workflows und transparente Ressourcen ist notwendig, um die Technologie für die Cybersicherheit der Zukunft nutzbar zu machen.