Operationalising Cyber Risk Management Using AI: Connecting Cyber Incidents to MITRE ATT&CK Techniques, Security Controls, and Metrics

Diese Arbeit stellt ein neues Framework vor, das mithilfe von Natural Language Processing und einem feinabgestimmten Transformer-Modell Cyber-Vorfälle automatisch den MITRE ATT&CK-Techniken zuordnet, um Organisationen, insbesondere kleinen Unternehmen, eine datengestützte Verbindung zwischen Bedrohungsintelligenz, CIS-Sicherheitskontrollen und messbaren Ergebnissen zu ermöglichen.

Das Wesentliche

🛡️ Das Problem: Der kleine Laden gegen die Cyber-Gangster

Stell dir vor, du hast einen kleinen Laden. Du hast keine riesige Sicherheitsabteilung mit 50 Experten, sondern vielleicht nur dich und einen Kollegen. Plötzlich greifen Cyber-Gangster an. Sie sind schlau, schnell und nutzen immer neue Tricks.

Das Problem:

1. Die Sprache: Die Berichte über die Angriffe sind wie ein Kauderwelsch aus technischen Fachbegriffen.
2. Die Werkzeuge: Es gibt riesige Listen mit Sicherheitsregeln (wie eine Checkliste für einen Hausbau) und riesige Listen mit den Tricks der Hacker (wie ein Kochbuch für Diebe).
3. Die Lücke: Niemand hat Zeit, manuell zu lesen, welcher Hacker-Trick welche Sicherheitsregel bricht. Und noch schwerer ist es zu sagen: "Hey, unsere Sicherheitsmaßnahmen funktionieren wirklich?" Oft ist das nur ein Bauchgefühl, keine harte Zahl.

💡 Die Lösung: Ein intelligenter Übersetzer und ein riesiges Nachschlagewerk

Die Forscher haben zwei Dinge entwickelt, um dieses Chaos zu ordnen:

1. Der "Cyber-Katalog" (Die große Landkarte)

Stell dir das wie einen riesigen, super-detaillierten Reiseführer vor.

• Auf der einen Seite stehen die Hacker-Tricks (die "MITRE ATT&CK"-Liste).
• Auf der anderen Seite stehen die Sicherheitsregeln (die "CIS Controls").
• Und dazwischen stehen Messzahlen (wie ein Tacho im Auto, der zeigt, ob die Bremse wirklich hält).

Früher mussten Sicherheitsleute diese drei Welten manuell zusammenfügen. Der "Cyber-Katalog" verbindet sie alle automatisch. Wenn ein Hacker einen Trick benutzt, zeigt das Buch sofort: "Achtung! Hier ist die passende Bremse, und hier ist der Tacho, der zeigt, ob sie funktioniert."

2. Der KI-Übersetzer (Der "Super-Leser")

Das Herzstück ist eine Künstliche Intelligenz (ein sogenanntes "Sentence Transformer"-Modell).

• Das Problem: Normale Computer sind gut im Lesen, aber schlecht darin, zu verstehen, was ein Hacker-Bericht wirklich bedeutet. Ein normaler Computer denkt vielleicht: "Der Text enthält das Wort 'Hacker', also ist er gefährlich." Aber er versteht nicht den Kontext.
• Die Lösung: Die Forscher haben diesem Computer eine Nachhilfe gegeben. Sie haben ihm Tausende von echten Hacker-Berichten und die passenden Lösungen gezeigt.
• Der Trick: Sie haben dem Computer nicht nur die richtigen Antworten gezeigt, sondern auch Fallstricke. Sie haben ihm gesagt: "Achtung, dieser Text sieht fast genauso aus wie der andere, ist aber eine Falle! Hier musst du genau hinschauen." Das nennt man "Hard Negative Mining" – wie ein Trainer, der einem Sportler die perfekten Gegner vorführt, damit er nicht nur gegen Anfänger gewinnt.

🚀 Was passiert jetzt? (Die Magie)

Stell dir vor, ein Hacker greift an.

1. Früher: Ein müder Analyst liest den Bericht, sucht stundenlang in Büchern, rät, welche Regel hilft, und schreibt einen Bericht. Das dauert lange und ist fehleranfällig.
2. Heute mit der KI: Der Bericht wird in das System geworfen.
   • Die KI "liest" den Bericht in Sekundenbruchteilen.
   • Sie erkennt sofort: "Aha, das ist Trick Nr. 42 aus dem Hacker-Kochbuch!"
   • Sie schaut im "Cyber-Katalog" nach: "Dafür brauchen wir Regel Nr. 15."
   • Sie zeigt dir den Tacho: "Deine Regel Nr. 15 funktioniert zu 85%. Wir müssen noch etwas nachbessern."

📊 Die Ergebnisse: Warum ist das so toll?

Die Forscher haben ihre KI getestet und sie mit anderen, "normalen" KIs verglichen.

• Die alte KI: Hatte nur eine Trefferquote von etwa 59 %. Das ist wie ein Wetterbericht, der oft falsch liegt.
• Die neue, trainierte KI: Hat eine Trefferquote von fast 79 % erreicht.
• Der Unterschied: Das ist ein riesiger Sprung! Die neue KI macht viel weniger Fehler und ist viel zuverlässiger. Sie ist wie ein erfahrener Detektiv im Vergleich zu einem Anfänger.

🌍 Warum ist das wichtig für jeden?

Besonders für kleine Firmen (die "Kleinlädchen"), die sich keine teuren Sicherheits-Teams leisten können.

• Gleichheit: Jetzt kann auch ein kleiner Laden so gut geschützt werden wie ein großer Konzern, weil die KI die Arbeit des Experten übernimmt.
• Klarheit: Man weiß endlich, ob das Geld für Sicherheit auch wirklich etwas bringt. Es ist nicht mehr nur "Wir hoffen, es hilft", sondern "Hier ist die Zahl, die zeigt, dass es hilft."

Zusammenfassung in einem Satz:

Die Forscher haben eine super-smarte KI gebaut, die wie ein Übersetzer zwischen der chaotischen Sprache der Hacker und den strengen Regeln der Sicherheitsbehörden funktioniert, und sie haben ein großes Nachschlagewerk erstellt, damit auch kleine Firmen sicher vor Cyber-Angriffen sind.

Technische Zusammenfassung

1. Problemstellung und Motivation

Die zunehmende Häufigkeit und Komplexität von Cyberangriffen stellt Organisationen, insbesondere kleine und mittlere Unternehmen (KMU), vor enorme Herausforderungen. Diese fehlen oft an Fachkräften, finanziellen Ressourcen und dem notwendigen Wissen, um robuste Sicherheitsprogramme zu implementieren.

Das Kernproblem liegt in den manuellen Workflows zur Analyse von Sicherheitsvorfällen:

• Manuelle Zuordnung: Analysten müssen unstrukturierte Vorfalldeskriptionen lesen, diese manuell mit Techniken des MITRE ATT&CK-Frameworks verknüpfen und anschließend passende CIS Critical Security Controls (Sicherheitskontrollen) identifizieren.
• Subjektivität und Skalierbarkeit: Dieser Prozess ist zeitaufwendig, fehleranfällig und skaliert nicht mit der Menge der Vorfälle.
• Fehlende Metriken: Die Bewertung der Wirksamkeit von Sicherheitskontrollen basiert oft auf subjektiven Einschätzungen statt auf objektiven, messbaren Daten (SMART-Kriterien).

Es besteht ein dringender Bedarf an automatisierten, skalierbaren Lösungen, die unstrukturierte Bedrohungsdaten in strukturierte, handlungsrelevante Sicherheitsmaßnahmen und messbare Metriken übersetzen.

2. Methodik

Die Autoren schlagen einen umfassenden Rahmen vor, der aus fünf Hauptphasen besteht:

A. Entwicklung des „Cyber Catalog"

Es wurde eine neue Wissensdatenbank, der Cyber Catalog, erstellt, die drei Domänen integriert:

1. CIS Critical Security Controls (v8): 18 Kontrollen mit 153 spezifischen Sicherheitsmaßnahmen (Safeguards).
2. MITRE ATT&CK: Eine Taxonomie von Angreifer-Techniken.
3. SMART-Metriken: Quantifizierbare Kennzahlen zur Messung der Kontrollwirksamkeit.
   Der Katalog stellt bidirektionale Abbildungen zwischen Bedrohungen (ATT&CK) und Abwehrmaßnahmen (CIS) her und verknüpft diese mit messbaren Ergebnissen.

B. Datenaufbereitung und Augmentierung

• Basis-Datensatz: Ausgehend von 762 manuell annotierten Vorfall-Technik-Paaren aus der European Repository of Cyber Incidents (EuRepoC).
• Synthetische Augmentierung: Um die Datenmenge für das Fine-Tuning von Transformer-Modellen zu erhöhen, wurde ein Large Language Model (GPT-5) eingesetzt, um 100 semantisch ähnliche, aber lexikalisch diverse Varianten pro Originalvorfall zu generieren.
• Qualitätssicherung: Die synthetischen Daten wurden manuell geprüft und mittels BERTScore (F1-Score > 0,75) auf semantische Treue bewertet.
• Hard Negative Mining: Um das Problem der „One-to-Many"-Beziehung (ein Vorfall kann mehrere Techniken haben) zu lösen, wurden absichtlich schwer zu unterscheidende, falsche Techniken (Hard Negatives) generiert, um die Diskriminationsfähigkeit des Modells zu trainieren.
• Finaler Datensatz: 74.986 hochwertige Incident-Technik-Paare (80% Training, 10% Validierung, 10% Test).

C. Modellarchitektur und Training

• Basis-Modell: all-mpnet-base-v2 (ein Sentence-Transformer auf MPNet-Basis).
• Loss-Funktion: Anpassung der Multiple Negatives Ranking Loss (MNRL). Um das Problem von „False Negatives" bei Duplikaten innerhalb eines Batches zu vermeiden, wurde ein duplicate-aware DataLoader implementiert, der sicherstellt, dass keine positiven Beispiele innerhalb eines Batches dupliziert sind.
• Training: Fine-Tuning über 10 Epochen mit einer Lernrate von $2 \times 10^{-5}$ und einem Batch-Größe von 16.

3. Schlüsselergebnisse

Das feinabgestimmte Modell (ft_mpnet_v6) wurde gegen drei führende Baseline-Modelle getestet und zeigte deutliche Überlegenheit:

• Korrelationsmetriken:

  • Spearman-Rangkorrelation ($\rho$): 0,7894 (vs. 0,5852 beim besten Baseline-Modell). Dies entspricht einer Verbesserung ($\Delta\rho$) von ca. +0,2042.
  • Pearson-Korrelation ($r$): 0,8756.
  • Interpretation: Das Modell erreicht eine „sehr starke" Korrelation und kann Vorfälle und Techniken zuverlässig nach Ähnlichkeit sortieren.

• Fehlermetriken:

  • Mean Absolute Error (MAE): 0,1352 (vs. ~0,53 bei Baselines). Eine Reduktion des Fehlers um ca. 74%.
  • Mean Squared Error (MSE): 0,0272 (vs. ~0,29 bei Baselines).
  • Verteilung: Die Fehlerverteilung des Modells ist eng um Null konzentriert, was auf hohe Konsistenz und geringe Ausreißerwahrscheinlichkeit hindeutet.

4. Hauptbeiträge

1. Cyber Catalog: Eine öffentlich verfügbare, strukturierte Wissensdatenbank, die CIS Controls, MITRE ATT&CK und SMART-Metriken integriert und so die Lücke zwischen Bedrohungsinformationen und operativer Sicherheit schließt.
2. Methodische Innovation: Ein Ansatz zur Erstellung hochwertiger Trainingsdaten durch synthetische Augmentierung mit LLMs, kombiniert mit einer modifizierten Loss-Funktion (duplicate-aware) und Hard Negative Mining, um spezifische Herausforderungen von Cyber-Daten (One-to-Many-Mappings) zu lösen.
3. Performance-Gewinn: Der Nachweis, dass domänenspezifisches Fine-Tuning von allgemeinen Sentence-Transformern die Genauigkeit bei der Zuordnung von Vorfällen zu ATT&CK-Techniken signifikant steigert (ca. 37% relative Verbesserung).

5. Bedeutung und Anwendung

Die vorgestellte Arbeit hat weitreichende praktische Implikationen für das Cyber-Risiko-Management:

• Automatisierung: Ermöglicht die schnelle, automatische Triage von Vorfällen, was besonders für KMU mit begrenzten Personalkapazitäten entscheidend ist.
• Datengetriebene Entscheidungen: Durch die Verknüpfung von Vorfällen mit CIS Controls und Metriken können Organisationen Lücken in ihrer Sicherheitspostur identifizieren und Investitionen priorisieren.
• Objektive Bewertung: Statt subjektiver Einschätzungen können Sicherheitskontrollen anhand quantifizierbarer Metriken überwacht werden.
• Ressourcenschonung: Der öffentlich zugängliche Katalog und das Modell ermöglichen es Organisationen, ohne tiefes Expertenwissen in mehreren Frameworks eine evidenzbasierte Sicherheitsstrategie zu verfolgen.

Zusammenfassend bietet das Paper einen operationalisierbaren Ansatz, der KI nutzt, um die komplexe Übersetzung von unstrukturierten Bedrohungsdaten in messbare Sicherheitsmaßnahmen zu automatisieren und damit die Cyber-Resilienz von Organisationen zu stärken.