🤖 machine learning

Vendor-Conditioned Contrastive Learning for Predicting Organizational Cyber Threat Targets

Dieser Beitrag stellt TRACE vor, ein auf CySecBERT basierendes kontrastives Lernframework, das durch vendor-spezifische Bedingungen und einen groß angelegten, multi-quelligen Korpus aus 352.866 Beiträgen einen State-of-the-Art-Genauigkeitswert bei der Vorhersage von Zielen für Cyberbedrohungen in Organisationen erreicht und gleichzeitig Robustheit gegenüber zeitlichen Verteilungsverschiebungen demonstriert.

Ursprüngliche Autoren: Benjamin M. Ampel

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Benjamin M. Ampel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Untergrund-Internet als einen riesigen, chaotischen Basar vor, in dem Hacker sich versammeln, um Geheimnisse, Werkzeuge und Baupläne zum Eindringen in Computer zu handeln. Diese „Hacker-Foren" sind täglich mit Tausenden von Beiträgen gefüllt. Die große Frage für Sicherheitsexperten lautet: Wen versuchen diese Hacker anzugreifen? Zielen sie auf Banken, Videospielunternehmen oder Krankenhaussysteme ab?

Diese Arbeit stellt ein neues Werkzeug namens TRACE (Temporal Representation and Classification of Exploits) vor, das wie ein superkluger Detektiv funktioniert, um diese Frage zu beantworten. Hier ist die Funktionsweise, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Die Sprache der Hacker ändert sich

Stellen Sie sich Hacker-Slang als sich schnell entwickelndes Dialekt vor. Genau wie Jugendliche heute andere Wörter verwenden als vor 20 Jahren, ändern Hacker die Art und Weise, wie sie ihre Werkzeuge beschreiben. Ein Modell (ein Computerprogramm), das auf alten Forum-Beiträgen trainiert wurde, könnte bei neuen Beiträgen verwirrt sein, weil sich der Wortschatz verschoben hat.

Wenn Sie einen Detektiv an Kriminalberichten aus den 2010er-Jahren schulen, könnte er ein Verbrechen aus dem Jahr 2025 übersehen, weil die Kriminellen neue Codes verwenden. Die Arbeit argumentiert, dass die meisten früheren Tools scheiterten, weil sie dieses „Zeitreise"-Problem nicht berücksichtigten. Sie funktionierten gut mit alten Daten, strauchelten jedoch, wenn sie mit neuen, zukünftigen Daten konfrontiert wurden.

2. Die Daten: Eine massive Zeitkapsel

Um TRACE zu entwickeln, durchsuchten die Forscher nicht nur ein paar Foren. Sie gruben in einer massiven „Zeitkapsel" mit 8,7 Millionen Beiträgen aus 35 verschiedenen Quellen (wie Hacker-Foren, Fehlerdatenbanken und Darknet-Märkten) über einen Zeitraum von 30 Jahren (von 1990 bis 2026).

Aus diesem Berg an Text reinigten und organisierten sie 129.126 spezifische Beiträge, die eindeutig ein Zielunternehmen oder eine Branche erwähnten. Sie sortierten diese in sieben „Eimer" (Kategorien) ein, wie zum Beispiel:

CMS / Open Source (wie WordPress oder Linux)
Unternehmenssoftware (wie große Unternehmenswerkzeuge)
Gaming
Netzwerktechnik
Und andere.

3. Die Lösung: TRACEs „Zwei-Gehirn"-Ansatz

TRACE basiert auf einem vortrainierten KI-Gehirn namens CySecBERT, das bereits viel über Cybersecurity-Jargon weiß. Die Forscher gaben ihm jedoch ein spezielles Upgrade mittels Contrastive Learning (kontrastives Lernen).

Stellen Sie sich dieses Upgrade als ein Sortierspiel vor:

Das Ziel: Die KI muss erraten, zu welchem „Eimer" (Branche) ein Hacker-Beitrag gehört.
Der Trick: Die Forscher sagten der KI: „Bevor du den Eimer errätst, stelle sicher, dass du Beiträge zuerst nach dem Hersteller (dem Firmennamen) gruppiert hast."
- Wenn zwei Beiträge „Microsoft" erwähnen, wird die KI gezwungen, ihre internen „mentalen Fingerabdrücke" sehr ähnlich zu gestalten, selbst wenn sie über verschiedene Produkte sprechen.
- Wenn zwei Beiträge „Google" und „Microsoft" erwähnen, wird die KI gezwungen, ihre Fingerabdrücke sehr unterschiedlich zu gestalten.

Warum hilft das?
Stellen Sie sich vor, Sie versuchen, einen Haufen durcheinandergeratener Socken zu sortieren. Wenn Sie nur auf die Farbe (die Branche) schauen, könnten Sie verwirrt sein, weil einige Socken ähnlich sind. Aber wenn Sie sie zuerst nach Marke (dem Hersteller) gruppieren, lernen Sie die spezifischen Muster dieser Marke. Sobald die KI die „Markenmuster" von Microsoft oder Apple versteht, wird sie viel besser darin, die Branche zu erraten, zu der sie gehören, selbst wenn sich die Sprache im Laufe der Zeit ändert.

4. Der Test: Die „Zukunft"-Herausforderung

Die Forscher testeten TRACE nicht nur an zufälligen Daten. Sie richteten einen Zeitreise-Test ein:

Training: Die KI studierte Beiträge aus der Zeit vor 2022.
Test: Anschließend wurde die KI gebeten, Ziele für Beiträge aus 2024 und darüber hinaus vorherzusagen.

Das ist wie ein Schüler, der mit einem Lehrbuch aus dem Jahr 2020 unterrichtet wird und dann eine Abschlussprüfung auf Basis von Nachrichten aus dem Jahr 2025 erhält. Die meisten anderen Methoden bestanden diesen Test nicht, weil sie mit der neuen Sprache nicht umgehen konnten.

5. Die Ergebnisse: Ein neuer Champion

TRACE überrannte die Konkurrenz.

Die Punktzahl: Es erreichte eine Genauigkeit von 97 % (speziell ein makroskopischer F1-Score von 97,00 %) bei den zukünftigen Daten.
Die Konkurrenz: Es schlug 17 andere Methoden, darunter Standard-Maschinenlernmodelle und andere fortschrittliche KI-Transformer.
Das Geheimnis: Die Arbeit ergab, dass die Art des Wörterbuchs, das die KI verwendete, wichtiger war als die Architektur der KI. Eine KI, die speziell auf Hacker-Texte trainiert wurde (CySecBERT), war einem auf allgemeines Englisch trainierten Modell weit überlegen. Darüber hinaus gab der „Hersteller-Sortier"-Trick (kontrastives Lernen) einen signifikanten Schub, insbesondere für seltene Kategorien wie Gaming, wo die Genauigkeit um fast 20 % verbessert wurde.

Zusammenfassung

Kurz gesagt stellt die Arbeit TRACE vor, ein Werkzeug, das durch die Analyse von Forum-Beiträgen vorhersagt, welche Organisationen Hacker ins Visier nehmen. Es funktioniert besser als frühere Tools, weil es:

Einen massiven, 30-jährigen Datensatz echten Hacker-Gesprächs verwendet.
Einen „herstellerbedingten" Trick einsetzt, um der KI beizubringen, erst unternehmensspezifische Muster zu erkennen.
Beweist, dass es die Zukunft bewältigen kann, indem es erfolgreich Ziele auf Daten aus Jahren vorhersagt, die es noch nie gesehen hatte.

Das Ergebnis ist ein System, das Sicherheitsteams hilft, schnell zu verstehen: „Hey, Hacker sprechen gerade über unsere Branche", was es ihnen ermöglicht, sich zu verteidigen, bevor ein Angriff stattfindet.

Technisches Fazit: TRACE – Vendor-Conditioned Contrastive Learning zur Vorhersage von Zielen organisatorischer Cyberbedrohungen

Problemstellung
Cyberangriffe verursachen massive finanzielle Schäden, wobei die globalen Kosten bis 2029 jährlich auf 15,6 Billionen US-Dollar prognostiziert werden. Während Cyber Threat Intelligence (CTI) stark auf die Analyse von Hackerforen angewiesen ist, in denen böswillige Akteure Exploit-Code und -Techniken austauschen, besteht in der aktuellen Forschung eine kritische Lücke: die Identifizierung, welche spezifischen Organisationen von diesen Exploits angegriffen werden. Vorangegangene Arbeiten konzentrierten sich auf die Erkennung von Exploits, die Zuordnung zu MITRE ATT&CK oder die sprachübergreifende Erkennung, jedoch selten auf die Vorhersage organisatorischer Ziele. Darüber hinaus berücksichtigen bestehende Modelle häufig keine temporale Verteilungsverschiebung. Da neue Anbieter, Produkte und Schwachstellen entstehen, entwickelt sich die in Exploit-Beiträgen verwendete Sprache weiter. Modelle, die auf historischen Daten trainiert wurden, können Muster erlernen, die bei der Anwendung auf zukünftige Beiträge unzuverlässig werden, was Evaluierungsprotokolle erfordert, die eine zukunftsgerichtete Generalisierung statt statischer Genauigkeit testen.

Methodik
Um diese Herausforderungen zu adressieren, schlagen die Autoren TRACE (Temporal Representation and Classification of Exploits) vor, ein Framework, das darauf ausgelegt ist, organisatorische Ziele vorherzusagen und gleichzeitig Robustheit gegenüber temporaler Drift zu gewährleisten.

Datenerstellung:
- Die Autoren erstellten ein groß angelegtes, multi-quelliges Korpus unter Nutzung des HackerSignal-Datensatzes, der 8,7 Millionen Beiträge aus 35 Quellen (einschließlich Hackerforen, Exploit-Datenbanken und Darknet-Märkten) über drei Jahrzehnte (1990–2026) aggregiert.
- Daraus wurde eine Teilmenge von 352.866 englischen Beiträgen aus quellenreichen Exploit-Quellen für die Entitätsextraktion ausgewählt.
- Ein kuratiertes Gazetteer mit mehr als 150 Mustern für Anbieter- und Produktnamen wurde verwendet, um Anbieterreferenzen zu extrahieren und zu normalisieren, wobei sie sieben organisatorischen Kategorien zugeordnet wurden (z. B. CMS/Open Source, Unternehmenssoftware, Webplattform, Netzwerk/IoT, Mobil, Gaming, Datenbank).
- Dieser Prozess ergab einen Goldstandard-Datensatz von 129.126 Proben.
- Temporale Aufteilung: Um reale Einsatzszenarien zu simulieren und Datenlecks zu vermeiden, wurden die Daten chronologisch aufgeteilt: Training auf Beiträgen vor 2022 (125.963 Proben), Validierung auf 2022–2023 und Testen auf 2024+ (Out-of-Distribution/OOD).
Modellarchitektur (TRACE):
- Basis-Encoder: Das Framework nutzt CySecBERT, einen BERT-base-Encoder, der speziell auf Cybersecurity-Korpora vortrainiert wurde, um spezialisiertes Vokabular (CVEs, Shell-Befehle, obfuskate Payloads) zu verarbeiten.
- Dual-Head-Design:
  - Klassifizierungs-Head: Eine lineare Schicht bildet die [CLS]-Repräsentation des Encoders auf die Logits der sieben organisatorischen Kategorien ab, optimiert mittels Standard-Cross-Entropy-Verlust ( $L_{CE}$ ).
  - Contrastive Projection Head: Ein zweischichtiger MLP projiziert die Repräsentation in einen 128-dimensionalen Raum. Dieser Head wird mittels eines Supervised Contrastive (SupCon)-Verlusts ( $L_{SC}$ ) optimiert.
- Vendor-Conditioned Objective: Im Gegensatz zur Standardklassifizierung gruppiert der Contrastive-Loss Proben nach Anbieteridentität statt nach organisatorischer Kategorie. Er zieht Embeddings von Beiträgen, die denselben Anbieter diskutieren, zusammen und drängt verschiedene Anbieter auseinander. Dies nutzt die Beobachtung aus, dass Exploit-Beiträge für denselben Anbieter spezifisches Vokabular und Code-Muster teilen, die über breitere Kategorien hinweg gelten.
- Trainingsziel: Der Gesamtverlust ist eine gewichtete Summe: $L = L_{CE} + \lambda L_{SC}$ , wobei $\lambda = 0,1$ . Dies stellt sicher, dass die Klassifizierung das primäre Ziel bleibt, während das kontrastive Ziel den Embedding-Raum vendor-kohärent gestaltet.

Hauptbeiträge

Groß angelegtes multi-quelliges Korpus: Die Erstellung eines gelabelten Datensatzes mit 129.126 Proben, abgeleitet aus 9 verschiedenen Exploit-Datenbanken und Hackerforen, der drei Jahrzehnte Daten abdeckt.
Vendor-Conditioned Contrastive Learning: Die Einführung einer Fine-Tuning-Strategie, die die Anbieteridentität als zusätzliches Überwachungssignal nutzt. Dieser Ansatz regt das Modell an, Repräsentationen zu erlernen, die die Struktur auf Anbieter-Ebene bewahren, was die Generalisierung unter temporaler Verteilungsverschiebung verbessert.
Temporale OOD-Evaluierung: Ein rigoroses Evaluierungsprotokoll, das die Modellleistung auf zukünftigen Daten (2024+) testet und die Fähigkeit des Frameworks demonstriert, sich entwickelnde Exploit-Sprache zu bewältigen.

Experimentelle Ergebnisse
Das TRACE-Framework wurde gegen 17 Benchmark-Modelle evaluiert, darunter klassische ML-Verfahren (Naïve Bayes, SVM, Logistische Regression), Deep-Learning-Architekturen (RNN, LSTM, CNN, Transformer) mit GloVe- und FastText-Embeddings sowie vortrainierte Transformer (BERT, RoBERTa, ModernBERT, CySecBERT).

Leistung: TRACE erreichte einen Macro F1-Score von 97,00 % und eine Genauigkeit von 98,65 % auf dem temporalen OOD-Testset und übertraf damit alle Baselines signifikant.
Vergleich mit Baselines:
- Domain Adaptation: Domänenspezifisches Vortraining erwies sich als kritisch. CySecBERT (F1=94,45 %) übertraf den allgemeinen BERT (89,29 %) und RoBERTa (84,36 %) signifikant.
- Embeddings: Für Deep-Learning-Baselines übertrafen FastText-Embeddings, die auf dem Exploit-Korpus trainiert wurden, konsistent generische GloVe-Embeddings (z. B. BiLSTM: 81,84 % vs. 63,11 %).
- Contrastive Gain: Das vendor-conditioned contrastive Ziel brachte eine erhebliche Steigerung gegenüber dem Standard-Fine-Tuning von CySecBERT und verbesserte den F1-Score um 2,55 Prozentpunkte (von 94,45 % auf 97,00 %).
Kategorien-spezifische Analyse: TRACE zeigte die signifikanteste Verbesserung in Kategorien mit geringer Unterstützung, insbesondere Gaming (F1 stieg von 72,34 % auf 91,80 %), indem es vendor-kohärente Repräsentationen erlernte, die seltene Klassen besser trennten.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass TRACE einen robusten Mechanismus für proaktive CTI bietet, der Stakeholdern ermöglicht, schnell zu identifizieren, welche Branchen von aufkommenden Exploits angegriffen werden. Die Studie hebt hervor, dass die Wahl der Embeddings der einzelne signifikanteste Faktor für die Modellleistung ist; domänenspezifisches Vortraining und korpus-trainierte Embeddings sind essenziell für den Umgang mit dem spezialisierten Jargon von Hacker-Communities.

Die Autoren betonen, dass ihre temporale OOD-Evaluierung eine realistische Einschätzung der Modellnützlichkeit bietet, da Modelle, die auf statischen historischen Daten trainiert wurden, oft versagen, wenn sie gegen sich entwickelnde Bedrohungen eingesetzt werden. Durch die Integration der Struktur auf Anbieter-Ebene in das Lernziel zeigt TRACE, dass zusätzliche Metadaten die diskriminierende Kraft von Repräsentationen für die Vorhersage organisatorischer Ziele verbessern können, selbst wenn sich das Zielvokabular und die Muster im Laufe der Zeit verschieben.

Limitationen
Die Autoren stellen fest, dass ihre gazetteer-basierte Kennzeichnung, obwohl hochpräzise, Anbieter verpassen kann, die nicht im Wörterbuch enthalten sind. Darüber hinaus fasst die 7-Kategorien-Taxonomie Organisationen in breite Gruppen zusammen, was Grenzen verwischen kann (z. B. die Unterscheidung zwischen Webplattformen und Open-Source-CMS). Die geringen Probenanzahlen für Kategorien wie Datenbank (2 Testproben) und Gaming (30 Testproben) begrenzen die statistische Zuverlässigkeit der kategorien-spezifischen Metriken für diese spezifischen Klassen.