Context-aware Entity-Relation Extraction for Threat Intelligence Knowledge Graphs

Technische Zusammenfassung: Kontextbewusste Entitäts-Relations-Extraktion für Threat-Intelligence-Wissensgraphen (CTiKG)

Problemstellung
Der Aufbau von Cybersecurity-Wissensgraphen (CKGs) ist unerlässlich, um diverse Cyber-Threat-Intelligence-Quellen (CTI) in strukturierte, abfragbare Formate zu überführen, die eine proaktive Verteidigung und Echtzeitanalyse unterstützen. Die Automatisierung dieses Prozesses wird jedoch durch den unstrukturierten Charakter von CTI-Berichten behindert, die komplexe Narrative, domänenspezifisches Fachvokabular und semantische Mehrdeutigkeiten aufweisen. Bestehende Ansätze fallen typischerweise in zwei Kategorien: Joint Extraction (JE) und Pipeline Extraction (PE). Während JE-Modelle Named Entity Recognition (NER) und Relation Extraction (RE) integrieren, um die Fehlerfortpflanzung zu reduzieren, leiden sie häufig unter Feature-Verwirrung, Schwierigkeiten mit überlappenden Relationen und mangelnder Flexibilität bei der modularen Optimierung. Im Gegensatz dazu ermöglichen PE-Ansätze ein modulares Design, sind jedoch anfällig für Fehlerfortpflanzung, bei der Ungenauigkeiten in der Entitätserkennung in die Relationsklassifizierung übergehen und die Gesamtqualität des Wissensgraphen verschlechtern. Darüber hinaus verließen frühere Iterationen von Pipeline-Frameworks (wie die vorherige Arbeit der Autoren, TiKG) sich auf generische Sprachmodelle oder Klassifikatoren (z. B. TDD-softmax), die inkonsistente Tagging-Sequenzen erzeugten und Schwierigkeiten mit cybersecurity-spezifischer Terminologie hatten.

Methodik
Die Arbeit stellt das Framework Context-aware Threat Intelligence Knowledge Graph (CTiKG) vor, eine Pipeline-Architektur, die darauf ausgelegt ist, die Einschränkungen früherer Modelle durch drei distincte Phasen zu adressieren:

1. Datenerfassung und -verarbeitung: Berichte werden aus Repositories (z. B. MITRE ATT&CK, APT-Repositories) bezogen und in Klartext umgewandelt. Die Vorverarbeitung umfasst eine Bereinigung (z. B. Obfuskation von URLs/E-Mails), um Roheingaben zu simulieren.
2. Entitäts-Relations-Extraktion: Diese Kernphase setzt zwei spezialisierte Module ein:
   • Entitätserkennung (NER): Die Autoren schlagen eine SecureBERT+-BiGRU-CRF-Architektur vor. Dieses Modell ersetzt den vorherigen TDD-softmax-Klassifikator durch eine Conditional Random Field (CRF)-Schicht, um gültige BIO-Tag-Übergänge durchzusetzen und die Sequenzkonsistenz zu verbessern. Es nutzt SecureBERT+, eine domänenadaptierte Variante von BERT, um kontextuelle Embeddings zu generieren, die dann von einer Bidirectional Gated Recurrent Unit (BiGRU) verarbeitet werden, um Token-Abhängigkeiten zu erfassen, bevor die CRF-Schicht die Token-Level-Klassifizierung durchführt.
   • Relations-Extraktion (RE): Unter der Erkenntnis, dass Relationstypen unabhängig sind und keine sequenziellen Abhängigkeiten aufweisen, nutzen die Autoren eine SecureBERT+-BiGRU-TDD (Time-Distributed Dense)-Architektur. Dieses Modell ersetzt die CRF-Schicht durch eine TDD-Schicht, um die Architektur zu vereinfachen und schnellere Inferenz zu ermöglichen. Entscheidend ist, dass diese Phase eine domänenspezifische Ontologie (inspiriert von UCO 2.0) integriert, um die Klassifizierung von Entitätspaaren zu steuern. Die Ontologie definiert 15 spezifische Relationstypen (z. B. affiliatedWith, targets, hasVulnerability) und wird verwendet, um ungültige Entitätspaare herauszufiltern, wodurch Fehlklassifizierungen gemindert werden.
3. Konstruktion und Analyse: Extrahierte Tripel werden in Neo4j gespeichert, wobei Entitäten als Knoten und Relationen als Kanten dienen, was eine abfragebasierte Abruf- und Analyse des konstruierten Graphen ermöglicht.

Hauptbeiträge

• Neuartige NER-Architektur: Die Einführung eines SecureBERT+-BiGRU-CRF-Modells, das über 21 Entitätskategorien hinweg eine F1-Score-Verbesserung von bis zu 4 % erzielt, indem es die inkonsistenten Tagging-Probleme früherer softmax-basierter Klassifikatoren löst.
• Verbesserte RE-Architektur: Ein neues SecureBERT+-BiGRU-TDD-Modell, das domänenspezifische kontextuelle Embeddings mit ontologiebasierter Fehlerkontrolle integriert und eine F1-Score-Verbesserung von bis zu 8 % für die Relations-Extraktion erzielt.
• Datensatzerweiterung und Veröffentlichung: Die Erstellung und Veröffentlichung von DNRTI-AUG-STIX2, einem erweiterten Datensatz, der von DNRTI-STIX2 abgeleitet ist. Dies umfasste die manuelle Annotation von 1.367 zusätzlichen Sätzen durch Sicherheitsexperten, um starke Klassenungleichgewichte zu adressieren und seltene Entitätstypen zu konsolidieren (z. B. Zusammenführung von SHA1, SHA2, MD5 zu einem einzigen HASH-Typ). Der Datensatz umfasst 21 Entitätstypen, die mit STIX 2.1 abgestimmt sind.
• Umfassendes Benchmarking: Umfassende Evaluierung auf dem Datensatz DNRTI-AUG-STIX2 mit zusätzlicher Validierung auf den Benchmarks DNRTI und STUCCO, die die Robustheit und Generalisierbarkeit des Frameworks demonstrieren.

Experimentelle Ergebnisse
Das vorgeschlagene CTiKG-Framework wurde gegen State-of-the-Art-Baselines (einschließlich BiLSTM-CRF, RoBERTa und vorherige TiKG-Varianten) unter Verwendung der Metriken Precision, Recall und F1-Score evaluiert:

• NER-Leistung: Das SecureBERT+-BiGRU-CRF-Modell erreichte einen F1-Score von 0,93 auf DNRTI-AUG-STIX2, 0,94 auf DNRTI und 0,98 auf STUCCO. Dies stellt einen 3–4 %-igen Gewinn gegenüber früheren Baselines dar. Die Ergebnisse zeigen, dass SecureBERT+ zwar signifikante Verbesserungen im Masked Language Modeling aufwies, die primären NER-Gewinne jedoch durch die Fähigkeit der CRF-Schicht, Sequenzabhängigkeiten zu modellieren, getrieben wurden.
• RE-Leistung: Das SecureBERT+-BiGRU-TDD-Modell erreichte einen F1-Score von 0,98 auf DNRTI-AUG-STIX2 und übertraf das vorherige TiKG-RE-Modul in allen Metriken um 6–8 %. Die Studie stellte fest, dass CRF-Schichten für die Relations-Extraktion keinen messbaren Vorteil gegenüber TDD boten, was die vereinfachte Architektur rechtfertigt.
• Generalisierung: Das Modell zeigte konsistent hohe Leistung über diverse Datensätze hinweg, einschließlich des vulnerabilitätsfokussierten STUCCO-Datensatzes, was auf konsistente sprachliche Muster in Vulnerability-Beschreibungen und die Domänenanpassung des Modells zurückzuführen ist.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass CTiKG ein robustes, sicherheitsbewusstes Framework für Bedrohungsanalyse, Profilierung und Verteidigungsstrategieentwicklung etabliert. Durch die Entkopplung von NER und RE unter gleichzeitiger Nutzung domänenspezifischer Embeddings und ontologischer Einschränkungen mindert das Framework effektiv die Fehlerfortpflanzung, die traditionellen Pipeline-Ansätzen innewohnt. Die Autoren betonen, dass die Integration von SecureBERT+ und der domänenspezifischen Ontologie die Präzision und Generalisierbarkeit von CKGs signifikant verbessert und eine genauere Transformation unstrukturierter CTI-Berichte in strukturierte Intelligenz ermöglicht. Die Veröffentlichung der kuratierten Datensätze und des Codes auf GitHub wird als wesentlicher Beitrag zur Förderung der Reproduzierbarkeit und weiterer Forschung in diesem Bereich hervorgehoben. Die Arbeit wird als Erweiterung des TiKG-Frameworks präsentiert, das spezifisch dessen Einschränkungen beim Umgang mit komplexen Datensätzen und cybersecurity-spezifischem Fachvokabular adressiert.