TIJERE: A Novel Threat Intelligence Joint Extraction Model Based on Analyst Expert Knowledge

Technische Zusammenfassung: TIJERE – Ein neuartiges Modell zur gemeinsamen Extraktion von Threat Intelligence basierend auf Expertenwissen von Analysten

Problemstellung
Die Extraktion strukturierter Threat Intelligence aus unstrukturierten Berichten ist entscheidend für den Aufbau von Cybersecurity-Wissensgraphen (CKGs), um die Bedrohungsanalyse zu automatisieren. Dieser Prozess stützt sich auf die Erkennung benannter Entitäten (NER) und die Relationsextraktion (RE). Während Modelle zur gemeinsamen Extraktion (JE) theoretische Vorteile gegenüber der Pipeline-Extraktion (PE) bieten, indem sie die Fehlerfortpflanzung reduzieren, sehen sich bestehende JE-Methoden im Bereich der Cybersicherheit mit erheblichen Hürden konfrontiert:

1. Überlappende Relationen: Sätze enthalten häufig mehrere Entitätenpaare, bei denen dieselben Entitäten in unterschiedlichen Rollen vorkommen, was Standard-Tagschemata nur schwer zu disambiguieren vermögen.
2. Feature-Verwechslung: Wenn Entitäts- und Relationsmerkmale nicht klar getrennt sind, haben Modelle Schwierigkeiten, beide Aufgaben gleichzeitig zu lernen, insbesondere wenn Satzduplizierung zur Behandlung von Überlappungen eingesetzt wird, was Rauschen einführt.
3. Mehrdeutige Relationstypen: Analysten verwenden häufig Ausdrücke außerhalb des standardisierten Vokabulars (z. B. „hasAttackTime"), die für generische Modelle semantisch unklar sind.
4. Mehrdeutigkeit der Domänensprache: Generische Sprachmodelle erfassen spezifische Cybersecurity-Jargonbegriffe (z. B. „Mimikatz") nicht, was zu einer schlechten Entitätserkennung und zur Fortpflanzung von Rauschen führt.
5. Datenknappheit: Es fehlt an öffentlich verfügbaren, gemeinsam gelabelten Datensätzen, die speziell für NER und RE im Bereich Cybersicherheit konzipiert sind.

Methodik: Das TIJERE-Framework
Die Autoren schlagen TIJERE vor, ein datengesteuertes JE-Framework, das die Extraktionsaufgabe als Problem der Multisequenz-Labeling-Repräsentation (MSLR) neu formuliert. Die Architektur besteht aus folgenden Schlüsselkomponenten:

• Multisequenz-Labeling-Repräsentation (MSLR): Anstatt einer einzigen Sequenz pro Satz generiert TIJERE eine separate Sequenz für jedes gültige Entitätenpaar innerhalb eines Satzes. Dieser Ansatz behandelt überlappende Relationen inhärent, indem er den Kontext für jede spezifische Relationsvorhersage isoliert.
• Expert-Domain-Features (EDFs): Um Feature-Verwechslungen und semantische Mehrdeutigkeiten zu lösen, integriert das Modell zwei expertengetriebene Merkmale in die MSLR:
  • Entitätstyp: Kodiert die semantische Kategorie des Subjekts und des Objekts (z. B. „HackOrg" und „Tool"). Dies versorgt das Modell mit domänenspezifischem Kontext und imitiert das Denken von Analysten (z. B. impliziert eine Hackergruppe, die ein Tool verwendet, eine „uses"-Relation).
  • Entitätsmaske: Eine vektorbasierte Darstellung, die die spezifischen Token hervorhebt, die zum betrachteten Entitätenpaar gehören, und das Modell anleitet, sich auf relevante Positionsinformationen zu konzentrieren.
• SecureBERT+-Embedding: Das Framework nutzt SecureBERT+, eine Variante von SecureBERT, die auf Cybersecurity-Texten feinabgestimmt wurde, um dynamische Embeddings zu erzeugen, die domänenspezifischen Jargon erfassen und sprachliche Mehrdeutigkeiten reduzieren.
• Modellarchitektur:
  • Encoder: SecureBERT+ gefolgt von einer BiGRU-Schicht zur Erfassung sequenzieller Abhängigkeiten.
  • NER-Head: Eine Dense-Schicht und eine Conditional Random Field (CRF)-Schicht für das Token-Level-Entitäts-Tagging.
  • RE-Head: Ein Entity-Pooling-Mechanismus aggregiert Token-Embeddings basierend auf der Entitätsmaske, verknüpft sie mit statischen Entitätstyp-Embeddings und leitet sie durch eine Dense-Schicht mit Softmax zur Relationsklassifizierung.
  • Verlustfunktion: Eine gewichtete Summe aus NER-Verlust (CRF) und RE-Verlust (Cross-Entropy) wird zur gemeinsamen Optimierung verwendet.

Hauptbeiträge

1. TIJERE-Modell: Eine neuartige Architektur, die MSLR mit expertengetriebenen Features (Entitätstyp und Maske) kombiniert, um überlappende Relationen und Feature-Verwechslungen zu adressieren, ohne auf externe regelbasierte Module zurückzugreifen, die Pipeline-Ansätze nachahmen.
2. DNRTI-JE-Datensatz: Die Einführung des ersten öffentlich verfügbaren, gemeinsam gelabelten Datensatzes für NER und RE im Bereich Cybersicherheit. Er erweitert den ursprünglichen DNRTI-Datensatz um 15 vordefinierte Relationstypen und eine Domänenontologie und umfasst 6.592 Sätze, die Advanced Persistent Threat (APT)-Gruppen beschreiben.
3. Empirische Validierung: Eine umfassende Evaluierung zeigt, dass TIJERE bestehende State-of-the-Art-JE- und PE-Methoden im Bereich Cybersicherheit übertrifft.

Experimentelle Ergebnisse
Auf dem DNRTI-JE-Datensatz evaluiert, erzielte das TIJERE-Modell (insbesondere die Variante SecureBERT+-BiGRU-CRF mit aktivierten EDFs) State-of-the-Art-Leistung:

• NER-Leistung: F1-Score von 0,93 (Precision: 0,93, Recall: 0,94).
• RE-Leistung: F1-Score von 0,98 (Precision: 0,98, Recall: 0,99).
• Ablationsstudien:
  • Die Aktivierung von EDFs verbesserte die RE-Leistung erheblich (z. B. sprang der BERT-CRF RE F1-Score von 0,44 auf 0,97), während die NER-Leistung stabil blieb.
  • Das Feature „Entitätstyp" allein erbrachte erhebliche Gewinne, doch die Kombination aus Entitätstyp und Entitätsmaske lieferte die höchste Genauigkeit, was die komplementäre Natur semantischer und positionsbezogener Hinweise bestätigt.
  • SecureBERT+-Varianten schnitten durchgehend besser ab als Standard-BERT- und RoBERTa-Modelle, was die Bedeutung domänenspezifischer Vortrainings unterstreicht.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass TIJERE den ersten datengesteuerten Ansatz darstellt, der speziell darauf ausgelegt ist, die einzigartigen Herausforderungen der gemeinsamen Extraktion im Bereich Cybersicherheit zu bewältigen. Durch die direkte Integration von Expertenwissen von Analysten in die Merkmalsrepräsentation des Modells (via EDFs) und die Nutzung einer Multisequenz-Labeling-Strategie mildert TIJERE effektiv Feature-Verwechslungen und Probleme überlappender Relationen, unter denen bestehende Methoden leiden.

Die Autoren behaupten, dass die Kombination aus TIJERE und dem standardisierten DNRTI-JE-Benchmark eine hochleistungsfähige Intelligence-Extraktion ermöglicht, die übertragbares Potenzial für andere Domänen bietet, die strukturierte Informationsextraktion erfordern, wie z. B. Gesundheitswesen, Finanzen und Bioinformatik. Die Arbeit betont, dass der Ansatz zwar Expertenwissen für das Feature-Engineering und die Datenmodellierung erfordert, aber eine robuste, effiziente Alternative zu komplexen, regelintensiven oder rechenintensiven bestehenden Lösungen bietet und so den Aufbau hochwertiger CKGs für eine proaktive Verteidigung erleichtert.