TIJERE: A Novel Threat Intelligence Joint Extraction Model Based on Analyst Expert Knowledge

Technische Samenvatting: TIJERE – Een Nieuw Model voor Gezamenlijke Extractie van Threat Intelligence Gebaseerd op Expertkennis van Analisten

Probleemstelling
De extractie van gestructureerde threat intelligence uit ongestructureerde rapporten is cruciaal voor het opbouwen van Cybersecurity Knowledge Graphs (CKGs) om threat-analyse te automatiseren. Dit proces is afhankelijk van Named Entity Recognition (NER) en Relation Extraction (RE). Hoewel Gezamenlijke Extractie (JE) modellen theoretische voordelen bieden ten opzichte van Pipeline Extractie (PE) door foutpropagatie te verminderen, staan bestaande JE-methoden in het cybersecuritydomein voor aanzienlijke hindernissen:

1. Overlappende Relaties: Zinnen bevatten vaak meerdere entiteitsparen die dezelfde entiteiten in verschillende rollen betrekken, wat standaard tagging-schema's moeite hebben om te ontwarren.
2. Feature-Verwarring: Wanneer entiteits- en relatiefuncties niet duidelijk gescheiden zijn, worstelen modellen om beide taken simultaan te leren, vooral wanneer zinsduplicatie wordt gebruikt om overlappingen te verwerken, wat ruis introduceert.
3. Ambigue Relatietypes: Analisten gebruiken vaak uitdrukkingen die niet in het vocabulaire voorkomen (bijvoorbeeld "hasAttackTime"), die semantische helderheid missen voor generieke modellen.
4. Domeintaal-Ambiguïteit: Generieke taalmodellen slagen er niet in cybersecurity-specifiek jargon (bijvoorbeeld "Mimikatz") te vangen, wat leidt tot slechte entiteitsdetectie en ruispropagatie.
5. Data-Schaarste: Er is een gebrek aan publiek beschikbare, gezamenlijk gelabelde datasets die specifiek zijn ontworpen voor cybersecurity NER en RE.

Methodologie: Het TIJERE Framework
De auteurs stellen TIJERE voor, een datagedreven JE-framework dat de extractietaak herformuleert als een Multisequence Labeling Representation (MSLR) probleem. De architectuur bestaat uit de volgende kerncomponenten:

• Multisequence Labeling Representation (MSLR): In plaats van één enkele sequentie per zin, genereert TIJERE een aparte sequentie voor elk geldig entiteitspaar binnen een zin. Deze aanpak behandelt overlappende relaties inherent door de context voor elke specifieke relatievoorspelling te isoleren.
• Expert Domein Features (EDFs): Om feature-verwarring en semantische ambiguïteit op te lossen, integreert het model twee door experts gestuurde features in de MSLR:
  • Entiteitstype: Codeert de semantische categorie van het onderwerp en het object (bijvoorbeeld "HackOrg" en "Tool"). Dit biedt het model domeinspecifieke context, waarbij het redeneren van analisten wordt nagebootst (bijvoorbeeld: een hacker-groep die een tool gebruikt impliceert een "gebruikt"-relatie).
  • Entiteitsmasker: Een vectorgebaseerde representatie die de specifieke tokens markeert die tot het onderzochte entiteitspaar behoren, waardoor het model wordt geleid om zich te richten op relevante positionele informatie.
• SecureBERT+ Embedding: Het framework maakt gebruik van SecureBERT+, een variant van SecureBERT die is fijn afgestemd op cybersecuritytekst, om dynamische embeddings te genereren die domeinspecifiek jargon vangen en taalambiguïteit verminderen.
• Modelarchitectuur:
  • Encoder: SecureBERT+ gevolgd door een BiGRU-laag om sequentiële afhankelijkheden te vangen.
  • NER-Head: Een Dense-laag en een Conditional Random Field (CRF)-laag voor token-niveau entiteitstaging.
  • RE-Head: Een entiteitspoolingmechanisme aggregeert token-embeddings op basis van het entiteitsmasker, concateneert deze met statische entiteitstype-embeddings en voert ze door een Dense-laag met Softmax voor relatieclassificatie.
  • Verliesfunctie: Een gewogen som van NER-verlies (CRF) en RE-verlies (Cross-Entropy) wordt gebruikt voor gezamenlijke optimalisatie.

Belangrijkste Bijdragen

1. TIJERE Model: Een nieuwe architectuur die MSLR combineert met door experts gestuurde features (entiteitstype en masker) om overlappende relaties en feature-verwarring aan te pakken zonder te vertrouwen op externe regelgebaseerde modules die pipeline-benaderingen nabootsen.
2. DNRTI-JE Dataset: De introductie van de eerste publiek beschikbare, gezamenlijk gelabelde dataset voor cybersecurity NER en RE. Deze breidt de originele DNRTI-dataset uit met 15 vooraf gedefinieerde relatietypes en een domein-ontologie, en beslaat 6.592 zinnen die Advanced Persistent Threat (APT)-groepen beschrijven.
3. Empirische Validatie: Een uitgebreide evaluatie die aantoont dat TIJERE bestaande state-of-the-art JE- en PE-methoden in het cybersecuritydomein overtreft.

Experimentele Resultaten
Geëvalueerd op de DNRTI-JE dataset, behaalde het TIJERE-model (specifiek de SecureBERT+-BiGRU-CRF-variant met ingeschakelde EDFs) state-of-the-art prestaties:

• NER-prestaties: F1-score van 0,93 (Precisie: 0,93, Recall: 0,94).
• RE-prestaties: F1-score van 0,98 (Precisie: 0,98, Recall: 0,99).
• Ablatiestudies:
  • Het inschakelen van EDFs verbeterde de RE-prestaties aanzienlijk (bijvoorbeeld sprong de BERT-CRF RE F1 van 0,44 naar 0,97), terwijl de NER-prestaties stabiel bleven.
  • Het "Entiteitstype"-feature alleen bood aanzienlijke winst, maar de combinatie van Entiteitstype en Entiteitsmasker leverde de hoogste nauwkeurigheid op, wat de complementaire aard van semantische en positionele aanwijzingen bevestigt.
  • SecureBERT+-varianten presteerden consequent beter dan standaard BERT- en RoBERTa-modellen, wat het belang van domeinspecifiek pretraining benadrukt.

Betekenis en Beweringen
Het artikel beweert dat TIJERE de eerste datagedreven aanpak vertegenwoordigt die specifiek is ontworpen om de unieke uitdagingen van gezamenlijke extractie in cybersecurity aan te pakken. Door expertkennis van analisten direct te integreren in de feature-representatie van het model (via EDFs) en gebruik te maken van een multisequence labeling-strategie, mitigeert TIJERE effectief feature-verwarring en problemen met overlappende relaties die bestaande methoden teisteren.

De auteurs stellen dat de combinatie van TIJERE en de gestandaardiseerde DNRTI-JE-benchmark hoogwaardige intelligence-extractie mogelijk maakt met overdraagbaar potentieel naar andere domeinen die gestructureerde informatieverwerking vereisen, zoals gezondheidszorg, financiën en bio-informatica. Het werk benadrukt dat hoewel de aanpak expertkennis vereist voor feature-engineering en datamodellering, het een robuust en efficiënt alternatief biedt voor complexe, regelzware of rekenkundig dure bestaande oplossingen, en zo de bouw van hoogwaardige CKGs voor proactieve verdediging faciliteert.