Vendor-Conditioned Contrastive Learning for Predicting Organizational Cyber Threat Targets

Technische Samenvatting: TRACE – Vendor-geconditioneerde Contrastieve Lering voor het Voorspellen van Organisatorische Cyberbedreigingsdoelen

Probleemstelling
Cyberaanvallen veroorzaken enorme financiële schade, met wereldwijde kosten die naar verwachting tegen 2029 jaarlijks $15,6 biljoen zullen bedragen. Hoewel Cyber Threat Intelligence (CTI) sterk afhankelijk is van de analyse van hackerforums waar kwaadaardige actoren exploit-code en -technieken delen, bestaat er een kritieke lacune in het huidige onderzoek: het identificeren van welke specifieke organisaties door deze exploits worden targeted. Vorig werk heeft zich gericht op exploit-identificatie, MITRE ATT&CK-mapping of cross-linguale detectie, maar zelden op het voorspellen van organisatorische doelen. Bovendien slagen bestaande modellen er vaak niet in om rekening te houden met temporele distributieverandering. Naarmate nieuwe leveranciers, producten en kwetsbaarheden ontstaan, evolueert de taal die in exploit-berichten wordt gebruikt. Modellen die zijn getraind op historische data kunnen patronen leren die onbetrouwbaar worden wanneer ze worden toegepast op toekomstige berichten, wat evaluatieprotocollen vereist die vooruitziende generalisatie testen in plaats van statische nauwkeurigheid.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs TRACE (Temporal Representation and Classification of Exploits) voor, een raamwerk dat is ontworpen om organisatorische doelen te voorspellen terwijl het robuustheid behoudt tegen temporele drift.

1. Dataconstructie:

   • De auteurs hebben een grootschalig, multi-bron corpus samengesteld met gebruikmaking van het HackerSignal-dataset, dat 8,7 miljoen berichten uit 35 bronnen (inclusief hackerforums, exploit-databases en darknet-markten) over een periode van drie decennia (1990–2026) aggregeert.
   • Hiervan is een subset van 352.866 Engelstalige berichten uit bronnen met veel exploits geselecteerd voor entiteitsextractie.
   • Een gecureerde gazetteer met meer dan 150 leverancier- en productnaampatronen werd gebruikt om leveranciersverwijzingen te extraheren en te normaliseren, waarbij ze werden gemapt naar zeven organisatorische categorieën (bijv. CMS/Open Source, Enterprise Software, Web Platform, Netwerk/IoT, Mobiel, Gaming, Database).
   • Dit proces leverde een goudstandaard-dataset van 129.126 samples op.
   • Temporele splitsing: Om een realistische implementatie te simuleren en datalekken te voorkomen, werd de data chronologisch gesplitst: training op berichten voor 2022 (125.963 samples), validatie op 2022–2023, en testen op 2024+ (Out-of-Distribution/OOD).

2. Modelarchitectuur (TRACE):

   • Basis-encoder: Het raamwerk maakt gebruik van CySecBERT, een BERT-base-encoder die specifiek is vooraf getraind op cybersecurity-corpora om gespecialiseerde woordenschat (CVE's, shell-opdrachten, geobfuscateerde payloads) te hanteren.
   • Twee-kop ontwerp:
     • Classificatiekop: Een lineaire laag mapt de [CLS]-representatie van de encoder af op de logits van de zeven organisatorische categorieën, geoptimaliseerd via standaard cross-entropy-verlies ($L_{CE}$).
     • Contrastieve projectiekop: Een twee-laags MLP projecteert de representatie in een 128-dimensionale ruimte. Deze kop wordt geoptimaliseerd met behulp van een Supervised Contrastive (SupCon) verlies ($L_{SC}$).
   • Vendor-geconditioneerd doel: In tegenstelling tot standaard classificatie, groepeert het contrastieve verlies samples op leveranciersidentiteit in plaats van op organisatorische categorie. Het trekt embeddings van berichten aan die over dezelfde leverancier gaan, terwijl het verschillende leveranciers uit elkaar duwt. Dit maakt gebruik van de observatie dat exploit-berichten voor dezelfde leverancier specifieke woordenschat en codepatronen delen die over bredere categorieën heen gaan.
   • Trainingsdoel: Het totale verlies is een gewogen som: $L = L_{CE} + \lambda L_{SC}$, waarbij $\lambda = 0,1$. Dit zorgt ervoor dat classificatie het primaire doel blijft, terwijl het contrastieve doel de embedding-ruimte vormgeeft om leveranciers-coherent te zijn.

Belangrijkste Bijdragen

1. Grootschalig Multi-bron Corpus: Het creëren van een gelabelde dataset van 129.126 samples afgeleid van 9 verschillende exploit-databases en hackerforums, die drie decennia aan data bestrijken.
2. Vendor-geconditioneerde Contrastieve Lering: De introductie van een fine-tuning-strategie die leveranciersidentiteit gebruikt als een bijkomend supervisie-signaal. Deze aanpak moedigt het model aan om representaties te leren die de structuur op leveranciersniveau behouden, waardoor de generalisatie onder temporele distributieverandering verbetert.
3. Temporele OOD-evaluatie: Een rigoureus evaluatieprotocol dat de prestaties van het model test op toekomstige data (2024+), waarmee het vermogen van het raamwerk om te gaan met de evoluerende taal van exploits wordt aangetoond.

Experimentele Resultaten
Het TRACE-raamwerk werd geëvalueerd tegen 17 benchmarkmodellen, waaronder klassieke ML (Naïve Bayes, SVM, Logistische Regressie), deep learning-architecturen (RNN, LSTM, CNN, Transformers) met GloVe- en FastText-embeddings, en vooraf getrainde transformers (BERT, RoBERTa, ModernBERT, CySecBERT).

• Prestaties: TRACE behaalde een Macro F1-score van 97,00% en een nauwkeurigheid van 98,65% op de temporele OOD-testset, wat significant beter was dan alle baselines.
• Vergelijking met Baselines:
  • Domeinadaptatie: Domeinspecifieke vooraftraining bleek cruciaal. CySecBERT (F1=94,45%) presteerde significant beter dan algemeen doel BERT (89,29%) en RoBERTa (84,36%).
  • Embeddings: Voor deep learning-baselines presteerden FastText-embeddings getraind op het exploit-corpus consequent beter dan generieke GloVe-embeddings (bijv. BiLSTM: 81,84% vs. 63,11%).
  • Contrastieve Winst: Het vendor-geconditioneerde contrastieve doel bood een aanzienlijke boost ten opzichte van standaard CySecBERT fine-tuning, met een verbetering van de F1-score met 2,55 procentpunten (van 94,45% naar 97,00%).
• Per-categorie Analyse: TRACE liet de meest significante verbetering zien in categorieën met weinig ondersteuning, met name Gaming (F1 steeg van 72,34% naar 91,80%), door leveranciers-coherente representaties te leren die zeldzame klassen beter scheidden.

Betekenis en Claims
Het artikel claimt dat TRACE een robuust mechanisme biedt voor proactieve CTI, waardoor belanghebbenden snel kunnen identificeren welke sectoren worden targeted door opkomende exploits. De studie benadrukt dat de keuze van embeddings de meest significante factor is in modelprestaties; domeinspecifieke vooraftraining en corpus-getrainde embeddings zijn essentieel om om te gaan met de gespecialiseerde jargon van hackercommunities.

De auteurs benadrukken dat hun temporele OOD-evaluatie een realistische beoordeling biedt van de bruikbaarheid van het model, aangezien modellen die zijn getraind op statische historische data vaak falen wanneer ze worden ingezet tegen evoluerende bedreigingen. Door leveranciersniveau-structuur te integreren in het leerdoel, toont TRACE aan dat bijkomende metadata de discriminerende kracht van representaties voor het voorspellen van organisatorische doelen kan versterken, zelfs wanneer de doelwoordenschat en patronen in de loop van de tijd veranderen.

Beperkingen
De auteurs merken op dat hun op gazetteer gebaseerde labeling, hoewel van hoge precisie, leveranciers die niet in het woordenboek staan, kan missen. Bovendien aggregeert de 7-categorie taxonomie organisaties in brede groepen, wat grenzen kan vervagen (bijv. het onderscheid tussen Web Platforms en Open Source CMS). De lage aantallen samples voor categorieën zoals Database (2 test-samples) en Gaming (30 test-samples) beperken de statistische betrouwbaarheid van per-categorie metrieken voor die specifieke klassen.