Technische Samenvatting: HackerSignal

Probleemstelling

Moderne toegepaste cybersecurity staat voor een centrale uitdaging in het begrijpen van hoe cyberdreigingen ontstaan, zich verspreiden en verband houden met kwetsbaarheden. Signalen die deze trajecten volgen, zijn verspreid over heterogene tekstgebaseerde bronnen, waaronder hackerforums, publieke exploit-databases, officiële kwetsbaarheidsadviezen (bijv. NVD, CISA KEV) en open-source fix-commits. Bestaande publieke datasets in dit domein omvatten doorgaans slechts één laag of een subset van deze bronnen en zijn vaak eigendom van derden. Bovendien ontbreken gestructureerde datasets die de discours van de hackercommunity koppelen aan formele kwetsbaarheidsregistraties grotendeels in de publieke literatuur. Huidige benchmarks missen vaak temporele strengheid, falen in het evalueren van hoe modellen generaliseren naar dreigingen die op het moment van training nog niet bestonden, en lijden vaak aan problemen met datalekken die prestatieclaims opblazen.

Methodologie

De auteurs introduceren HackerSignal, een grootschalig, temporeel gestructureerd, multi-bron corpus en benchmark ontworpen om de discours van de hackercommunity te koppelen aan de volledige CVE-kwetsbaarheidslevenscyclus.

Datasetconstructie

• Schaal en Omvang: De dataset aggregeert 7,45 miljoen exact gededupliceerde documenten van 64 publieke forum- en bronidentificatoren, verspreid over een 8-laags bronhiërarchie en een 36-jaar venster (1990–2026).
• Bronlagen: Het corpus integreert:
  1. Hacker- en beveiligingsgemeenschappen (6,97 miljoen rijen, inclusief darkweb-marktplaatsen en beveiligingsborden).
  2. Kwetsbaarheidsreferenties (NVD).
  3. Exploit-archieven (bijv. ExploitDB).
  4. Exploit Q&A-referenties.
  5. Adviesreferenties.
  6. Bug-bounty-onthullingen.
  7. Referenties naar fix-commits.
  8. Exploitatie-referenties (CISA KEV).
• Unificatie: Alle bronnen worden genormaliseerd naar een gemeenschappelijk JSONL-schema, unificatie door een gedeelde CVE-identificatienamespace. Een aparte CVE-index koppelt records aan referenties via foreign keys, wat cross-bron joins mogelijk maakt.
• Preprocessing: Dataverzameling omvatte officiële API's, inname van bestaande publieke datasets en ethisch webscraping. Verwerkingsstappen omvatten Unicode-normalisatie, HTML-strippen, URL-vervanging, witruimte-inzakking en filtering voor niet-Engelse inhoud en korte berichten (<20 tekens). Exacte deduplicatie (SHA-256) en near-deduplicatie (MinHash-LSH) werden toegepast.
• Temporele splits: Om prospectieve generalisatie te waarborgen, is de data temporeel gesplitst:
  • Taak 1 & 3: Train (<2022), Validatie (2022–2023), Test (2024+).
  • Taak 2: Train (<2020), Validatie (2020–2022), Test (≥2023).

Benchmarktaken

Het artikel definieert drie benchmarktaken om temporele out-of-distribution (OOD) generalisatie te evalueren:

1. CVE-koppeling Retrieval (CVE-R): Een cross-bron entiteit-grondingstaak waarbij het model de juiste CVE-beschrijving uit het NVD-corpus (340K entries) ophaalt op basis van een exploit/advies-tekstquery.
   • Baselines: BM25, dichte bi-encoders (MiniLM, mpnet, BGE, E5) en een hybride sparse+dense aanpak.
2. Exploit Type Classificatie (ETC): Een 8-klasse classificatietaken die kwetsbaarheidstypen voorspelt (bijv. Injectie, XSS, Memory Corruption, RCE) op basis van exploit-tekst.
   • Baselines: Bag-of-words classifiers (Decision Tree, TF-IDF+LR, SVM), RNN's (RNN, GRU, LSTM, BiLSTM) en een domeinspecifieke transformer (SecBERT).
3. Temporele Generalisatie (TG): Een strikte retrieval-taak identiek aan Taak 1, maar met een CVE-disjuncte constraint ($C_{train} \cap C_{test} = \emptyset$). Modellen moeten generaliseren naar volledig onbekende kwetsbaarheidsbeschrijvingen, waardoor memorisatie van specifieke CVE-entries wordt voorkomen.

Evaluatieprotocollen

• Leakage-audits: De auteurs auditeren expliciet op temporele en bronlekken en verifiëren CVE-disjunctie programmatisch.
• Baseline-ladder: Volgend op BEIR- en WILDS-methodologieën, maakt de evaluatie gebruik van een heterogene ladder van modellen, variërend van lexicaal (BM25) tot dichte en hybride architecturen.
• Metrieken: Retrieval-taken gebruiken Recall@k en Mean Reciprocal Rank (MRR); classificatie gebruikt Macro-F1 en per-klasse F1.

Belangrijkste Resultaten

• CVE-koppeling Retrieval (Taak 1): Het E5-base-v2-model behaalde de hoogste prestatie met een MRR van 0,587, wat beter is dan de hybride BM25+mpnet-aanpak (0,567) en andere symmetrische bi-encoders. Dit suggereert dat asymmetrisch query/passage-prefix training bijzonder effectief is voor cross-bron CVE-gronding.
• Exploit Type Classificatie (Taak 2): Het BiLSTM-model behaalde de beste Macro-F1 van 0,871, wat beter is dan de beste bag-of-words baseline (SVM bij 0,799) en de domeinspecifieke SecBERT (0,846). Dit geeft aan dat bidirectionele context cruciaal is voor exploit-tekst, terwijl domeinspecifieke pre-training slechts bescheiden voordelen bood ten opzichte van standaard architecturen.
• Temporele Generalisatie (Taak 3): Onder strikte CVE-disjuncte condities leidde E5-base-v2 opnieuw met een MRR van 0,602. Modellen behielden over het algemeen of verbeterden hun prestaties ten opzichte van Taak 1, wat bevestigt dat de temporele splits effectief betekenisvolle memorisatie van trainingsdata hebben voorkomen.

Belangrijkste Bijdragen

1. Een Temporeel Gefundeerd CTI-corpus: Een dataset van 7,45 miljoen documenten die acht bronlagen beslaat met CVE-koppelingsmetadata, die diverse NLP-taken ondersteunt buiten de drie benchmarks om (bijv. samenvatting van exploit-code, topic modeling).
2. Drie Benchmarktaken: Een suite van taken met temporele train/val/test-splits ontworpen om progressief moeilijkere generalisatie te testen, inclusief cross-bron retrieval, 8-klasse classificatie en prospectieve CVE-disjuncte evaluatie.
3. Governance- en Transparantieartefacten: Een volledige model-ladder, diagnose van bron-snelwegen, hand-auditpakketten, een datasheet en een addendum voor release-governance om integriteit te waarborgen en datalekken te voorkomen.

Betekenis en Claims

Het artikel positioneert HackerSignal als een fundamentele resource voor temporele out-of-distribution cyber threat intelligence (CTI). De primaire betekenis ligt in:

• De Koppeling Overbruggen: Het is een van de eerste publieke benchmarks die het volledige traject in kaart brengt van de discours van de hackercommunity naar formele kwetsbaarheidsregistraties en software-fixes.
• Strenge Evaluatie: Door temporele splits en CVE-disjuncte constraints af te dwingen, adresseert het het veelvoorkomende probleem van opgeblazen benchmarkclaims veroorzaakt door datalekken en niet-prospectieve evaluatie.
• Focus op Defensief Onderzoek: De dataset is expliciet samengesteld voor defensief onderzoek, met governance-regels die het fine-tunen van geautomatiseerde exploit-modellen of het de-anonimiseren van gebruikers verbieden.

De auteurs erkennen beperkingen, met name dat CVE-koppelingen metadata-afgeleid zijn in plaats van door experts beoordeeld (wat ruis introduceert), dat cross-linguale retrieval niet is geëvalueerd, en dat rerankers voor grote taalmodellen niet zijn opgenomen vanwege rekentkosten. Echter, de release van de code, data en Croissant-metadata heeft tot doel toekomstige uitbreidingen te ondersteunen in samenvatting van exploit-code, analyse van community-interacties en cross-linguale CTI-extractie.