Technische Samenvatting: CTIConnect

Probleemstelling

Cyber Threat Intelligence (CTI) is essentieel voor proactieve defensie, maar het ecosysteem wordt gekenmerkt door een enorme omvang en extreme heterogeniteit. Het omvat gestructureerde kennisbanken (CVE, CWE, CAPEC, MITRE ATT&CK) en ongestructureerde rapporten van leveranciers, die fundamenteel verschillende schema's, vocabularia en abstractieniveaus hanteren. Hoewel Large Language Models (LLM's) over sterke redeneervermogens beschikken, schieten bestaande benchmarks tekort in het evalueren van LLM's in realistische, retrieval-augmented omgevingen. Huidige benchmarks zoals CTIBench en SEvenLLM vertrouwen ofwel op closed-book settings (het testen van enkel parametrisch geheugen) of richten zich op extractie uit een enkel rapport, waarbij het cruciale belang van het ophalen en synthetiseren van informatie uit diverse, onderling gekruiste bronnen wordt genegeerd.

Een specifiek geïdentificeerd probleem is de cross-source semantische kloof: queries die worden geuit in één vocabulaire (bijv. de narratieve tekst van een analist) slagen er systematisch niet in om relevante bewijslast te matchen die is gecodeerd in een andere vocabulaire (bijv. formele taxonomie-items). Deze kloof zorgt ervoor dat standaard embedding-gebaseerde retrieval faalt, omdat algemene Retrieval-Augmented Generation (RAG)-strategieën de lexicale en structurele mismatches die inherent zijn aan het CTI-domein niet kunnen overbruggen.

Methodologie

Benchmark Constructie (CTIConnect)

De auteurs hebben CTIConnect geconstrueerd, een verenigde evaluatieomgeving die vijf heterogene CTI-bronnen integreert in 1.860 door experts geverifieerde QA-paren. De constructie-pipeline bestaat uit drie stadia:

1. Seed Correlation Annotation: Grondwaarheid-correlaties worden vastgesteld vanuit gezaghebbende bronnen (MITRE/NVD-mappings) of via duale expert-annotatie voor ongestructureerde data.
2. Template-Constrained QA Synthesis: Correlaties worden getransformeerd naar taakspecifieke vragen en antwoorden met behulp van prompt-templates om formatconsistentie te waarborgen en hallucinatie te verminderen.
3. Multi-layered Quality Control: Een combinatie van LLM-gebaseerde filtering, onafhankelijke verificatie door domeinpraktijkers en finale adjudicatie door een senior CTI-analist waarborgt een hoge datakwaliteit.

Taaklandschap

De benchmark beslaat negen taken over drie categorieën, die alle cross-source richtingen in CTI-analyse vertegenwoordigen:

• Entity Linking (Gestructureerd $\to$ Gestructureerd): Het mappen van entries tussen taxonomieën (bijv. CVE naar CWE, CAPEC naar ATT&CK). Taken omvatten Root Cause Mapping (RCM), Weakness Instantiation (WIM), Attack Technique Derivation (ATD) en Exploitation Surface Discovery (ESD).
• Entity Attribution (Ongestructureerd $\to$ Gestructureerd): Het funderen van narratieve beschrijvingen in formele taxonomie-entries. Taken omvatten Attack Technique Attribution (ATA) en Vulnerability Catalog Attribution (VCA).
• Multi-Document Synthesis (Ongestructureerd $\to$ Ongestructureerd): Het aggregeren van intelligentie die verspreid is over meerdere rapporten van leveranciers. Taken omvatten Threat Actor Profiling (TAP), Malware Lineage Analysis (MLA) en Campaign Storyline Construction (CSC).

Retrieval Strategieën

De studie evalueert drie retrieval-configuraties:

1. Closed-Book (CB): Baseline gebruikmakend van enkel parametrische kennis.
2. Vanilla RAG (VR): Directe embedding van ruwe queries zonder transformatie.
3. Domeinspecifieke (DS) Strategieën: Op maat gemaakte benaderingen ontworpen om specifieke semantische kloven aan te pakken:
   • Extract-then-Retrieve (EtR): Voor Entity Linking extraheert de LLM semantische inhoud en canonicaliseert deze naar keyphrases die in lijn zijn met de doel-kennisbank voordat de retrieval plaatsvindt.
   • Decompose-then-Retrieve (DtR): Voor Entity Attribution wordt de input gedecomposeerd in atomaire gedragingen, die elk onafhankelijk worden canonicaliseerd en opgehaald voordat ze worden geaggregeerd.
   • CSKG-Guided RAG: Voor Multi-Document Synthesis wordt een Cybersecurity Knowledge Graph (CSKG) gebruikt om entity aliases (bijv. "APT29" $\equiv$ "Cozy Bear") op te lossen en rapporten te rangschikken op basis van canonical entities in plaats van ruwe tekstchunks.

Experimentele Resultaten

Evaluatie Setup

Tien state-of-the-art LLM's (variërend van open-source tot propriëtaire families, bijv. GPT-5, LLaMA-3-405B, Claude-Sonnet-4) werden geëvalueerd op een subset van 691 paren, met verificatie op de volledige benchmark van 1.860 paren voor representatieve modellen.

Belangrijkste Bevindingen

1. Prestatiewinst: Domeinspecifieke strategieën presteren aanzienlijk beter dan Vanilla RAG. De winst liep op tot +35,2% voor Entity Linking, +16,0% voor Entity Attribution en +11,3% voor Multi-Document Synthesis.
2. Taakspecifieke Bottlenecks:
   • Entity Linking: De bottleneck is primair de retrieval-infrastructuur. Zodra de juiste bewijslast is opgehaald via canonicalisatie, kunnen zelfs kleinere modellen de taak uitvoeren met een bijna maximale nauwkeurigheid (gemiddelde DS: 97%).
   • Entity Attribution: De bottleneck verschuift naar modelredenering. Deze taak vereist het deconstrueren van narratieven en het afleiden van grondoorzaken; het schalen van de modelgrootte levert significante winsten op (tot +29,5% van 8B naar 405B modellen), en foutieve retrieval degradeert de precisie direct.
   • Multi-Document Synthesis: Prestaties worden beperkt door zowel retrieval (omgaan met aliasing) als modelredenering (het synthetiseren van tegenstrijdige verslagen).
3. Semantische Kloof Analyse: Vanilla RAG faalt door een "cross-source semantische kloof".
   • Entity Linking heeft een kleine gelijkenis-kloof (0,06) maar lijdt onder problemen met kandidaat-discriminatie.
   • Entity Attribution heeft een matige kloof (0,31) door vocabulaire-mismatch.
   • Multi-Document Synthesis heeft de grootste kloof (0,43) door entity aliasing en chunk-niveau ruis.
4. Algemeen bruikbaar vs. Domeinspecifiek: Sterke algemene retrieval-paradigma's (Retrieve-then-Rerank, IRCoT) dichten slechts 1–5% van het prestatieverschil. Dit bevestigt dat het overbruggen van de CTI-semantische kloof vereist dat er structurele interventies (canonicalisatie, decompositie, entity resolution) worden toegepast in plaats van generieke verbeteringen van retrieval.
5. Model Scaling: Het schalen van de modelgrootte bevoordeelt Entity Attribution onevenredig veel (+19,2% gemiddelde winst) vergeleken met Entity Linking (+3,4%) of Synthesis (+2,7%). Kleinere open-source modellen kunnen frontier propriëtaire modellen evenaren op taken met een retrieval-bottleneck als de retrieval-strategie geoptimaliseerd is.

Betekenis en Claims

Het artikel claimt dat CTIConnect de eerste retrieval-augmented benchmark voor CTI is die LLM's systematisch evalueert over heterogene bronnen. De primaire bijdrage is het aantonen dat een "one-size-fits-all" retrieval-aanpak onvoldoende is voor CTI. In plaats daarvan vereisen effectieve CTI-systemen taakbewuste retrieval-architecturen die specifieke structurele interventies (canonicalisatie, decompositie, alias-resolutie) toepassen om de semantische kloof tussen diverse databronnen te overbruggen.

De auteurs stellen dat deze bevindingen bruikbare richtlijnen bieden voor het ontwerpen van schaalbare kennis-retrieval architecturen, waarbij zij suggereren dat voor omgevingen met beperkte middelen, investeren in domeinspecifieke retrieval-infrastructuur grotere rendementen kan opleveren dan simpelweg de modelgrootte opschalen. De resultaten blijven stabiel over temporele splits (2008–2025), wat de relevantie van de benchmark voor de continu evoluerende dreigingslandschappen aangeeft.