Riepilogo Tecnico: CTIConnect

Definizione del Problema

La Cyber Threat Intelligence (CTI) è essenziale per una difesa proattiva, eppure l'ecosistema è caratterizzato da un volume massiccio ed un'estrema eterogeneità. Essa spazia da basi di conoscenza strutturate (CVE, CWE, CAPEC, MITRE ATT&CK) a report di minacce non strutturati dei vendor, che utilizzano schemi, vocabolari e livelli di astrazione fondamentalmente diversi. Sebbene i Large Language Models (LLM) offrano forti capacità di ragionamento, i benchmark esistenti non riescono a valutarli in contesti realistici di recupero aumentato (Retrieval-Augmented). Gli attuali benchmark come CTIBench o SEvenLLM si affidano invece a configurazioni "closed-book" (testando solo la memoria parametrica) o si concentrano sull'estrazione di un singolo report, ignorando la necessità critica di recuperare e sintetizzare informazioni attraverso fonti diverse e cross-referenziate.

Una sfida specifica identificata è il gap semantico cross-source: query espresse in un vocabolario (ad esempio, la prosa narrativa di un analista) falliscono sistematicamente nel corrispondere a prove rilevanti codificate in un altro (ad esempio, voci di tassonomie formali). Questo gap causa il fallimento delle strategie di Retrieval-Augmented Generation (RAG) generiche basate su embedding, poiché non sono in grado di colmare i disallineamenti lessicali e strutturali inerenti al dominio CTI.

Metodologia

Costruzione del Benchmark (CTIConnect)

Gli autori hanno costruito CTIConnect, un ambiente di valutazione unificato che integra cinque fonti CTI eterogenee in 1.860 coppie QA verificate da esperti. La pipeline di costruzione prevede tre fasi:

1. Annotazione della Correlazione Seed: Le correlazioni di ground-truth sono stabilite da fonti autorevoli (mappature MITRE/NVD) o attraverso la doppia annotazione di esperti per i dati non strutturati.
2. Sintesi QA con Vincoli di Template: Le correlazioni vengono trasformate in domande e risposte specifiche per il compito utilizzando template di prompt per garantire la coerenza del formato e ridurre le allucinazioni.
3. Controllo della Qualità Multilivello: Una combinazione di filtraggio basato su LLM, verifica indipendente da parte di professionisti del settore e giudizio finale da parte di un analista CTI senior garantisce l'alta qualità dei dati.

Panorama dei Task

Il benchmark copre nove task suddivisi in tre categorie, che rappresentano tutte le direzioni cross-source nell'analisi CTI:

• Entity Linking (Strutturato $\to$ Strurato): Mappatura tra tassonomie (es. CVE verso CWE, CAPEC verso ATT&CK). I task includono Root Cause Mapping (RCM), Weakness Instantiation (WIM), Attack Technique Derivation (ATD) ed Exploitation Surface Discovery (ESD).
• Entity Attribution (Non Strutturato $\to$ Strutturato): Fondare descrizioni narrative in voci di tassonomie formali. I task includono Attack Technique Attribution (ATA) e Vulnerability Catalog Attribution (VCA).
• Multi-Document Synthesis (Non Strutturato $\to$ Non Strutturato): Aggregazione di intelligence dispersa in molteplici report di vendor. I task includono Threat Actor Profiling (TAP), Malware Lineage Analysis (MLA) e Campaign Storyline Construction (CSC).

Strategie di Retrieval

Lo studio valuta tre configurazioni di retrieval:

1. Closed-Book (CB): Baseline che utilizza solo la conoscenza parametrica.
2. Vanilla RAG (VR): Embedding diretto delle query grezze senza trasformazione.
3. Strategie Domain-Specific (DS): Approcci su misura progettati per affrontare specifici gap semantici:
   • Extract-then-Retrieve (EtR): Per l'Entity Linking, l'LLM estrae il contenuto semantico e lo canonicalizza in chiave di parole chiave allineate alla base di conoscenza target prima del retrieval.
   • Decompose-then-Retrieve (DtR): Per l'Entity Attribution, l'input viene scomposto in comportamenti atomici, ciascuno dei quali viene canonicalizzato e recuperato indipendentemente prima dell'aggregazione.
   • CSKG-Guided RAG: Per la Multi-Document Synthesis, viene utilizzato un Cybersecurity Knowledge Graph (CSKG) per risolvere gli alias delle entità (es. "APT29" $\equiv$ "Cozy Bear") e classificare i report in base alle entità canoniche piuttosto che su chunk di testo grezzi.

Risultati Sperimentali

Setup di Valutazione

Dieci LLM allo stato dell'arte (che spaziano da famiglie open-source a proprietarie, es. GPT-5, LLaMA-3-405B, Claude-Sonnet-4) sono stati valutati su un subset di 691 coppie, con verifica sull'intero benchmark di 1.860 coppie per i modelli rappresentativi.

Risultati Chiave

1. Guadagni di Performance: Le strategie domain-specific superano significativamente la Vanilla RAG. I guadagni sono stati fino al +35,2% per l'Entity Linking, +16,0% per l'Entity Attribution e +11,3% per la Multi-Document Synthesis.
2. Colli di Bottiglia Specifici per Task:
   • Entity Linking: Il collo di bottiglia è principalmente l'infrastruttura di retrieval. Una volta che l'evidenza corretta viene recuperata tramite canonicalizzazione, anche i modelli più piccoli possono eseguire il task con un'accuratezza vicina al limite massimo (media DS: 97%).
   • Entity Attribution: Il collo di bottiglia si sposta sul ragionamento del modello. Questo task richiede la scomposizione delle narrazioni e l'inferenza delle cause radice; la scalabilità della dimensione del modello produce guadagni significativi (fino a +29,5% dai modelli da 8B ai 405B), e un retrieval errato degrada direttamente la precisione.
   • Multi-Document Synthesis: Le performance sono limitate sia dal retrieval (gestione degli alias) che dal ragionamento del modello (sintesi di account contrastanti).
3. Analisi del Gap Semantico: La Vanilla RAG fallisce a causa di un "gap semantico cross-source".
   • L'Entity Linking ha un piccolo gap di similarità (0,06) ma soffre di problemi di discriminazione dei candidati.
   • L'Entity Attribution ha un gap moderato (0,31) dovuto al disallineamento del vocabolario.
   • La Multi-Document Synthesis ha il gap più grande (0,43) a causa dell'aliasing delle entità e del rumore a livello di chunk.
4. General-Purpose vs. Domain-Specific: I paradigmi di retrieval general-purpose (Retrieve-then-Rerank, IRCoT) colmano solo l'1–5% del gap di performance. Ciò conferma che colmare il gap semantico CTI richiede interventi strutturali (canonicalizzazione, scomposizione, risoluzione delle entità) piuttosto che miglioramenti generici del retrieval.
5. Scaling del Modello: La scalabilità della dimensione del modello beneficia l'Entity Attribution in modo sproporzionato (+19,2% di guadagno medio) rispetto all'Entity Linking (+3,4%) o alla Synthesis (+2,7%). I modelli open-source più piccoli possono eguagliare i modelli proprietari di frontiera nei task limitati dal retrieval se la strategia di retrieval è ottimizzata.

Significato e Claim

L'articolo sostiene che CTIConnect sia il primo benchmark con retrieval-augmentation per la CTI che valuta sistematicamente gli LLM attraverso fonti eterogenee. Il suo contributo principale è dimostrare che un approccio di retrieval "one-size-fits-all" è insufficiente per la CTI. Inveve, sistemi CTI efficaci richiedono architetture di retrieval task-aware che applichino specifici interventi strutturali (canonicalizzazione, scomposizione, risoluzione degli alias) per colmare i gap semantici tra diverse fonti di dati.

Gli autori affermano che questi risultati forniscono una guida pratica per progettare architetture di recupero della conoscenza scalabili, suggerendo che, per ambienti con risorse limitate, investire in un'infrastruttura di retrieval domain-specific possa offrire rendimenti maggiori rispetto al semplice aumento della dimensione del modello. I risultati rimangono stabili attraverso i split temporali (2008–2025), indicando la rilevanza del benchmark rispetto ai paesaggi di minaccia in continua evoluzione.