🤖 AI

CTIConnect: A Benchmark for Retrieval-Augmented LLMs over Heterogeneous Cyber Threat Intelligence

Cet article introduit CTIConnect, un benchmark complet et une plateforme d'évaluation conçus pour évaluer systématiquement les LLM à génération augmentée par la recherche à travers neuf tâches hétérogènes de cyberintelligence, révélant qu'une performance efficace nécessite des interventions structurelles spécifiques au domaine plutôt que des améliorations de la recherche génériques.

Auteurs originaux : Yutong Cheng, Yang Liu, Changze Li, Dawn Song, Peng Gao

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yutong Cheng, Yang Liu, Changze Li, Dawn Song, Peng Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective en cybersécurité tentant de résoudre un crime complexe. Vous avez une immense bibliothèque d'indices, mais ils sont écrits dans cinq langues et formats totalement différents : certains sont des feuilles de calcul techniques et rigides (comme une base de données de bogues logiciels), tandis que d'autres sont de longs articles de presse désordonnés, écrits par différents reporters qui utilisent de l'argot et des surnoms pour les mêmes criminels.

C'est le monde de la Cyber Threat Intelligence (CTI). Le problème est qu'il y a trop d'informations pour qu'un humain puisse les lire et faire les liens manuellement.

Entrez en scène les Large Language Models (LLM). Considérez ces modèles d'IA comme des détectives brillants et super rapides capables de lire et de comprendre presque tout. Mais il y a un pièंश : ces IA ont une « limite de mémoire ». Elles ne peuvent pas mémoriser chaque nouveau rapport de menace qui sort chaque jour. Si vous posez une question sur un virus tout nouveau, elles pourraient se tromper car elles n'ont pas encore « lu » le dernier rapport.

Pour corriger cela, nous utilisons la Retrieval-Augmented Generation (RAG). C'est comme donner au détective IA une carte de bibliothèque magique. Lorsqu'on lui pose une question, l'IA court d'abord à la bibliothèque, saisit les documents les plus pertinents, puis répond en se basant sur ce qu'elle vient de lire.

Le Problème : Le fossé de la « Perte de Traduction »

Les auteurs de ce document, CTIConnect, ont découvert que donner simplement une carte de bibliothèque à l'IA ne suffit pas. La bibliothèque est un désordre.

Le décalage de vocabulaire : Un document peut appeler un groupe de hackers « APT29 », un autre peut les appeler « Cozy Bear », et un troisième « Nobelium ». Si vous demandez à l'IA de trouver tous les rapports sur « APT29 », une recherche standard pourrait manquer les rapports qui utilisent uniquement les autres noms.
Le décalage de format : Un document peut dire « L'attaquant a volé des mots de passe de la mémoire », tandis qu'une base de données technique liste cela comme « T1003.001 – LSASS Memory ». L'IA pourrait ne pas réaliser qu'il s'agit de la même chose.

L'article soutient que les outils de recherche standard (qui cherchent simplement des mots similaires) échouent ici car ils ne peuvent pas combler ces écarts. Ils sont comme un traducteur qui ne connaît qu'une traduction littérale mot à mot, mais qui ne comprend pas le sens ou les surnoms.

La Solution : CTIConnect

L'équipe a construit un nouveau benchmark (un test standardisé) appelé CTIConnect pour voir comment les détectives IA performent lorsqu'ils doivent fouiller dans cette bibliothèque désordonnée et multilingue.

Ils ont créé 1 860 questions vérifiées par des experts couvrant trois types principaux de travail de détective :

Liaison d'Entités (Relier les points) :
- La tâche : « Ce bogue logiciel (CVE) est causé par quelle faiblesse spécifique (CWE) ? »
- L'analogie : Faire correspondre un modèle de voiture spécifique à son type de moteur. L'IA doit traduire la question dans les termes techniques exacts utilisés par la base de données.
- La correction : L'IA doit « traduire » la question en les termes techniques exacts utilisés par la base de données avant de chercher.
Attribution d'Entité (Nommer le coupable) :
- La tâche : « Un rapport dit "les méchants ont chiffré des fichiers avec une extension .cuba". Quelle technique de piratage spécifique cela décrit-il ? »
- L'analogie : Lire la description d'un témoin (« Il portait un chapeau rouge et courait vite ») et la faire correspondre à un dossier de police (« Suspect : John Doe, connu pour sa vitesse de course »).
- La correction : L'IA doit décomposer la phrase en petites actions atomiques et traduire chacune d'elles en code de police officiel.
Synthèse Multi-Documents (Construire l'histoire) :
- La tâche : « Combinez les rapports de cinq médias différents pour construire un profil du groupe de hackers "APT29". »
- L'analogie : Vous avez cinq témoins décrivant la même fête. L'un appelle l'hôte « Bob », un autre « Bobby », et un autre « Le Boss ». L'IA doit réaliser qu'ils parlent tous de la même personne et combiner leurs récits en une seule chronologie.
- La correction : L'IA doit être assez intelligente pour réaliser que « Bob » = « Bobby » = « Le Boss » avant de commencer à lire.

Ce qu'ils ont découvert

Les chercheurs ont testé 10 modèles d'IA différents (à la fois gratuits/open-source et coûteux/propriétaires) en utilisant ce nouveau test. Voici leurs découvertes clés :

Un modèle unique ne convient pas à tous : Une stratégie de recherche « taille unique » a échoué lamentablement. La meilleure façon de chercher un bogue technique (Liaison d'Entités) est totalement différente de la meilleure façon de chercher le surnom d'un hacker (Synthèse Multi-Documents).
Les outils spécialisés gagnent : Lorsqu'ils ont donné à l'IA des stratégies spécialisées (comme « traduire la question d'abord » ou « décomposer la phrase en parties »), les performances de l'IA ont bondi de manière spectaculaire — parfois de 35 %. Les outils de recherche standard n'ont amélioré la performance que d'un infime pourcentage (1 à 5 %).
Le goulot d'étranglement se déplace :
- Pour les tâches de liaison technique, le problème était l'outil de recherche. Une fois que l'IA trouvait le bon document, même une IA « plus petite » pouvait répondre correctement.
- Pour les tâches de dénomination et de construction d'histoire, le problème était le cerveau de l'IA. Même avec les bons documents, l'IA devait être très intelligente pour comprendre le contexte et relier les alias.
Recherche intelligente > Gros cerveaux : Pour certaines tâches, utiliser une IA « plus petite » avec un outil de recherche spécialisé fonctionnait mieux qu'utiliser une IA « massive et coûteuse » avec un outil de recherche basique. Cela signifie que vous n'avez pas toujours besoin de l'IA la plus chère ; vous avez juste besoin de la bonne façon de trouver l'information.

L'essentiel

L'article conclut que pour construire des outils de sécurité par IA efficaces, nous ne pouvons pas simplement compter sur des modèles d'IA plus gros ou des moteurs de recherche génériques. Nous devons construire des systèmes de récupération spécialisés qui comprennent les « dialectes » et les « surnoms » uniques du monde de la cybersécurité.

Voyez les choses ainsi : vous n'avez pas besoin d'une plus grande bibliothèque pour résoudre un crime ; vous avez besoin d'un bibliothécaire qui sait exactement comment trouver le bon livre, même si le titre est écrit dans un code que vous ne parlez pas. CTIConnect fournit la carte et le test pour construire ce bibliothécaire.

Résumé Technique : CTIConnect

Énoncé du Problème

La cyber-intelligence sur les menaces (CTI - Cyber Threat Intelligence) est essentielle pour une défense proactive, pourtant l'écosystème se caractérise par un volume massif et une hétérogénéité extrême. Il englobe des bases de connaissances structurées (CVE, CWE, CAPEC, MITRE ATT&CK) et des rapports de menaces non structurés provenant de fournisseurs, qui utilisent des schémas, des vocabulaires et des niveaux d'abstraction fondamentalement différents. Bien que les grands modèles de langage (LLM) offrent de fortes capacités de raisonnement, les benchmarks existants échouent à les évaluer dans des contextes réalistes de génération augmentée par la récupération (RAG). Les benchmarks actuels comme CTIBench et SEvenLLM reposent soit sur des configurations en mode "boîte fermée" (testant uniquement la mémoire paramétrique), soit se concentrent sur l'extraction d'un rapport unique, ignorant la nécessité critique de récupérer et de synthétiser des informations à travers des sources diverses et croisées.

Un défi spécifique identifié est le fossé sémantique inter-sources : les requêtes exprimées dans un vocabulaire (ex: la prose narrative d'un analyste) échouent systématiquement à correspondre aux preuves pertinentes encodées dans un autre (ex: les entrées formelles de taxonomie). Ce fossé provoque la rupture des stratégies de récupération basées sur les plongements (embeddings) standards, car les stratégies de RAG à usage général ne peuvent combler les décalages lexicaux et structurels inhérents au domaine de la CTI.

Méthodologie

Construction du Benchmark (CTIConnect)

Les auteurs ont construit CTIConnect, un environnement d'évaluation unifié intégrant cinq sources de CTI hétérogènes en 1 860 paires de questions-réponses (QA) vérifiées par des experts. Le pipeline de construction comprend trois étapes :

Annotation de corrélation de base (Seed Correlation Annotation) : Les corrélations de vérité terrain sont établies à partir de sources faisant autorité (mappages MITRE/NVD) ou via une double annotation par des experts pour les données non structurées.
Synthèse de QA sous contrainte de modèles (Template-Constrained QA Synthesis) : Les corrélations sont transformées en questions et réponses spécifiques aux tâches à l'aide de modèles de prompts afin d'assurer la cohérence du format et de réduire les hallucinations.
Contrôle qualité multicouche : Une combinaison de filtrage par LLM, de vérification indépendante par des praticiens du domaine et d'une adjudication finale par un analyste senior en CTI garantit une haute qualité des données.

Paysage des Tâches

Le benchmark couvre neuf tâches réparties en trois catégories, représentant toutes les directions inter-sources dans l'analyse CTI :

Liaison d'Entités (Structuré $\to$ Structuré) : Cartographie des entrées entre taxonomies (ex: CVE vers CWE, CAPEC vers ATT&CK). Les tâches incluent la Cartographie de la Cause Racine (RCM), l'Instantiation de Faiblesse (WIM), la Dérivation de Technique d'Attaque (ATD) et la Découverte de Surface d'Exploitation (ESD).
Attribution d'Entités (Non structuré $\to$ Structuré) : Ancrage de descriptions narratives dans des entrées de taxonomie formelles. Les tâches incluent l'Attribution de Technique d'Attaque (ATA) et l'Attribution de Catalogue de Vulnérabilité (VCA).
Synthèse Multi-Documents (Non structuré $\to$ Non structuré) : Agrégation d'intelligence dispersée dans plusieurs rapports de fournisseurs. Les tâches incluent le Profilage d'Acteur de Menace (TAP), l'Analyse de Lignée de Malware (MLA) et la Construction de Scénario de Campagne (CSC).

Stratégies de Récupération

L'étude évalue trois configurations de récupération :

Boîte Fermée (Closed-Book - CB) : Référence utilisant uniquement la connaissance paramétrique.
RAG Vanille (Vanilla RAG - VR) : Plongement direct des requêtes brutes sans transformation.
Stratégies Spécifiques au Domaine (Domain-Specific - DS) : Approches sur mesure conçues pour traiter des écarts sémantiques spécifiques :
- Extraction puis Récupération (Extract-then-Retrieve - EtR) : Pour la Liaison d'Entités, le LLM extrait le contenu sémantique et le canonise en mots-clés alignés avec la base de connaissances cible avant la récupération.
- Décomposition puis Récupération (Decompose-then-Retrieve - DtR) : Pour l'Attribution d'Entités, l'entrée est décomposée en comportements atomiques, chacun étant canonisé et récupéré indépendamment avant l'agrégation.
- RAG guidé par CSKG : Pour la Synthèse Multi-Documents, un graphe de connaissances en cybersécurité (CSKG) est utilisé pour résoudre les alias d'entités (ex: "APT29" $\equiv$ "Cozy Bear") et classer les rapports basés sur des entités canoniques plutôt que sur des segments de texte bruts.

Résultats Expérimentaux

Configuration de l'Évaluation

Dix LLM de pointe (couvrant des familles open-source et propriétaires, ex: GPT-5, LLaMA-3-405B, Claude-Sonnet-4) ont été évalués sur un sous-ensemble de 691 paires, avec une vérification sur l'ensemble du benchmark de 1 860 paires pour les modèles représentatifs.

Principales Conclusions

Gains de Performance : Les stratégies spécifiques au domaine surpassent significativement le RAG Vanille. Les gains atteignent jusqu'à +35,2 % pour la Liaison d'Entités, +16,0 % pour l'Attribution d'Entités, et +11,3 % pour la Synthèse Multi-Documents.
Goulots d'Étranglement par Tâche :
- Liaison d'Entités : Le goulot d'étranglement est principalement lié à l'infrastructure de récupération. Une fois que les preuves correctes sont récupérées via la canonisation, même les plus petits modèles peuvent accomplir la tâche avec une précision proche du plafond (moyenne DS : 97 %).
- Attribution d'Entités : Le goulot d'étranglement se déplace vers le raisonnement du modèle. Cette tâche nécessite de décomposer les récits et d'inférer les causes racines ; l'augmentation de la taille du modèle génère des gains significatifs (jusqu'à +29,5 % des modèles 8B vers 405B), et une récupération incorrecte dégrade directement la précision.
- Synthèse Multi-Documents : La performance est limitée à la fois par la récupération (gestion des alias) et par le raisonnement du modèle (synthèse de comptes divergents).
Analyse du Fossé Sémantique : Le RAG Vanille échoue en raison d'un "fossé sémantique inter-sources".
- La Liaison d'Entités présente un faible écart de similitude (0,06) mais souffre de problèmes de discrimination des candidats.
- L'Attribution d'Entités présente un écart modéré (0,31) dû au décalage de vocabulaire.
- La Synthèse Multi-Documents présente le plus grand écart (0,43) dû aux alias d'entités et au bruit au niveau des segments (chunks).
Usage Général vs Spécifique au Domaine : Les paradigmes de récupération à usage général (Retrieve-then-Rerank, IRCoT) ne comblent que 1 à 5 % de l'écart de performance. Cela confirme que combler le fossé sémantique de la CTI nécessite des interventions structurelles (canonisation, décomposition, résolution d'entités) plutôt que de simples améliorations de la récupération générique.
Mise à l'échelle des Modèles (Scaling) : L'augmentation de la taille du modèle bénéficie de manière disproportionnée à l'Attribution d'Entités (+19,2 % de gain moyen) par rapport à la Liaison d'Entités (+3,4 %) ou à la Synthèse (+2,7 %). Les petits modèles open-source peuvent égaler les modèles propriétaires de pointe sur les tâches dont la récupération est le goulot d'étranglement si la stratégie de récupération est optimisée.

Signification et Revendications

L'article affirme que CTIConnect est le premier benchmark augmenté par la récupération pour la CTI qui évalue systématiquement les LLM à travers des sources hétérogènes. Sa principale contribution est de démontrer qu'une approche de récupération "taille unique" est insuffisante pour la CTI. Au contraire, les systèmes de CTI efficaces nécessitent des architectures de récupération sensibles aux tâches qui appliquent des interventions structurelles spécifiques (canonisation, décomposition, résolution d'alias) pour combler les écarts sémantiques entre diverses sources de données.

Les auteurs soutiennent que ces conclusions fournissent des orientations exploitables pour la conception d'architectures de récupération de connaissances évolutives, suggérant que pour les environnements à ressources limitées, investir dans une infrastructure de récupération spécifique au domaine peut offrir de meilleurs rendements que le simple fait d'augmenter la taille des modèles. Les résultats restent stables à travers les divisions temporelles (2008–2025), indiquant la pertinence du benchmark face à des paysages de menaces en constante évolution.