💬 NLP

ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation

Cet article présente ExCyTIn-Bench, le premier benchmark conçu pour évaluer les agents LLM dans l'investigation des cybermenaces en générant 7 542 questions à partir des journaux et des graphes d'investigation de Microsoft Sentinel, révélant que les meilleurs modèles actuels n'obtiennent qu'un score de récompense de 0,606 et soulignant une marge de progression significative pour l'avenir.

Auteurs originaux : Yiran Wu, Mauricio Velazco, Andrew Zhao, Manuel Raúl Meléndez Luján, Srisuma Movva, Yogesh K Roy, Quang Nguyen, Roberto Rodriguez, Qingyun Wu, Michael Albada, Julia Kiseleva, Anand Mudgerikar

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiran Wu, Mauricio Velazco, Andrew Zhao, Manuel Raúl Meléndez Luján, Srisuma Movva, Yogesh K Roy, Quang Nguyen, Roberto Rodriguez, Qingyun Wu, Michael Albada, Julia Kiseleva, Anand Mudgerikar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Un nouveau « permis de conduire » pour les détectives IA

Imaginez que vous possédez une flotte de robots IA très intelligents et récents. Vous voulez savoir s'ils sont assez compétents pour être de véritables détectives en cybersécurité. Peuvent-ils examiner une montagne de données désordonnées, repérer les méchants et déterminer exactement ce qui s'est passé lors d'une cyberattaque ?

Les auteurs de ce document affirment : « Nous ne pouvons pas simplement leur poser des questions de culture générale comme 'Qu'est-ce qu'un virus ?', car cela ne teste que leur mémoire. Nous devons voir s'ils sont capables de réellement faire le travail. »

C'est pourquoi ils ont créé ExCyTIn-Bench. Imaginez cela comme un examen de conduite à haut risque pour les agents IA. Au lieu d'une voiture, l'IA conduit à travers une scène de crime numérique. Au lieu d'un circuit d'essai, il s'agit du réseau informatique simulé d'une entreprise, rempli de journaux de sécurité factices (mais réalistes).

Comment ils ont construit le test (la « scène de crime »)

Pour rendre le test équitable et réaliste, les chercheurs n'ont pas simplement inventé des questions au hasard. Ils ont construit le test en trois étapes :

La scène de crime (les données) : Ils ont mis en place une fausse entreprise Microsoft Azure appelée « Alpine Ski House ». Ils ont simulé 8 cyberattaques différentes qui se sont réellement produites dans le monde réel (comme des ransomwares ou des arnaques par e-mail). Ils ont collecté 57 tables de journaux différentes (comme des rapports de police, des relevés téléphoniques et des images de caméras de surveillance) contenant des milliers d'entrées.
La carte (le graphe) : Lorsqu'un détective humain mène une enquête, il ne regarde pas tout d'un coup. Il suit une piste : Alerte A mène à Utilisateur B, qui mène à Fichier suspect C. Les chercheurs ont transformé ces pistes en une carte (un graphe).
- Les nœuds : La carte comporte des points représentant les « Alertes » (les sirènes de police) et les « Entités » (les personnes ou les ordinateurs impliqués).
- Les arêtes : Les lignes qui les relient montrent comment ils sont liés.
Les questions (l'examen) : Au lieu qu'un humain rédige des questions, ils ont utilisé une IA pour examiner cette carte et générer 7 542 questions.
- Exemple : « Nous avons observé une connexion suspecte depuis l'adresse IP X. Sur la base de la carte, quel fichier le pirate a-t-il utilisé pour voler les mots de passe ? »
- L'agent IA doit trouver la réponse en « conduisant » le long des lignes de la carte, en interrogeant la base de données et en reliant les points.

Comment l'IA passe le test

L'agent IA est placé dans un environnement de base de données MySQL (un immense classeur). Il ne connaît pas la disposition du classeur. Il doit :

Demander la carte : « Quelles tables possédez-vous ? »
Lire les indices : « Montrez-moi les journaux pour cette adresse IP. »
Relier les points : « D'accord, cette adresse IP est liée à cet utilisateur. Laissez-moi vérifier ce que cet utilisateur a fait. »
Soumettre la réponse : « Le pirate a utilisé le fichier ntdsutil.exe. »

Si l'IA donne la bonne réponse, elle gagne un point. Si elle reste bloquée ou pose les mauvaises questions, elle obtient un score plus bas. Le test accorde même des points partiels si l'IA trouve certains indices mais pas la réponse finale, tout comme un enseignant qui donne des points pour la démarche.

Ce qu'ils ont découvert (les résultats)

Les chercheurs ont testé de nombreux modèles d'IA différents (provenant de grandes entreprises comme OpenAI, Google et Anthropic, ainsi que des modèles open source) sur ce test.

C'est difficile : Même les modèles d'IA les plus intelligents ont eu du mal. Le meilleur modèle (Claude-Opus-4.5) n'a obtenu qu'un score de 0,606 (sur 1,0). Cela signifie qu'il reste encore beaucoup de place pour l'amélioration.
Le moment « Eureka ! » : Les modèles d'IA qui ont le mieux performé étaient ceux capables de raisonner étape par étape. Ils ne se contentaient pas de deviner ; ils exploraient la base de données, réalisaient que leur première hypothèse était erronée et tentaient un nouveau chemin, un peu comme un détective humain.
Open Source vs Grandes Techs : De manière surprenante, certains modèles open source plus petits ont performé presque aussi bien que les modèles massifs et coûteux, montrant que l'écart se réduit.

Pourquoi cela compte

Le document affirme qu'il s'agit du premier benchmark de ce type. Avant cela, nous testions principalement l'IA sur sa capacité à mémoriser des faits en cybersécurité. Maintenant, nous avons un moyen de tester si l'IA peut réellement enquêter sur un crime en triant les preuves et en raisonnant à travers une chaîne d'événements complexe.

En résumé : Les auteurs ont construit une « scène de crime » réaliste et un ensemble de « puzzles de détective » pour voir si les agents IA peuvent apprendre à devenir des enquêteurs en cybersécurité. Les résultats montrent que, bien que l'IA s'améliore, elle a encore un long chemin à parcourir avant de pouvoir remplacer les analystes de sécurité humains.

1. Énoncé du problème

L'enquête sur les cybermenaces est un processus complexe et multi-étapes qui oblige les analystes en sécurité à trier des journaux de sécurité hétérogènes, à corréler des événements provenant de multiples sources de données et à raisonner à travers des chaînes de preuves multi-sauts pour identifier les menaces. Bien que les modèles de langage de grande taille (LLM) aient montré des promesses dans des tâches de raisonnement complexe, il manque des benchmarks standardisés pour évaluer spécifiquement les agents LLM dans le domaine de l'enquête sur les cybermenaces. Les benchmarks existants (par exemple, CTIBench, SECURE) se concentrent principalement sur la mémorisation de connaissances, l'extraction de texte ou les questions à choix multiples, échouant à tester la capacité d'un agent à interagir avec une base de données, à découvrir des schémas et à effectuer un raisonnement séquentiel pour résoudre des incidents de sécurité réels.

2. Méthodologie

Les auteurs proposent ExCyTIn-Bench, un benchmark complet conçu pour simuler des scénarios réels d'enquête sur les menaces. La méthodologie comprend trois composantes principales :

A. Collecte de données et construction de l'environnement

Source : Les données ont été collectées à partir d'un locataire Microsoft Azure fictif (« Alpine Ski House ») configuré avec des moniteurs de sécurité réalistes.
Échelle : L'environnement comprend 57 tables de journaux distinctes (par exemple, SigninLogs, EmailEvents, SecurityAlert, SecurityIncident) contenant plus de 14 millions de lignes dans le flux de journaux complet sur 44 jours.
Incidents : L'ensemble de données couvre 8 chaînes d'attaque distinctes et multi-étapes basées sur des attaques historiques réelles (par exemple, Rançongiciel Manatee Tempest, BEC/Prise de contrôle de compte). Chaque incident s'étend sur une période de 2 heures à 5 jours et implique diverses techniques MITRE ATT&CK.
Interface : Le benchmark fournit un environnement MySQL Docker où les agents interagissent via des requêtes SQL. Les agents doivent découvrir le schéma (tables et colonnes) par exploration, car le schéma complet n'est pas fourni dans l'invite.

B. Génération de questions via des graphes bipartis

Pour générer des questions de haute qualité, non répétitives et ancrées dans les données, les auteurs ont développé un pipeline de génération basé sur des graphes et fondé sur des principes :

Construction du graphe : Pour chaque incident, un graphe biparti $G=(U, V, E)$ est construit où $U$ représente les sommets d'alerte et $V$ représente les sommets d'entité (par exemple, utilisateurs, adresses IP, hôtes). Les arêtes relient les alertes aux entités qu'elles impliquent.
Sélection de chemin : Le système sélectionne deux alertes distinctes ( $u_s$ et $u_e$ ) comme points de départ et d'arrivée. Il identifie les entités connectées à ces alertes pour former un chemin.
Génération de QA : Un LLM est sollicité pour générer une question en utilisant l'alerte de départ et ses entités connectées comme contexte, et l'entité de l'alerte d'arrivée comme réponse.
Chemin de solution : Le chemin le plus court entre les nœuds de départ et d'arrivée dans le graphe sert de chemin de solution de vérité terrain, permettant une évaluation fine des étapes intermédiaires.

Sortie : Ce processus a généré 7 542 questions, dont 589 ont été sélectionnées pour l'ensemble de test afin d'assurer la diversité et d'éviter le chevauchement de chemins entre les ensembles d'entraînement et de test.

C. Cadre d'évaluation

Système de récompense : Le benchmark utilise un mécanisme de récompense décroissante (inspiré de l'apprentissage par renforcement).
- Récompense totale (1,0) : Attribuée pour la réponse finale correcte.
- Récompense partielle : Si la réponse finale est incorrecte, le système vérifie si l'agent a trouvé des nœuds intermédiaires (IoC) le long du chemin de solution. Des récompenses sont attribuées en fonction des progrès réalisés, avec un facteur de décroissance ( $\gamma=0,4$ ) appliqué aux étapes plus éloignées de la réponse finale.
Jugement : L'évaluation est effectuée à l'aide d'un LLM en tant que juge (GPT-4o) pour gérer les variations dans le formatage des réponses et vérifier si le raisonnement de l'agent correspond à la vérité terrain, plutôt que de se fier uniquement à une correspondance stricte de chaînes de caractères.

3. Contributions clés

Premier benchmark d'enquête sur les menaces : ExCyTIn-Bench est le premier benchmark spécifiquement conçu pour évaluer les agents LLM sur la tâche de bout en bout de l'enquête sur les cybermenaces en utilisant des données de journaux réels.
Stratégie de génération de QA novatrice : L'article introduit une méthode pour générer des questions déterministes et non répétitives à partir de graphes bipartis alerte-entité, garantissant que les questions sont ancrées dans des chemins de données explicites et possèdent des trajectoires de solution vérifiables.
Évaluation fine du processus : Contrairement aux métriques binaires réussite/échec, le benchmark fournit des récompenses étape par étape, permettant d'évaluer la capacité d'un agent à extraire des indicateurs de compromission (IoC) intermédiaires et ses progrès dans des espaces de recherche complexes.
Analyse empirique complète : Les auteurs fournissent une analyse détaillée des performances des modèles, de leur comportement (découverte de schéma, succès des requêtes) et de leur efficacité (coût par rapport à la récompense) sur un large éventail de modèles.

4. Résultats expérimentaux

Les auteurs ont évalué de nombreux modèles propriétaires et open-source (y compris GPT-4o, Claude-Opus-4.5, Llama-4, Qwen-3, et des modèles de raisonnement comme o1/o3) en utilisant diverses stratégies d'invite (ReAct, Expel, Best-of-N, Auto-réflexion).

Plafond de performance : La tâche est extrêmement difficile. Le modèle le plus performant, Claude-Opus-4.5, a atteint une récompense moyenne maximale de 0,606, laissant une marge de progression significative.
Comparaison des modèles :
- Propriétaire vs Open Source : Les meilleurs modèles propriétaires (Claude-Opus-4.5, GPT-5.1) surpassent les modèles open-source, mais les grands modèles open-source (par exemple, Llama-4-Maverick-17B) réduisent rapidement l'écart, atteignant des récompenses compétitives (~0,29).
- Modèles de raisonnement : Les modèles dotés de capacités de raisonnement explicites (par exemple, o1, o3) montrent de fortes performances, en particulier lorsqu'ils sont combinés à des stratégies de réflexion.
Impact des méthodes :
- ReAct + Réflexion : Cette combinaison a produit les gains de performance les plus élevés pour la plupart des modèles, surpassant nettement l'invite de base.
- Expel : La méthode Expel (distillation de règles à partir de données d'entraînement) a montré une haute efficacité (moins de tours) mais un coût plus élevé en raison de l'inflation des invites.
Efficacité : Il existe une forte corrélation positive (Pearson $r=0,86$ ) entre les taux de réussite des requêtes et les récompenses finales. Les petits modèles ont souvent du mal avec la découverte de schémas, ce qui entraîne plus d'erreurs et des récompenses plus faibles.
Études d'ablation :
- Portée de la base de données : La suppression des journaux d'alerte (simulant des attaques zero-day) a provoqué une baisse significative des performances, soulignant le rôle critique des alertes de détection dans l'enquête.
- Fenêtre temporelle : L'élargissement de la fenêtre temporelle à un historique complet de 44 jours a introduit du bruit, réduisant légèrement les performances par rapport aux tranches par incident.

5. Importance et orientations futures

Avancement de la sécurité autonome : ExCyTIn-Bench fournit un terrain d'essai critique pour le développement d'agents autonomes capables de réduire la charge des analystes SOC humains en automatisant la chasse aux menaces multi-étapes.
RL pour la cybersécurité : La structure de récompense fine rend le benchmark particulièrement adapté à l'entraînement d'agents via l'apprentissage par renforcement (RL), permettant une attribution précise des crédits à travers les étapes de l'enquête.
Évaluation réaliste : En utilisant des motifs d'attaque réels et en exigeant la découverte de schémas, le benchmark va au-delà de la « récupération de connaissances » pour tester le véritable raisonnement d'enquête et l'utilisation d'outils.
Open Source : Les auteurs ont rendu le benchmark, l'environnement et le code (SecRL) accessibles en open source, favorisant la reproductibilité et accélérant la recherche dans la défense cybersécurisée pilotée par l'IA.

En conclusion, ExCyTIn-Bench établit une nouvelle norme pour l'évaluation des agents LLM en cybersécurité, démontrant que si les modèles actuels montrent des promesses, des avancées significatives en matière de raisonnement, de compréhension des schémas et de planification multi-sauts sont nécessaires pour parvenir à une enquête sur les menaces entièrement autonome.