Before You Hand Over the Wheel: Evaluating LLMs for Security Incident Analysis

Ce papier présente SIABENCH, un cadre d'évaluation agentique novateur comprenant un nouveau dataset et des agents autonomes pour tester rigoureusement l'efficacité de 11 grands modèles de langage dans l'analyse d'incidents de sécurité.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en parlions autour d'un café.

🕵️‍♂️ Le Problème : Le Chef de Cuisine débordé

Imaginez un grand restaurant de sécurité (un SOC ou Centre d'Opérations de Sécurité). Le chef de cuisine (l'analyste humain) est submergé.

• Il reçoit des milliers de tickets d'alerte par jour (des clients qui crient "Il y a un problème !").
• La plupart sont de fausses alertes (un client qui a juste oublié son mot de passe).
• Les vraies crises sont complexes : il faut fouiller dans des archives, ouvrir des boîtes noires, suivre des pistes invisibles et reconstituer l'histoire d'un vol.

Le chef est fatigué, stressé et risque de passer à côté d'une vraie catastrophe.

🤖 La Solution tentée : Le Robot Assistant (LLM)

Les restaurants pensent : "Et si on engageait un robot super-intelligent (une IA ou LLM) pour nous aider ?"
Ces robots sont capables de lire des livres entiers en une seconde et de comprendre le langage humain. Ils semblent parfaits pour trier les alertes et aider à l'enquête.

MAIS... y a-t-il un risque ?
Si on engage ce robot sans le tester, il pourrait :

1. Confondre un client innocent avec un voleur (fausse alerte).
2. Rater un vrai voleur parce qu'il a fait une erreur de logique.
3. Inventer des preuves qui n'existent pas (hallucinations).

Avant de lui donner les clés de la cuisine (le "volant"), il faut savoir s'il est vraiment compétent. C'est là que le papier intervient.

🔬 Le Projet SIABENCH : Le "Permis de Conduire" pour les IA

Les auteurs de ce papier (des chercheurs du Canada) ont créé SIABENCH. C'est comme un grand examen pratique ou un circuit de test spécialement conçu pour les robots de sécurité.

Ils ont construit trois choses principales :

1. Le Manuel d'Examen (Le Dataset) 📚

Au lieu de poser des questions théoriques ("Qu'est-ce qu'un virus ?"), ils ont créé de vraies mises en situation.

• 25 Scénarios d'enquête complexe : Imaginez un détective privé. On lui donne un dossier (des fichiers, des logs, des emails) et on lui demande : "Qui a fait ça ? Comment ? Avec quel outil ?". Il y a des cas faciles, moyens et très difficiles.
• 135 Alertes de triage : C'est comme un test de "Vrai ou Faux". Le robot doit dire si une alarme est une vraie attaque ou juste un faux positif.
• Le petit plus : Ils ont "nettoyé" les questions pour que le robot ne puisse pas tricher en se souvenant de réponses apprises par cœur sur internet. C'est un examen "anti-plagiat".

2. Le Robot Examinateur (L'Agent) 🤖

Ils ne se contentent pas de demander au robot "Quelle est la réponse ?". Ils lui donnent un laboratoire virtuel.
Le robot doit :

• Ouvrir ses propres outils (comme un détective qui sort son microscope).
• Exécuter des commandes sur les fichiers.
• Lire les résultats, réfléchir, et décider de la prochaine étape.
• Résumer ses découvertes pour ne pas se perdre dans la masse d'informations.

C'est comme si on laissait le robot conduire la voiture sur un circuit d'essai, plutôt que de lui demander de décrire la route sur un papier.

3. Le Résultat de l'Examen (Les Notes) 📊

Ils ont testé 11 robots différents (les plus célèbres du marché, comme GPT-5, Claude, etc.) sur ce circuit.

Ce qu'ils ont découvert :

• Les robots s'améliorent : Les modèles les plus récents (comme GPT-5 ou Claude 4.5) sont devenus de très bons détectives. Ils réussissent souvent à trouver les indices cachés.
• Mais ils ne sont pas parfaits : Même les meilleurs robots échouent encore sur des cas très complexes. Parfois, ils s'embrouillent, inventent des faits, ou abandonnent trop vite.
• Le piège des "petits" robots : Les modèles plus légers (moins chers) font beaucoup d'erreurs, souvent parce qu'ils tournent en rond (boucles infinies) ou ne comprennent pas bien les outils techniques.
• La différence entre "Savoir" et "Agir" : Un robot peut avoir lu tous les manuels de police, mais s'il ne sait pas utiliser les outils (ouvrir un fichier, lancer une commande), il est inutile sur le terrain.

🎯 Pourquoi c'est important pour nous ?

Ce papier est une boussole pour les entreprises.
Il dit : "Attention ! Ne lancez pas n'importe quel robot dans votre sécurité. Utilisez SIABENCH pour tester votre modèle préféré. Si le robot échoue sur les cas difficiles, ne lui donnez pas les clés de la maison."

Cela aide les entreprises à :

1. Choisir le bon robot (le plus intelligent pour le prix).
2. Savoir où ils ont besoin de garder un humain à bord (parce que le robot n'est pas encore fiable à 100%).
3. Éviter de se faire avoir par des robots qui semblent intelligents mais qui font des erreurs critiques.

En résumé 🍬

Imaginez que vous achetez une voiture autonome. Avant de la laisser conduire vos enfants, vous ne vous contentez pas de regarder sa publicité. Vous la mettez sur un circuit d'essai difficile (SIABENCH) avec des obstacles réels.

Ce papier nous dit : "Les voitures autonomes (les IA) deviennent très bonnes, mais elles font encore des erreurs de débutant sur les routes glissantes. Il faut continuer à les tester rigoureusement avant de leur faire confiance aveuglément."

Résumé technique

Titre : Avant de remettre le volant : Évaluation des LLM pour l'analyse d'incidents de sécurité

1. Problématique

L'analyse d'incidents de sécurité (SIA - Security Incident Analysis) constitue une charge majeure pour les centres d'opérations de sécurité (SOC). Les analystes sont confrontés à :

• Un volume écrasant d'alertes et une diversité de sources de données.
• Des chaînes d'outils complexes et des workflows multi-étapes.
• Une pénurie d'expertise humaine.
• La nature dynamique des incidents nécessitant un raisonnement multifacette.

Bien que les organisations cherchent à adopter les Modèles de Langage (LLM) pour automatiser ces tâches, l'absence de benchmarks rigoureux crée des risques importants. Il n'existe pas de méthodologie standardisée pour évaluer l'efficacité des LLM dans des scénarios réels, ni de jeux de données adaptés couvrant la diversité des tâches d'analyse (du triage des alertes à l'investigation profonde). De plus, l'émergence rapide de nouveaux modèles rend les évaluations obsolètes rapidement.

2. Méthodologie : Le Framework SIABENCH

Les auteurs proposent SIABENCH, un framework d'évaluation autonome (agentic) conçu pour évaluer les capacités des LLM dans l'analyse d'incidents de sécurité. La méthodologie repose sur trois piliers :

A. Construction d'un Dataset de Référence (SIABENCH Dataset)
Le dataset est le premier de son genre, divisé en deux parties majeures :

1. Analyse d'incidents profonds (Partie I) : 25 scénarios réalistes (229 questions d'investigation) couvrant la forensique réseau, la forensique mémoire, l'analyse de malwares (binaire, code, PDF), l'analyse de phishing et l'analyse de logs.
   • Traitement des données : Pour éviter les biais et la contamination par les données d'entraînement des LLM (qui ont souvent accès aux solutions en ligne), les auteurs ont appliqué des stratégies de débiaisage : reformulation ouverte des questions (pour éviter les hypothèses), neutralisation des identifiants (noms d'entreprises, utilisateurs), et standardisation des noms de fichiers/artefacts.
   • Alignement réel : Les scénarios sont validés par des experts SOC et alignés sur les tactiques du framework MITRE ATT&CK et les playbooks de la CISA.
2. Triage des alertes (Partie II) : 135 scénaires d'alertes (réels et faux positifs) basés sur des flux réseau (PCAP) provenant de datasets publics (TII-SSRC-23, CIC-IDS2017), générés via des outils IDS (Snort, Suricata).

B. Agent Autonome (SIABENCH Agent)
Un agent logiciel a été développé pour exécuter les tâches d'analyse de manière autonome, simulant un analyste junior. Ses caractéristiques clés incluent :

• Architecture Multi-État : L'agent fonctionne dans un cycle itératif (Planification -> Action -> Résumé) plutôt que dans un état unique, permettant de gérer des investigations complexes et non linéaires.
• Framework ReAct : Utilisation du paradigme Reasoning + Acting pour que le modèle planifie ses actions, exécute des outils CLI (ex: tshark, volatility, oledump), observe les résultats et ajuste sa stratégie.
• Module de Résumé : Pour gérer les limites de contexte des LLM face aux logs volumineux, un module résume les rapports d'analyse en "Insights de Sécurité Clés" (KSI) avant de passer à l'étape suivante.

C. Évaluation
L'étude évalue 11 LLM majeurs (4 modèles à poids ouverts et 7 modèles à poids fermés, incluant GPT-4o/5, Claude-3.5/4.5, Llama 3.1, etc.) sur ces tâches, en mesurant la capacité à résoudre entièrement les scénarios et la précision des réponses partielles.

3. Résultats Clés

Performance Globale :

• Même les modèles les plus performants (Claude-4.5-Sonnet et GPT-5) ne résolvent qu'une fraction des scénarios complets (8/25 pour le meilleur modèle).
• Les modèles récents surpassent nettement les anciens, notamment dans les tâches complexes, mais des lacunes subsistent.
• Spécialisation par domaine :
  • Reconnaissance : Très bonne performance (>90%) pour la détection de scans de ports et de patterns de surface.
  • Forensique Mémoire & Analyse de Malwares : Difficultés majeures, surtout pour les modèles plus petits. La performance chute drastiquement sur les tâches "Hard" (ex: analyse de dumps mémoire avec Volatility).
  • Triage des alertes : Les modèles avancés (GPT-5, Claude-4.5) atteignent une précision de ~97-98% pour distinguer les vrais et faux positifs, surpassant largement les modèles légers comme GPT-4o-mini.

Facteurs d'Échec (RQ3) :
Les principales causes d'échec identifiées sont :

1. Boucles infinies : Surtout chez les modèles Llama, qui répètent les mêmes commandes sans progresser.
2. Abandon prématuré : Certains modèles (Gemini, GPT-4o) abandonnent après quelques tentatives infructueuses.
3. Hallucinations et Fausses Commandes : Génération de commandes incorrectes ou de faits inventés sans preuves.
4. Investigation superficielle : Tendance à se fier à des mots-clés évidents plutôt qu'à une analyse approfondie.
5. Dépendance aux questions : Un échec sur une première question entraîne l'échec de toutes les étapes dépendantes.

Étude d'Ablation (RQ6) :

• Le flux de travail Multi-État améliore significativement les performances par rapport à un flux mono-état.
• Le module de Résumé est crucial pour les modèles à fenêtre de contexte limitée (ex: Claude-3.5, GPT-4o), réduisant les erreurs de dépassement de contexte et améliorant la précision de 12 à 32 %.
• Le framework ReAct (raisonner avant d'agir) est supérieur à l'approche "Action Only" pour la plupart des modèles, sauf pour les modèles de raisonnement avancés (GPT-5) qui intègrent naturellement cette capacité.

Validation sur Tâches en Direct (RQ5) :
L'évaluation sur des défis publiés après la date de coupure des connaissances des modèles (Live SIA Tasks) confirme que les résultats du benchmark sont robustes et non dus à une contamination des données d'entraînement.

4. Contributions Principales

1. Dataset SIABENCH : Le premier dataset de référence purpose-built pour l'évaluation des LLM en analyse d'incidents, incluant des workflows d'investigation multi-étapes et des tâches de triage d'alertes (vrais/faux positifs), avec des mécanismes de débiaisage rigoureux.
2. Agent Autonome : Un cadre d'évaluation automatisé capable d'exécuter des tâches de forensique complexes en interagissant avec des outils réels, offrant une extensibilité pour de nouveaux modèles et tâches.
3. Benchmarking Exhaustif : La première évaluation systématique de 11 LLM majeurs, fournissant une ligne de base pour les chercheurs et les praticiens, et identifiant les limites actuelles (notamment en forensique mémoire et analyse de binaires complexes).

5. Signification et Impact

Ce travail est crucial pour l'industrie de la cybersécurité car il :

• Ralentit l'adoption aveugle : Il démontre que si les LLM progressent, ils ne sont pas encore prêts à remplacer les analystes humains sans supervision, surtout pour les investigations complexes.
• Guide la sélection des modèles : Il fournit des données concrètes pour aider les SOC à choisir le bon modèle (ex: GPT-5 ou Claude-4.5 pour le triage, mais nécessité de supervision humaine pour l'investigation profonde).
• Établit des standards : Il propose une méthodologie reproductible pour évaluer les futurs modèles dans un domaine où les benchmarks sont rares.
• Suggère des architectures d'agent : Il prouve que l'ajout de modules de raisonnement (ReAct), de résumé et de gestion d'états multiples est essentiel pour transformer un LLM en un assistant d'investigation efficace.

En conclusion, SIABENCH offre une feuille de route pour le développement d'assistants LLM fiables en sécurité, tout en soulignant que le "volant" (la prise de décision finale) ne doit pas encore être entièrement remis à l'IA.