🤖 machine learning

Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

Cet article établit une nouvelle référence empirique pour la classification multi-étiquette ATT&CK sur des rapports de cybermenaces non structurés et complexes en introduisant un ensemble de données annotées par l'humain de 2 076 phrases et en évaluant sept LLM open-source, qui ont collectivement atteint un faible score F1 micro-moyen de 0,22, indiquant que les modèles actuels restent insuffisants pour un déploiement de niveau production malgré une corrélation positive entre la taille des paramètres et la performance.

Auteurs originaux : Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un agent de sécurité essayant de lire un journal intime de mille pages, désordonné, écrit par un criminel chaotique. Ce journal (appelé rapport CTI) ne dit pas seulement « J'ai volé la voiture ». Il dit : « J'ai crocheté la serrure, shunté le moteur, conduit jusqu'à la banque, puis effacé les caméras de surveillance ».

Votre travail consiste à lire chaque phrase et à l'étiqueter avec le bon « code de crime » provenant d'un immense livre de règles appelé MITRE ATT&CK. Ce livre de règles contient 211 codes différents pour chaque mode opératoire possible d'un attaquant. Le problème est qu'une seule phrase peut contenir plusieurs crimes à la fois, et le langage est complexe.

Pendant longtemps, les ordinateurs étaient très mauvais à cela. Ils étaient comme un robot qui ne pouvait lire que des notes simples et courtes. Si la note était complexe, le robot était confus.

Puis sont arrivés les Modèles de Langage de Grande Taille (LLM). Voyez-les comme des stagiaires super intelligents, très cultivés, capables de comprendre le contexte et les nuances. Les gens espéraient que ces stagiaires IA pourraient enfin lire les journaux désordonnés et étiqueter les crimes parfaitement.

Ce document est le bulletin de notes de sept de ces stagiaires open-source. Les chercheurs ont voulu voir si ces stagiaires IA sont réellement prêts pour le travail, ou s'ils sont encore trop inexpérimentés.

Voici ce qu'ils ont fait et ce qu'ils ont trouvé, expliqué simplement :

1. Le Test : Un examen du « monde réel »

Les tests précédents pour ces stagiaires IA étaient comme leur donner un quiz avec des questions faciles à réponse unique (ex : « Le criminel a utilisé une clé. » -> Étiquette : Crochetage de serrure).

Les chercheurs de ce document ont dit : « Ce n'est pas comme cela que la vraie vie fonctionne ». Ils ont créé un examen plus difficile et plus réaliste :

Ils ont pris 83 rapports de sécurité réels et désordonnés écrits par des experts humains.
Ils les ont décomposés en 2 076 phrases individuelles.
Ils ont demandé à des experts humains d'étiqueter manuellement chaque phrase avec les bons codes de crime. Certaines phrases n'avaient aucun code ; certaines en avaient un ; certaines en avaient jusqu'à neuf à la fois !
Cela est devenu la « Clé de réponse » (Vérité terrain) pour noter l'IA.

2. Les Compétiteurs

Ils ont choisi 7 modèles d'IA open-source différents.

Voyez ces modèles comme des étudiants de tailles différentes. Certains sont petits (8 milliards de « cellules cérébrales » ou paramètres), et certains sont des géants (236 milliards).
Ils les ont testés dans différents « modes » :
- Zero-Shot (Zéro exemple) : On donne simplement les instructions.
- Few-Shot (Quelques exemples) : On donne à l'IA quelques exemples à étudier d'abord.
- Chain-of-Thought (Chaîne de pensée) : On demande à l'IA de « réfléchir à voix haute » étape par étape avant de répondre.
- Temperature (Température) : On tourne le bouton de la « créativité » de l'IA vers le haut ou vers le bas (0 = robot strict, 0,5 = légèrement plus créatif).

3. Les Résultats : Les stagiaires sont encore en apprentissage

Les résultats ont été un rappel à la réalité.

Le Score : Même le meilleur modèle d'IA n'a obtenu qu'un score de 22 % (sur une échelle où 100 % est parfait).
- Analogie : Imaginez un étudiant passant un examen final difficile et obtenant un D-. Il réussit, mais il manque la plupart des réponses.
La Taille Compte (Principalement) : Les modèles les plus gros et les plus complexes (les « Géants ») ont généralement mieux réussi que les petits. Il y avait un lien clair : plus gros cerveau = score légèrement meilleur.
Les réglages « Magiques » n'ont pas fonctionné :
- Donner des exemples à l'IA (Few-Shot) n'a pas vraiment aidé.
- Demander à l'IA de « réfléchir étape par étape » (Chain-of-Thought) n'a pas vraiment aidé.
- Tourner le bouton de la « créativité » (Temperature) n'a fait presque aucune différence.
- Analogie : C'est comme donner un crayon de couleur différent à un étudiant ou lui dire de « faire plus d'efforts », mais si l'étudiant ne connaît pas la matière, le score ne change pas.

4. La seule chose qui a aidé : La « Fiche de révision »

Les chercheurs ont essayé une dernière chose. Ils ont mis en place une configuration de Génération Augmentée par Récupération (RAG).

Analogie : Au lieu de simplement compter sur ce que l'IA a mémorisé, ils ont donné à l'IA un livre ouvert (le livre de règles officiel) pour qu'elle puisse le consulter pendant l'examen.
Le Résultat : Le score est passé de 22 % à 32 %.
Ce fut la plus grande amélioration de toutes. Cela a prouvé que l'IA n'échoue pas parce qu'elle est « stupide » ; elle échoue parce qu'elle n'a pas les règles actuelles sous les yeux.

5. Qu'est-ce qui a mal tourné ?

Les chercheurs ont examiné les erreurs commises par l'IA :

Faux Positifs : L'IA a vu un mot comme « évade » et a deviné « Détournement », même si la phrase parlait d'autre chose. Elle devinait en se basant sur des mots-clés plutôt que sur la compréhension de l'histoire.
Faux Négatifs : L'IA a manqué un crime parce qu'elle n'avait pas compris que « préparer un binaire de ransomware » était en fait un type spécifique de transfert. Elle manquait de contexte profond.

Le mot de la fin

Le document conclut que les modèles d'IA open-source actuels ne sont pas encore prêts à être les seuls agents de sécurité pour classer des cybermenaces complexes. Ils sont trop imprécis (obtenant seulement 22-32 %) pour être dignes de confiance dans un centre de sécurité réel sans l'aide humaine.

La seule chose qui a significativement amélioré leurs performances a été de donner accès au livre de règles officiel (RAG) pendant le test. Simplement changer la façon dont vous posez les questions (prompts) ou rendre le modèle plus gros n'a pas résolu le problème de fond.

En bref : Les stagiaires IA sont intelligents, mais ils sont actuellement trop sujets aux erreurs pour travailler seuls. Ils ont besoin d'un superviseur humain et d'un manuel de référence pour faire le travail correctement.

Résumé Technique : Évaluation des LLM Open-Source pour la Classification Multi-Label des Techniques ATT&CK

Énoncé du Problème

La classification des rapports de Cyber Threat Intelligence (CTI) en techniques MITRE ATT&CK est cruciale pour une défense proactive, mais demeure un processus laborieux en raison de la complexité du texte non structuré, des schémas d'attaque multi-étapes et de la taxonomie à 211 classes. Bien que les Large Language Models (LLMs) aient montré des promesses dans la compréhension du contexte, les évaluations existantes souffrent de limitations significatives : elles reposent sur des phrases simplifiées à technique unique qui ne reflètent pas la nature multi-label des rapports réels, conduisant à des mesures de performance gonflées. Par conséquent, la performance de base des LLM open-source sur des rapports CTI complexes et non structurés reste non évaluée, laissant les praticiens de la sécurité sans preuves empiriques pour guider l'intégration de ces modèles dans les pipelines d'ingestion de menaces.

Méthodologie

Pour combler cette lacune, les auteurs ont construit un cadre expérimental rigoureux comprenant la création de jeux de données, l'évaluation des modèles et l'analyse statistique.

1. Construction du Jeu de Données (RQ1)
Les auteurs ont constitué un jeu de données de vérité terrain comprenant 2 076 phrases extraites des sections « Case Summary » de 83 rapports CTI complexes et non structurés (avril 2020 – février 2025) provenant de The DFIR Report.

Processus d'Annotation : Une stratégie d'annotation en six phases a été employée, impliquant l'étiquetage indépendant, le contre-étiquetage, le ré-étiquetage des instances à faible accord et la résolution des litiges.
Portée : Les phrases ont été mappées sur 114 techniques ATT&CK uniques (parmi les 211 disponibles dans Enterprise v17.1). Le jeu de données comprend des classes positives (1 281 phrases) et négatives (795 phrases) pour évaluer les taux de faux positifs.
Contrôle Qualité : Le processus a atteint un accord inter-annotateurs moyen de $\kappa = 0,68$ (accord substantiel), avec 65 techniques dépassant le seuil $\kappa \geq 0,7$ .
Caractéristiques : Le jeu de données présente un déséquilibre de classes sévère (Imbalance Ratio = 229,0) et une distribution à longue traîne, avec 40,2 % des phrases étiquetées contenant plusieurs techniques (cardinalité moyenne = 1,58).

2. Évaluation des Modèles (RQ2)
Sept LLM open-source allant de 8B à 236B de paramètres (incluant Llama 3.1, Gemma 3, DeepSeek-V2.5 et des variantes GPT-OSS) ont été évalués.

Conception Expérimentale : Un plan factoriel complet a testé 53 configurations d'inférence combinant :
- Stratégie de Prompt : Zero-Shot vs Three-Shot (N=3).
- Raisonnement : Chain-of-Thought (CoT) vs No CoT.
- Température : 0,0 vs 0,5.
Base de Référence RAG : Un pipeline de Génération Augmentée par Récupération (RAG) a été implémenté en utilisant une base de données vectorielle FAISS de la documentation ATT&CK pour ancrer le modèle LLM70 dans une connaissance externe, comparant cela à l'inférence standard.
Métriques : Les scores de Précision, Rappel et F1 micro-moyennés ont été utilisés comme métriques primaires pour refléter la couverture opérationnelle à travers toutes les instances de techniques.

3. Analyse Statistique (RQ3)
La corrélation de rang de Spearman ( $\rho$ ) a été appliquée pour évaluer les relations monotones entre les paramètres d'inférence (taille des paramètres, stratégie de prompt, raisonnement, température) et la performance de classification.

Principales Contributions

Jeu de Données : Un jeu de données de vérité terrain, annoté par des humains et disponible publiquement, comprenant 2 076 phrases issues de 83 rapports non structurés, mappées sur 114 techniques ATT&CK, représentant le plus grand jeu de données de ce type à ce jour.
Benchmark de Performance : Une évaluation systématique établissant une base de référence empirique pour la classification multi-label ATT&CK, révélant que les LLM open-source actuels éprouvent des difficultés significatives pour cette tâche.
Analyse Statistique : Une étude de corrélation quantifiant l'impact de la taille du modèle et des hyperparamètres d'inférence, identifiant la taille des paramètres comme le seul prédicteur statistiquement significatif de la performance.

Résultats

Performance de Base : La configuration non-RAG la plus performante (DS236, 236B paramètres, T=0.0, 3-shot, CoT) a obtenu un score F1 micro-moyenné de seulement 0,22.
Variance des Modèles : La performance variait considérablement selon la taille et l'architecture des modèles. Le modèle 236B (DS236) et le modèle 70B (LLM70) formaient le groupe supérieur (F1 0,20–0,22), tandis que les modèles plus petits (ex: GPT20, 20B) performaient proche du hasard (F1 $\leq$ 0,03).
Impact des Hyperparamètres :
- Taille des Paramètres : A montré une corrélation positive statistiquement significative avec le score F1 ( $\rho = 0,85, p = 0,014$ ).
- Stratégie de Prompt & Raisonnement : Ni le prompting Few-Shot ni le raisonnement Chain-of-Thought n'ont produit de gains statistiquement significatifs à travers les configurations de modèles ( $p > 0,05$ ).
- Température : Les variations entre 0,0 et 0,5 n'ont eu aucun effet statistiquement significatif sur la performance.
Impact du RAG : L'implémentation du RAG avec LLM70 a augmenté le score F1 micro à 0,32 (un $\Delta$ de +0,10), principalement porté par une augmentation substantielle du rappel (de 0,23 à 0,41). Cette amélioration a été attribuée à l'ancrage par connaissance externe plutôt qu'au réglage du prompt.
Analyse d'Erreur : Les échecs ont été catégorisés en Type I (faux positifs dus à une dépendance excessive aux mots-clés ou à l'hallucination) et Type II (faux négatifs dus à un manque de connaissances de domaine ou à l'incapacité à synthétiser des comportements multi-étapes).

Signification et Revendications

L'article affirme fournir la première base de référence empirique pour les LLM open-source sur la classification CTI multi-label complexe. Les auteurs soutiennent que les LLM open-source actuels sont insuffisants pour une classification ATT&CK de niveau production, comme en témoignent les faibles scores F1 (max 0,22) par rapport aux outils spécialisés antérieurs qui rapportent souvent des scores plus élevés sur des jeux de données simplifiés.

L'étude conclut que les stratégies d'ingénierie de prompt (N-shot, CoT, température) ne sont pas des leviers efficaces pour combler l'écart de performance dans ce domaine. Au contraire, les résultats indiquent que la taille des paramètres est un facteur critique, et que l'ancrage par récupération (RAG) est la direction la plus productive pour l'amélioration, offrant un gain significatif de rappel. Les auteurs positionnent leur jeu de données et leurs conclusions comme une fondation reproductible pour de futures recherches, suggérant que les travaux futurs devraient se concentrer sur le RAG hiérarchique, le fine-tuning efficace en paramètres et les métriques conscientes de la hiérarchie plutôt que sur l'ajustement ultérieur des prompts.