🤖 machine learning

Constructing Multi-label Hierarchical Classification Models for MITRE ATT&CK Text Tagging

Cet article présente un cadre de classification hiérarchique multi-étiquettes pour l'automatisation du marquage de texte MITRE ATT&CK qui atteint une précision élevée (94 % au niveau de la tactique et 82 % au niveau de la technique) en utilisant des méthodes d'apprentissage automatique classiques, surpassant de manière significative GPT-4o tout en éliminant le besoin d'architectures complexes basées sur les LLM.

Auteurs originaux : Andrew Crossman, Jonah Dodd, Viralam Ramamurthy Chaithanya Kumar, Riyaz Mohammed, Andrew R. Plummer, Chandra Sekharudu, Deepak Warrier, Mohammad Yekrangian

Publié 2026-01-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrew Crossman, Jonah Dodd, Viralam Ramamurthy Chaithanya Kumar, Riyaz Mohammed, Andrew R. Plummer, Chandra Sekharudu, Deepak Warrier, Mohammad Yekrangian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un bibliothécaire essayant d'organiser une bibliothèque massive et chaotique d'histoires sur les cyberattaques. Chaque fois qu'une nouvelle histoire (un « rapport de menace ») arrive, vous devez la classer sous des catégories spécifiques afin que d'autres bibliothécaires puissent la retrouver plus tard.

Dans le monde de la cybersécurité, ce système de classement est appelé MITRE ATT&CK. C'est comme un immense classeur à deux niveaux :

Le tiroir du haut (Tactiques) : Cela répond à la question : « Pourquoi le méchant a-t-il fait cela ? » (ex. : « Ils voulaient voler des mots de passe » ou « Ils voulaient effacer leurs traces »).
Le tiroir du bas (Techniques) : Cela répond à la question : « Comment l'ont-ils fait ? » (ex. : « Ils ont utilisé un type spécifique d'e-mail de phishing » ou « Ils ont utilisé une faille logicielle spécifique »).

Pendant des années, les experts en sécurité ont dû lire ces rapports et les classer manuellement dans les bons tiroirs. C'est lent, ennuyeux et sujet à l'erreur humaine. Ce document traite de la construction d'un robot assistant pour faire le classement à leur place.

La construction « Bottom-Up » (du bas vers le haut)

Au lieu d'essayer de construire un robot géant et complexe à partir de zéro (une approche « top-down »), les auteurs ont construit leur système étape par étape, comme en empilant des blocs. Ils ont commencé petit et n'ont ajouté de la complexité que lorsqu'ils savaient que le bloc précédent était solide.

Étape 1 : Le classificateur simple (Le robot à « étiquette unique »)
D'abord, ils ont appris à un modèle d'apprentissage automatique simple à lire une phrase et à deviner un seul « Pourquoi » (Tactique). Ils l'ont testé contre GPT-4o, le célèbre chatbot IA.
- Le résultat : Le robot simple a gagné. Il a donné environ 82 % de bonnes réponses, tandis que GPT-4o n'en a donné que 59 %. Les auteurs ont constaté que, pour cette tâche spécifique et structurée, un outil classique et simple était en réalité plus performant qu'une IA complexe et sophistiquée.
Étape 2 : Le classificateur multi-étiquettes (Le robot à « étiquettes multiples »)
La vie réelle n'est pas simple ; une seule phrase peut souvent comporter plusieurs raisons pour une attaque. Ils ont donc amélioré le robot pour qu'il devine les 3 meilleurs « Pourquoi » au lieu d'un seul.
- Le résultat : Cela a boosté leur précision à 94 %.
Étape 3 : Le classificateur hiérarchique (Le robot de « classement complet »)
Enfin, ils ont appris au robot à deviner le « Pourquoi » et le « Comment » ensemble. Si le robot devine que le « Pourquoi » est « Voler des mots de passe », il cherche ensuite le « Comment » spécifique (ex. : « Keylogging »).
- Le résultat : Ce système a atteint 82 % de précision pour la combinaison complète « Pourquoi + Comment ».

La « Recette Secrète » (Pourquoi cela fonctionne)

Les auteurs n'ont pas utilisé l'IA générative la plus récente et la plus coûteuse ou des réseaux neuronaux complexes. À la place, ils ont utilisé l'apprentissage automatique classique (plus précisément la « descente de gradient stochastique » avec le « TF-IDF »).

Voyez cela comme ceci : au lieu de construire une Ferrari ultra-complexe et coûteuse pour aller faire les courses, ils ont construit un vélo très fiable et efficace. Il fait le travail plus vite, coûte moins cher et est plus facile à réparer.

Ils ont également ajouté un verrou de confidentialité (hachage). Imaginez qu'ils veuillent partager leur robot avec le monde entier, mais qu'ils craignent de partager les recettes secrètes (les données) utilisées pour l'entraîner. Ils ont trouvé un moyen de brouiller les données afin que le robot puisse apprendre sans que personne ne puisse voir les ingrédients originaux. Cela a permis de rendre le robot public en toute sécurité.

Le test de la « Nouvelle Bibliothèque »

Pour voir si leur robot était vraiment intelligent, ils ne l'ont pas seulement testé sur les histoires dont il avait appris. Ils lui ont donné un nouvel ensemble d'histoires concernant les menaces financières (spécifiques au secteur bancaire) qu'il n'avait jamais vues auparavant.

Le résultat : Au début, le robot était confus (parce que les nouvelles histoires étaient différentes). Mais, lorsqu'ils lui ont donné un tout petit peu d'entraînement sur ces nouvelles histoires, il a rapidement appris à les classer correctement. Cela prouve que le robot est flexible et peut s'adapter à de nouvelles situations sans avoir besoin d'une quantité massive de nouvelles données.

L'idée principale

Le document conclut qu'on n'a pas toujours besoin de l'IA la plus chère et la plus complexe pour résoudre un problème. En décomposant la tâche en étapes petites et gérables et en utilisant des outils classiques fiables, ils ont construit un système qui :

Est plus précis qu'un chatbot d'IA de haut niveau (GPT-4o) pour ce travail spécifique.
Est plus rapide et moins coûteux à exécuter.
Est sûr à partager avec le public.
Peut s'adapter à de nouveaux types de données avec très peu d'entraînement supplémentaire.

Ils ont mis ce « robot bibliothécaire » gratuitement à disposition sur GitHub afin que d'autres équipes de sécurité puissent l'utiliser pour organiser leurs propres rapports de cybermenaces.

Résumé Technique : Construction de Modèles de Classification Hiérarchique Multi-Labels pour le Marquage de Texte MITRE ATT&CK

Énoncé du Problème

Le framework MITRE ATT&CK sert de base de connaissances critique pour la cybersécurité, organisant les comportements des acteurs de menaces en une hiérarchie de tactiques (le « pourquoi » ou les objectifs d'une attaque) et de techniques (le « comment » ou les méthodes utilisées). Une application primaire de ce framework est l'annotation manuelle de rapports de cyber-menaces, de descriptions de vulnérabilités et de scénarios de menaces afin de faciliter l'analyse en aval. Actuellement, ce processus de marquage reste largement manuel, créant un goulot d'étranglement pour les analystes de sécurité. Bien que diverses méthodes computationnelles soient apparues pour automatiser ou semi-automatiser cette tâche, il manque un cadre unifié pour catégoriser ces efforts et il existe un besoin de modèles robustes et accessibles qui ne dépendent pas de Grands Modèles de Langage (LLM) complexes ou d'architectures gourmandes en ressources.

Méthodologie

Les auteurs proposent une construction par étapes « bottom-up » (ascendante) d'un système de classification hiérarchique multi-labels, divergeant des sélections architecturales classiques de type « top-down » (descendantes) en IA/ML. Cette approche est guidée par une formulation d'espace de tâches stratifiée (Tableau 1) qui catégorise les tâches de marquage par complexité, allant de la classification multiclasse à label unique au mapping hiérarchique multi-label complexe.

La méthodologie procède à travers trois étapes expérimentales utilisant l'apprentissage automatique classique (spécifiquement des classifieurs à Descente de Gradient Stochastique (SGD) avec vectorisation TF-IDF) :

Étape Expérimentale 1 (Classification de Tactiques Multiclasse) :
- Tâche : Mapper une phrase ( $D$ ) vers une tactique unique ( $T$ ).
- Approche : Un modèle SGD multiclasse de base a été entraîné sur 14 405 phrases de cyber-intelligence générale.
- Comparaison : Le modèle a été comparé à GPT-4o en utilisant une approche d'ingénierie de prompt Text-to-Text.
- Résultat : Le modèle SGD classique a significativement surpassé GPT-4o (81,95 % contre 59 % de précision).
Étape Expérimentale 2 (Construction Hiérarchique Multi-Labels) :
- Tâche : Étendre le système pour prédire plusieurs tactiques et leurs techniques correspondantes (ID de tâche 7 dans l'espace de tâches).
- Approche :
  - Prédiction Top-N : Le modèle multiclasse a été modifié pour produire les $n=3$ tactiques prédites les plus probables plutôt qu'un seul label.
  - Conditionnement Hiérarchique : Pour chaque tactique prédite, un modèle SGD multiclasse distinct, spécifique à la tactique, a été entraîné pour prédire les $m=3$ techniques associées.
  - Sécurité : Un mécanisme de hachage (MurmurHash3) a été intégré dans le processus de vectorisation pour chiffrer les données d'entraînement sensibles sans compromettre la performance du modèle, facilitant ainsi la publication publique.
- Résultat : Le système a atteint environ 94 % de précision au niveau de la tactique et 82 % de précision au niveau de la technique (lorsqu'elle est traitée comme une transformation multiclasse).
Étape Expérimentale 3 (Généralisation à de Nouveaux Domaines) :
- Tâche : Évaluer le modèle de base sur un ensemble de données clairsemées de 552 scénarios de menaces financières produits par des experts en la matière de JPMorgan Chase.
- Approche : Le modèle entraîné sur des données de cyber-intelligence générale a été testé sur ce nouveau domaine, puis un nouveau modèle a été entraîné à partir de zéro sur un petit sous-ensemble des données de scénarios de menaces.
- Résultat : Le modèle de base a montré une généralisation limitée (41 % de précision), mais l'architecture s'est avérée adaptable, passant à 66 % de précision avec un réentraînement minimal sur les données du nouveau domaine.

Contributions Clés

Formulation d'Espace de Tâches Stratifiée : Le document fournit une taxonomie structurée (Tableau 1) pour la tâche de marquage de texte MITRE ATT&CK, organisant les approches AIML existantes et clarifiant les voies de développement futur.
Construction de Modèle Bottom-Up : Les auteurs démontrent une méthodologie pour construire des modèles hiérarchiques qui encapsulent organiquement les « Meilleures Pratiques pour le Mapping MITRE ATT&CK » de la CISA par l'expérimentation plutôt que par des architectures complexes prédéfinies.
Performance vs Complexité : L'étude établit que les méthodes d'apprentissage automatique classique (SGD + TF-IDF) peuvent égaler ou surpasser les performances de l'état de l'art (y compris GPT-4o) pour cette tâche spécifique, supprimant la dépendance aux LLM, au RAG, aux agents ou aux méthodes complexes basées sur des DAG.
Publication Publique et Sécurité : Les auteurs ont publié une version partageable et sécurisée de leur système de marquage (via GitHub) qui inclut le hachage des données pour protéger les données d'entraînement sensibles tout en maintenant une haute performance.
Exemple d'Adaptation de Domaine : Le document illustre comment le modèle de base peut être amorcé pour de nouveaux ensembles de données clairsemés (scénarios de menaces financières), soulignant le potentiel de construction de modèles à faibles ressources.

Résultats

Précision au Niveau de la Tactique : L'approche hiérarchique multi-labels a atteint environ 94 % de précision au niveau de la tactique.
Précision au Niveau de la Technique : L'approche a atteint environ 82 % de précision au niveau de la technique.
Comparaison avec GPT-4o : GPT-4o n'a atteint qu'environ 60 % de précision au niveau de la tactique, soit un résultat nettement inférieur à l'approche SGD classique.
Mérite Hiérarchique : Les résultats ont confirmé que l'approche hiérarchique est efficace ; les techniques n'ont jamais été prédites correctement lorsqu'elles étaient associées à une tactique incorrecte, validant la stratégie de modélisation conditionnelle.
Sécurité des Données : L'intégration du hachage pour le chiffrement des données n'a pas eu d'impact significatif sur la performance du système, permettant une distribution publique sécurisée.

Signification et Revendications

Le document affirme que la communauté de la cybersécurité fait face à un fossé entre les activités de sécurité spécialisées et la riche littérature mathématique/technique de l'AIML. En fournissant une formulation de tâche rigoureuse et un modèle de base performant, accessible et sécurisé, les auteurs visent à combler ce fossé.

Les auteurs soulignent que, bien que de nombreuses approches existent, l'adoption généralisée par les spécialistes de la sécurité est rare, souvent en raison de problèmes d'utilisabilité dans des contextes de faibles ressources ou de données éparses. Par conséquent, la signification de ce travail réside non seulement dans les mesures de performance, mais aussi dans l'utilisabilité, le partage et l'extensibilité du système proposé. Le document pose comme postulat qu'une approche d'apprentissage automatique classique simple, respectant la confidentialité des données et nécessitant un minimum de ressources, est une condition préalable à l'adoption réelle des outils de marquage automatisés par les professionnels de la sécurité. Les auteurs déclarent explicitement que leur objectif est de faciliter les développements futurs et de fournir une base pour les travaux à venir, plutôt que de revendiquer une solution finale et parfaite.