What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review

Cette revue systématique de 80 études examine l'état de l'art de l'extraction automatisée des tactiques, techniques et procédures (TTP) des adversaires à partir de textes non structurés, mettant en évidence la prédominance des approches basées sur les transformateurs tout en soulignant les défis persistants liés à la généralisation, à la reproductibilité et à la diversité des tâches d'extraction.

L'essentiel

🕵️‍♂️ Le Grand Défi : Trouver l'Aiguille dans la Botte de Foin Numérique

Imaginez que le monde du cyberespace est une immense bibliothèque remplie de millions de livres, de journaux et de notes manuscrites. Ce sont les rapports de cybermenaces (CTI). Chaque jour, des milliers de nouveaux rapports arrivent, décrivant comment les pirates informatiques (les "adversaires") volent des données, infectent des ordinateurs ou espionnent des entreprises.

Le problème ? Ces rapports sont écrits en langage humain, parfois flou, parfois technique, et il y en a trop pour qu'un seul humain puisse les lire tous. Les experts de la sécurité doivent comprendre ce que font les pirates (leurs tactiques, techniques et procédures, ou TTP), mais le faire à la main est épuisant, lent et sujet aux erreurs.

C'est là que cette étude intervient. Les chercheurs ont voulu savoir : "Comment pouvons-nous utiliser l'intelligence artificielle pour lire ces rapports automatiquement et extraire les secrets des pirates ?"

🔍 La Mission : Une Enquête sur 80 Enquêtes

Pour répondre à cette question, les auteurs (une équipe de chercheurs américains) ont joué au rôle de "super-détectives". Ils ont analysé 80 études scientifiques déjà publiées sur ce sujet. C'est comme si ils avaient lu 80 manuels différents pour voir comment d'autres détectives ont essayé de résoudre le même problème.

Ils ont classé ces 80 études selon plusieurs critères, un peu comme on trierait des outils dans une boîte à outils :

1. Quel est le but ? (Trouver le nom du pirate ? Comprendre sa méthode ?)
2. Où ont-ils cherché ? (Dans les blogs, les journaux officiels, les logs informatiques ?)
3. Comment ont-ils préparé les données ? (Nettoyage, traduction, organisation ?)
4. Quels outils ont-ils utilisés ? (Des règles simples, des vieux algorithmes, ou des super-ordinateurs modernes ?)

🛠️ Les Outils du Détective : De la Loupe à la Machine à Remonter le Temps

L'étude montre une évolution fascinante, comme l'histoire de la technologie elle-même :

• L'Ère de la Loupe (Méthodes anciennes) : Au début, les chercheurs utilisaient des règles simples (comme chercher le mot "virus" ou "pirate"). C'était comme chercher un mot précis dans un livre. Ça marche pour les cas simples, mais ça rate tout ce qui est subtil ou caché.
• L'Ère du Super-Lecteur (Deep Learning & Transformers) : Ensuite, ils ont utilisé des modèles comme BERT (une sorte de cerveau artificiel qui lit le contexte). Imaginez un lecteur qui ne cherche pas juste le mot "couteau", mais qui comprend que "il a pris un objet pointu pour ouvrir la porte" signifie la même chose. Ces modèles sont devenus très bons pour comprendre le contexte.
• L'Ère du Génie (Les Grands Modèles de Langage - LLM) : Récemment, on utilise des IA ultra-puissantes (comme GPT ou LLaMA). C'est comme avoir un détective qui a lu tous les livres du monde et qui peut déduire des stratégies complexes en discutant avec vous. Ils peuvent même "inventer" des scénarios pour tester des hypothèses.

📊 Ce qu'ils ont découvert (Les Révélations)

En regardant ces 80 études, les auteurs ont trouvé plusieurs tendances importantes :

1. On se concentre trop sur les détails : La plupart des études essaient de trouver les "techniques" précises (ex: "comment ils ont volé le mot de passe"). C'est utile, mais on néglige souvent la "tactique" globale (ex: "pourquoi ils ont fait ça ?" ou "quelle est leur stratégie globale ?"). C'est comme essayer de comprendre un film en regardant uniquement les plans de caméra, sans voir l'histoire.
2. Le problème des "Recettes de Cuisine" secrètes : Beaucoup d'études utilisent des données privées (des rapports que personne d'autre n'a). C'est comme si un chef cuisinier disait "ma recette est géniale" mais refusait de montrer les ingrédients. Cela rend impossible de vérifier si la recette fonctionne vraiment pour tout le monde.
3. Le manque de répétition : Peu de chercheurs partagent leur code ou leurs données. Si vous voulez essayer de refaire leur expérience, vous êtes souvent bloqué. C'est comme si chaque détective gardait ses preuves dans un coffre-fort personnel.
4. L'IA est prometteuse mais imparfaite : Les nouvelles IA (LLM) sont impressionnantes, mais elles ont encore du mal à être fiables à 100 % dans des situations réelles et complexes.

🚀 Le Futur : Vers une Sécurité Plus Intelligente

L'étude se termine par des conseils pour l'avenir, un peu comme un plan de bataille pour les prochaines années :

• Partagez vos données ! Il faut créer des bibliothèques de rapports publics et propres pour que tout le monde puisse s'entraîner.
• Regardons plus loin que la phrase : Les IA actuelles lisent souvent phrase par phrase. Il faut qu'elles apprennent à lire le tout du rapport pour comprendre l'histoire complète du pirate.
• Simulons la réalité : Au lieu de tester les IA sur des données parfaites, testons-les sur le chaos réel des rapports de terrain.
• Multi-labels : Un rapport peut parler de 5 techniques différentes. Il faut que l'IA apprenne à en trouver plusieurs à la fois, pas juste une.

💡 En Résumé

Cette recherche est une carte au trésor pour les experts en cybersécurité. Elle nous dit : "Nous avons fait de grands progrès avec l'IA pour lire les rapports de pirates, mais nous sommes encore un peu désorganisés. Nous utilisons des outils trop puissants sur des données trop petites, et nous ne partageons pas assez nos trouvailles."

Le but final ? Créer des systèmes automatiques qui aident les humains à protéger nos données en comprenant, plus vite et mieux que jamais, ce que les pirates sont en train de préparer. C'est passer de la course contre la montre à une course avec un avantage stratégique.

Résumé technique

1. Problématique

La cybersécurité fait face à une augmentation massive et complexe des attaques. Les défenseurs doivent s'appuyer sur des Renseignements sur les Menaces Cybernétiques (CTI) pour comprendre les comportements des adversaires. Ces comportements sont structurés sous forme de Tactiques, Techniques et Procédures (TTP).

• Le défi : Le volume croissant de rapports CTI non structurés rend l'analyse manuelle des TTPs (Tactiques, Techniques, Procédures) laborieuse, sujette aux erreurs et non évolutive.
• La lacune de la recherche : Bien que de nombreuses études aient proposé des méthodes automatisées pour extraire ces TTPs à partir de textes et les mapper vers des bases de connaissances structurées (comme MITRE ATT&CK), il existe un manque de synthèse globale. Les travaux existants varient considérablement dans leurs objectifs, leurs jeux de données, leurs approches de modélisation et leurs pratiques d'évaluation, ce qui rend difficile la comparaison des résultats et la compréhension de l'état de l'art.

2. Méthodologie

Les auteurs ont mené une revue de littérature systématique (SLR) en suivant les directives de Kitchenham et al. pour l'ingénierie logicielle.

• Sources de données : Cinq bases de données académiques majeures (IEEE Xplore, ACM Digital Library, ScienceDirect, SpringerLink, ACL) ont été interrogées.
• Stratégie de recherche : Utilisation de chaînes de recherche spécifiques combinant « MITRE ATT&CK » et « Tactics AND Techniques AND Procedures ».
• Critères de sélection :
  • Inclusion : Études peer-reviewed (2015-2025), en anglais, proposant une méthode nouvelle pour l'extraction de TTPs.
  • Exclusion : Résumés de conférences, blogs, travaux non liés à l'extraction de TTPs.
• Processus de filtrage :
  1. Recherche initiale : 3 219 publications.
  2. Filtrage par critères d'inclusion/exclusion et élimination des doublons : 103 études.
  3. Technique de « boule de neige » (forward/backward snowballing) : +31 études.
  4. Évaluation finale (screening en trois niveaux : titre, résumé, texte intégral) : 80 études retenues pour l'analyse finale.
• Analyse : Une analyse qualitative par codage ouvert (open coding) a été réalisée par deux auteurs indépendants, avec un coefficient de Kappa de Cohen de 0,86 (forte concordance).

3. Contributions Clés

L'article apporte une synthèse structurée de l'état de l'art selon six dimensions principales :

1. Catégorisation des objectifs d'extraction : Identification de 5 types de tâches (Classification des tactiques, Classification des techniques, Recherche de techniques, Extraction d'IOC & TTP, Construction de Graphes de Connaissance).
2. Analyse des sources de données : Recensement de 9 catégories de sources (rapports CTI, bases de vulnérabilités, logs système, règles IDS, forums Dark Web, etc.).
3. Stratégies de collecte et de prétraitement : Analyse des méthodes de collecte (crawling, API) et des techniques de nettoyage (segmentation de phrases, normalisation, masquage des IOC).
4. Construction et annotation des jeux de données : Examen des approches d'annotation (manuelle, semi-automatisée, supervision lointaine) et des outils utilisés (BRAT, etc.).
5. Approches méthodologiques : Cartographie de l'évolution des modèles, des méthodes traditionnelles aux architectures basées sur les Transformers et les LLM.
6. Évaluation et reproductibilité : Analyse critique des métriques utilisées et de la disponibilité des artefacts (code, données).

4. Résultats Principaux

A. Objectifs et Tâches

• Dominance de la classification des techniques : C'est la tâche la plus étudiée (39 études), souvent au niveau de la phrase, visant à mapper du texte vers des techniques spécifiques de MITRE ATT&CK.
• Sous-exploitation : La classification des tactiques (6 études) et la recherche de techniques (5 études) sont moins explorées.
• Graphes de Connaissance (KG) : 24 études se concentrent sur la construction de KGs pour structurer les relations entre entités (acteurs, malwares, techniques).

B. Sources de Données

• Les rapports CTI (FireEye, Kaspersky, etc.) et les bases de connaissances publiques (MITRE ATT&CK, CAPEC) sont les sources prédominantes.
• Les données opérationnelles comme les logs système ou les règles IDS sont sous-utilisées, limitant l'applicabilité en temps réel.

C. Évolution des Méthodologies

• Transition technologique : Le domaine est passé des approches basées sur des règles et l'apprentissage machine traditionnel (SVM, Naive Bayes) aux modèles Transformers (BERT, RoBERTa, SecureBERT).
• Adaptation au domaine : L'utilisation de modèles pré-entraînés spécifiques à la cybersécurité (ex: SecureBERT, CyBERT) améliore la compréhension du jargon technique.
• Émergence des LLM : Les études récentes explorent les Grands Modèles de Langage (LLM) (GPT-3.5/4, LLaMA) via le prompting, le Retrieval-Augmented Generation (RAG) et le fine-tuning léger (LoRA). Les résultats montrent que les LLMs sont performants pour le raisonnement complexe et le few-shot learning, tandis que les encodeurs spécialisés (SecureBERT) restent supérieurs pour la classification supervisée sur des jeux de données structurés.

D. Limites et Reproductibilité

• Manque de généralisation : La majorité des études utilisent un seul jeu de données, souvent de petite taille ou synthétique, ce qui limite la validation croisée.
• Problèmes de reproductibilité : Seulement 12,5 % des études fournissent à la fois le code et les données publiques. La moitié des études (50 %) ne précise pas la disponibilité des ressources, rendant la vérification indépendante difficile.
• Évaluation simplifiée : Beaucoup d'études utilisent des métriques agrégées (F1-score global) et des settings de classification à étiquette unique, ne reflétant pas la complexité multi-label et contextuelle des rapports CTI réels.

5. Signification et Perspectives

Cette revue met en évidence un décalage entre les avancées académiques et les besoins opérationnels réels.

• Signification : Elle fournit une feuille de route claire pour les chercheurs, identifiant les lacunes critiques (données, reproductibilité, évaluation).
• Directions Futures recommandées :
  1. Création de jeux de données ancrés dans l'opérationnel (rapports bruts de praticiens) pour améliorer la validité externe.
  2. Adoption de paradigmes d'évaluation multi-label et d'analyses granulaires (par classe/technique).
  3. Développement de représentations de connaissances plus riches intégrant le contexte temporel et les dépendances causales, au-delà des simples graphes STIX statiques.
  4. Amélioration de la reproductibilité via le partage systématique de code, de données et de protocoles d'annotation.
  5. Exploration de l'extraction de TTPs contextuelle (au niveau du document) plutôt que purement au niveau de la phrase.

En conclusion, bien que l'extraction automatisée de TTPs ait fait des progrès significatifs grâce au NLP et aux LLM, le domaine doit évoluer vers des systèmes plus robustes, reproductibles et alignés sur les flux de travail réels de renseignement sur les menaces pour être véritablement opérationnel.