Beyond Single Reports: Evaluating Automated ATT&CK Technique Extraction in Multi-Report Campaign Settings

1. Problématique et Contexte

Les cyberattaques à grande échelle, ou campagnes, sont documentées par de multiples rapports de Cyber Threat Intelligence (CTI) provenant de sources diverses (agences gouvernementales, chercheurs, équipes de réponse aux incidents). Ces rapports offrent souvent des perspectives complémentaires : certains fournissent une vue d'ensemble stratégique, tandis que d'autres détaillent des aspects techniques forensiques.

Le problème central identifié par les auteurs est le suivant :

• Limitation des approches actuelles : Les méthodes automatisées existantes pour extraire les techniques d'attaque (mapées sur le framework MITRE ATT&CK) sont évaluées et conçues principalement sur des rapports individuels.
• Conséquences : Cette approche fragmentée conduit à une vision incomplète du comportement de la campagne, laissant de nombreuses techniques et, surtout, les contrôles de sécurité associés (mitigations) non détectés.
• Objectif de l'étude : Évaluer si l'agrégation de multiples rapports CTI concernant la même campagne améliore la performance des méthodes d'extraction par rapport aux évaluations sur rapport unique, et analyser l'impact de ces erreurs sur la couverture des contrôles de sécurité.

2. Méthodologie

L'étude adopte une conception de réplication conceptuelle et d'extension par rapport au travail de Büchel et al. [10].

• Données :
  • Ensemble d'entraînement : Le jeu de données AnnoCTR (118 techniques), complété par des échantillons supplémentaires issus du site officiel MITRE ATT&CK pour couvrir les techniques manquantes.
  • Ensemble de test : Le jeu de données CTIfecta, contenant 90 rapports CTI filtrés couvrant trois campagnes majeures : SolarWinds, XZ Utils et Log4j. Ces rapports proviennent de sources variées (CISA, fournisseurs de sécurité, chercheurs).
• Méthodes évaluées (29 au total) :
  L'étude compare trois approches principales :
  1. Reconnaissance d'Entités Nommées (NER) : 6 méthodes basées sur des règles et des pipelines syntaxiques/sémantiques (sans entraînement de modèle).
  2. Classification basée sur des Encodeurs : 15 méthodes utilisant des modèles pré-entraînés (BERT, RoBERTa et leurs variantes spécialisées comme CySecBERT, SecBERT).
  3. LLM basés sur des Décodeurs : 8 méthodes utilisant des modèles de langage (Llama-3.1-8B) avec différentes stratégies de prompt (Zero-shot, Few-shot, RAG, et Fine-Tuning Supervisé - SFT).
• Protocole d'évaluation :
  • Contrairement aux benchmarks précédents, les prédictions sont agrégées au niveau de la campagne (union des techniques prédites sur tous les rapports d'une même campagne).
  • Métriques : Précision, Rappel, F1-score, et une nouvelle métrique de couverture des contrôles (P-SSCRM).
  • Analyse des erreurs : Utilisation d'embeddings textuels et de t-SNE pour étudier la similarité sémantique entre les techniques mal classées.
  • Analyse de saturation : Évaluation incrémentale pour déterminer le nombre de rapports nécessaires avant que la performance ne stagne.

3. Contributions Principales

1. Évaluation au niveau de la campagne : Première étude comparant systématiquement 29 méthodes d'extraction sur des ensembles de rapports multiples plutôt que sur des rapports isolés.
2. Métriques de couverture des contrôles : Introduction d'une métrique quantifiant l'impact des erreurs d'extraction de techniques sur la couverture des contrôles de sécurité (mitigations) recommandés.
3. Seuils de saturation empiriques : Détermination du nombre minimum de rapports nécessaires pour atteindre la saturation de performance (généralement 10-15 rapports).
4. Caractérisation des rapports : Identification des propriétés textuelles (longueur, détails techniques, source) qui favorisent une meilleure extraction.
5. Analyse des erreurs sémantiques : Démonstration que la similarité sémantique entre les descriptions des techniques ATT&CK est une cause majeure d'erreurs de classification.

4. Résultats Clés

A. Impact de l'agrégation multi-rapports (RQ1)

• Amélioration globale : L'agrégation de plusieurs rapports améliore le score F1 d'environ 26 % par rapport à l'analyse d'un seul rapport.
• Performance par approche :
  • NER et LLM (Décodeurs) : Bénéficient fortement de l'agrégation. Les LLM voient leur rappel augmenter de +28,5 %.
  • Classification (Encodeurs) : Surprenant, ces méthodes montrent une dégradation de performance (-30 % de F1) dans le contexte multi-rapports, probablement due à des problèmes de généralisation ou de bruit lors de l'agrégation.
• Saturation : La plupart des approches atteignent la saturation de performance après 5 à 15 rapports. Cependant, pour la campagne XZ Utils, les LLM nécessitent jusqu'à 22-30 rapports.

B. Nature des erreurs (RQ2)

• Similarité sémantique : 33,3 % des erreurs de classification (faux positifs) et des techniques manquées (faux négatifs) surviennent entre des techniques sémantiquement similaires (similitude cosinus ≥ 0,7).
• Tactiques partagées : Jusqu'à 79,2 % des erreurs impliquent des techniques partageant la même tactique (ex: Évasion de la défense, Découverte). Les modèles confondent souvent des techniques au sein d'une même catégorie tactique.

C. Impact sur les contrôles de sécurité (RQ3)

• Propagation des erreurs : Les erreurs d'extraction ont un impact disproportionné sur la couverture des contrôles.
• Performance maximale : Même la meilleure méthode (LLM avec RAG) n'atteint qu'un 77,1 % de couverture des contrôles (sur SolarWinds).
• Gaps systémiques : Toutes les méthodes échouent systématiquement à couvrir les contrôles liés à la Gouvernance (G), au Déploiement (D) et à l'Environnement (E) du framework P-SSCRM, même lorsqu'elles détectent correctement les techniques.

D. Caractéristiques des rapports (RQ5)

• Longueur et détails techniques : Les rapports plus longs et riches en détails techniques (hashes, adresses IP, termes spécifiques) contribuent le plus à la performance.
• Lisibilité : Paradoxalement, les rapports avec un score de lisibilité plus faible (plus complexes) sont souvent plus performants pour l'extraction, car ils contiennent plus d'informations techniques brutes.
• Sources : Les rapports provenant d'agences gouvernementales (CISA) et de grands fournisseurs commerciaux (Google, Apache) dominent les rapports contribuant à la saturation.

5. Signification et Recommandations

Cette étude remet en question la pratique courante d'évaluer les outils d'extraction CTI sur des rapports uniques. Elle démontre que :

1. L'agrégation est cruciale : Pour une vision complète d'une campagne, il est impératif d'agréger les prédictions sur plusieurs rapports.
2. Choix de l'outil selon le rôle :
   • Les analystes SOC privilégiant la précision (réduction des faux positifs) devraient utiliser des approches NER.
   • Les analystes en renseignement menaçant (Threat Intel) privilégiant la couverture complète devraient utiliser des LLM, malgré un taux de faux positifs plus élevé.
3. Curration des données : Les organisations devraient prioriser la collecte de rapports longs et techniques, même s'ils sont difficiles à lire, plutôt que de se fier à des résumés simplifiés.
4. Au-delà des techniques : L'évaluation des outils ne doit pas se limiter aux techniques ATT&CK détectées, mais doit inclure l'analyse de la couverture des contrôles de sécurité associés, car une petite perte de détection de techniques peut entraîner une perte significative de couverture défensive.

En conclusion, l'étude plaide pour un changement de paradigme dans la recherche en CTI : passer d'une évaluation sur rapport unique à une évaluation holistique au niveau de la campagne, en intégrant des métriques de couverture des contrôles.