💬 NLP

TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

TTPrint est un cadre novateur qui améliore l'extraction des techniques MITRE ATT&CK à partir de rapports de renseignement sur les cybermenaces en adoptant une stratégie « divergence puis convergence » consistant à identifier d'abord largement des comportements candidats ancrés dans des preuves spécifiques, puis à les vérifier rigoureusement par rapport à des définitions autoritaires, surpassant ainsi significativement les méthodes existantes tant en rappel qu'en précision.

Auteurs originaux : Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un rapport de scène de crime massif et chaotique. Le rapport compte des centaines de pages, rédigé dans un mélange de jargon technique et de descriptions vagues. Votre tâche consiste à identifier des « Modus Operandi » spécifiques (la façon dont les criminels ont procédé) et à les faire correspondre à un immense manuel de règles officiel appelé MITRE ATT&CK.

Le problème est épineux :

Ne rien manquer : Si vous omettez une technique, les criminels s'en sortent avec une nouvelle astuce.
Ne rien inventer : Si vous devinez une technique qui n'est pas réellement présente, vous faites perdre du temps à tout le monde en poursuivant des fantômes.

Les méthodes existantes (comme d'anciens manuels de règles ou des IA à passage unique) peinent à accomplir les deux. Elles soit manquent trop d'indices, soit devinent trop d'erreurs.

Voici TTPRINT, un nouveau système qui résout ce problème en agissant comme une équipe de détectives humains utilisant une stratégie « Diverger puis Converger ». Pensez-y comme un processus en deux étapes : Élargir d'abord, puis Rétrécir.

Le flux de travail du détective TTPRINT

Phase 1 : La « Divergence » (Élargir)

Au lieu d'essayer de deviner la réponse immédiatement, TTPRINT découpe le rapport de crime massif en petits morceaux digestes appelés « comportements atomiques ».

L'analogie : Imaginez prendre un roman de 50 pages et le découper en phrases individuelles.
Ce que cela fait : Pour chaque petite phrase, l'IA se demande : « Qu'est-ce que cela pourrait être ? » Elle génère une longue liste de correspondances possibles issues du manuel de règles. Elle lance délibérément un filet large, même si cela signifie suggérer certaines options peu probables. L'objectif ici est le Rappel (Recall) : s'assurer qu'aucun indice réel n'est laissé derrière.

Phase 2 : L'« Ancrage » (Trouver la preuve)

Avant que l'IA ne puisse confirmer une hypothèse, elle doit prouver où dans le texte l'indice provient.

L'analogie : Si vous dites : « Le suspect a utilisé un pied-de-biche », vous devez pointer la phrase exacte du rapport qui dit : « Le suspect a utilisé un pied-de-biche ». Vous ne pouvez pas simplement dire : « Je pense qu'ils ont utilisé un pied-de-biche parce qu'ils ont cassé une fenêtre ».
Ce que cela fait : TTPRINT utilise un algorithme strict, non basé sur l'IA, pour trouver la « fenêtre » spécifique de texte qui soutient le comportement. Cela ancre chaque hypothèse à une pièce de preuve spécifique, empêchant l'IA d'halluciner (d'inventer des choses) en se basant sur l'ambiance générale de l'ensemble du document.

Phase 3 : La « Convergence » (Rétrécir)

Vient maintenant la vérification rigoureuse. L'IA prend la liste des correspondances « possibles » et la « fenêtre de preuve » spécifique.

L'analogie : Un détective senior examine la liste du junior. Il compare la phrase spécifique (la preuve) et la définition officielle du manuel de règles côte à côte. Il se demande : « Cette phrase correspond-elle vraiment à la définition du manuel de règles, ou est-ce juste une hypothèse lâche ? »
Ce que cela fait : L'IA attribue un score de confiance. Si la correspondance est faible, elle est rejetée. Si elle est forte, elle est conservée. Cette étape garantit la Précision : seuls les faits véritablement soutenus par le texte subsistent.

Pourquoi cela fonctionne mieux

L'article affirme que les méthodes précédentes tentaient d'effectuer toutes ces étapes en une seule fois (comme un détective devinant toute l'histoire en une seule inspiration). Cela conduit à des erreurs :

Trop prudents : Ils manquent des indices subtils pour éviter de deviner faux.
Trop confiants : Ils devinent faux parce que la formulation dans le rapport ne correspond pas parfaitement à la définition du manuel de règles.

TTPRINT sépare le « devinage » du « contrôle ». En divisant le travail, il peut être audacieux lors du devinage (attraper tout) et strict lors du contrôle (ne garder que la vérité).

Les résultats

Les chercheurs ont testé TTPRINT sur deux ensembles de données :

TRAM-Clean : Une version épurée d'un ensemble de données existant (ils ont corrigé des erreurs dans les étiquettes originales).
TTPRINT-Bench : Un tout nouvel ensemble de données de 150 rapports complets qu'ils ont créés à partir de zéro.

Le tableau de bord :

Sur le nouvel ensemble de données, TTPRINT a obtenu un taux de réussite de 87,39 % (Macro-F1).
La meilleure méthode précédente (une IA standard utilisant la « Chaîne de Pensée ») n'a obtenu que 58,02 %.
TTPRINT a amélioré le score de près de 30 %, ce qui signifie qu'il a trouvé significativement plus de techniques réelles tout en commettant beaucoup moins d'erreurs.

Le « bouton » de contrôle

Une fonctionnalité intéressante est un « bouton de seuil » (appelé $\tau$ ).

Tournez-le vers le haut : Vous obtenez moins de résultats, mais vous êtes sûr à 100 % qu'ils sont corrects (Haute Précision). Idéal pour les systèmes automatisés qui ne peuvent pas se permettre de faire une erreur.
Tournez-le vers le bas : Vous obtenez plus de résultats, attrapant presque tout, même si certains peuvent être fragiles (Haut Rappel). Idéal pour les équipes de sécurité qui souhaitent attraper chaque menace possible et enquêter plus tard.

Résumé

TTPRINT est comme un détective qui écrit d'abord toutes les théories possibles basées sur chaque phrase d'un rapport, puis vérifie rigoureusement chaque théorie par rapport à la preuve spécifique avant de rédiger le dossier final de l'affaire. Cette approche lui permet de capturer plus de menaces réelles et de générer moins de fausses alertes que toute méthode précédente.

Note : L'article se concentre strictement sur l'extraction de ces techniques à partir de rapports en langue anglaise. Il ne prétend pas prédire les attaques futures, arrêter les pirates en temps réel, ni fonctionner comme un outil de diagnostic médical ou juridique.

Résumé Technique : TTPRINT

Énoncé du Problème
L'extraction automatique des techniques MITRE ATT&CK à partir de rapports de renseignement sur les cybermenaces (CTI) non structurés constitue un problème en ensemble ouvert et multi-étiquettes, nécessitant l'optimisation simultanée d'un rappel élevé (capturer toutes les techniques véritablement décrites) et d'une précision élevée (éviter les hallucinations de techniques non étayées). Les approches existantes font face à des limitations significatives :

Méthodes basées sur des règles et supervisées : Des systèmes comme TTPDrill ou des transformateurs affinés (par exemple, LADDER, MITREtrieval) peinent à généraliser à travers des styles de rapports divers et des descriptions d'attaques évolutives. Ils reposent souvent sur des mots-clés explicites ou des ontologies fixes, échouant à capturer des comportements implicites ou paraphrasés.
Approches LLM en passage unique : Bien que les grands modèles de langage (LLM) montrent des promesses, leur application en une seule étape d'inférence couple les objectifs de génération d'hypothèses et de vérification. Ce couplage conduit à deux modes d'échec cumulatifs : (1) les modèles sacrifient la couverture pour la confiance, omettant des comportements moins saillants, et (2) les incohérences lexicales de surface entre le langage des rapports opérationnels et les définitions canoniques de MITRE entraînent un mappage incorrect des techniques.

Méthodologie : TTPRINT
Les auteurs proposent TTPRINT, un pipeline en quatre étapes inspiré des flux de travail des analystes humains, utilisant une conception « diverger- puis converger » pour découpler la génération orientée rappel de la vérification orientée précision.

Phase de Divergence (Maximiser la Couverture) :
- Extraction des Comportements : Le rapport CTI brut est décomposé en un ensemble de comportements d'attaque atomiques et autonomes. Crucialement, cette étape préserve des artefacts techniques spécifiques (noms d'outils, chaînes de commandes, chemins de registre) pour éviter l'effondrement du contexte, garantissant que les étapes ultérieures disposent de détails suffisants pour une identification précise.
- Proposition de TTP : Pour chaque comportement atomique, le LLM propose un large ensemble de techniques candidates MITRE ATT&CK (jusqu'à $k$ identifiants distincts au niveau parent). Cette étape privilégie le rappel, différant délibérément le jugement pour s'assurer qu'aucune technique potentielle n'est prématurément rejetée.
Phase de Convergence (Filtrer par Preuve) :
- Localisation des Segments : Un algorithme déterministe ancre chaque comportement proposé à une fenêtre de phrase spécifique et contiguë (segment de preuve) au sein du rapport original. Cela restreint tout raisonnement ultérieur à un support textuel vérifiable plutôt qu'au contexte complet du document, réduisant le bruit et les risques d'hallucination.
- Vérification des TTP : Le LLM évalue chaque technique candidate contre trois entrées : le texte du comportement, le segment de preuve localisé et la définition officielle MITRE ATT&CK. Le modèle génère un score de confiance ( $c_{ver}$ ) indiquant si la preuve étaye explicitement la technique.
- Seuillage : Les candidats dépassant un seuil de confiance ajustable ( $\tau$ ) sont conservés. Ce paramètre permet aux praticiens de contrôler explicitement le compromis précision-rappel sans réentraînement ni modifications architecturales.

Contributions Clés

Principe Architectural : L'article identifie le couplage de la précision et du rappel dans l'extraction en passage unique comme une limitation structurelle et propose le principe « diverger- puis converger », séparant explicitement la génération d'hypothèses de la vérification ancrée dans les preuves.
Pipeline TTPRINT : Une implémentation novatrice intégrant une localisation déterministe des segments qui garantit que chaque prédiction est traçable jusqu'à un passage source spécifique, permettant une auditabilité complète.
Ressources d'Évaluation :
- TRAM-Clean : Une version systématiquement nettoyée du benchmark TRAM largement utilisé, corrigeant les faux positifs et les faux négatifs dans les annotations originales pour fournir une base de référence fiable.
- TTPRINT-Bench : Un nouveau benchmark au niveau document comprenant 150 rapports CTI complets (2022–2025) avec des vérités terrain doublement annotées et arbitrées, conçu pour évaluer l'extraction à partir de documents non structurés et complets plutôt que de phrases isolées.

Résultats
Évalué sur TRAM-Clean et TTPRINT-Bench, TTPRINT démontre des améliorations significatives par rapport aux bases de référence de l'état de l'art :

Performance : TTPRINT atteint un Macro-F1 de 76,48 % sur TRAM-Clean et 87,39 % sur TTPRINT-Bench. Cela représente une amélioration de 63,5 % et 29,4 % par rapport à la base de référence principale (CoT GPT-4o), respectivement.
Précision et Rappel : Contrairement aux méthodes en passage unique qui peinent à équilibrer ces deux métriques, TTPRINT les améliore simultanément. Sur TTPRINT-Bench, le rappel est passé de 50,70 % à 95,50 %, et la précision de 69,90 % à 82,15 %.
Études d'Ablation : Le retrait de toute étape (Extraction des Comportements, Localisation des Segments ou Vérification) entraîne une dégradation significative des performances. Notamment, la localisation des segments améliore à la fois la précision et le rappel en réduisant la dilution du contexte et les risques d'hallucination.
Agnosticisme du Modèle : L'efficacité du pipeline se maintient à travers six différents backbones de LLM (incluant GPT-4o, Claude Sonnet, Gemini, Qwen et DeepSeek). Des modèles plus petits équipés du pipeline TTPRINT surpassent souvent des modèles plus grands utilisant un prompting en passage unique, suggérant que la conception architecturale est le principal moteur de la performance.
Sensibilité du Seuil : Le seuil de vérification $\tau$ offre un contrôle lisse et monotone sur la frontière précision-rappel, permettant aux utilisateurs de sélectionner des points de fonctionnement pour des scénarios à haut rappel (triage SOC), équilibrés, ou à haute précision (réponse automatisée).

Signification et Revendications
L'article revendique que TTPRINT comble une lacune critique dans le flux de travail de l'analyste CTI en fournissant une méthode d'extraction de TTP à haut rappel et précise, directement traçable aux preuves sources. En découplant la génération et la vérification, le système atténue les compromis inhérents au prompting LLM en passage unique. Les auteurs soulignent que l'approche est agnostique au modèle, permettant aux organisations préoccupées par la souveraineté des données de déployer des LLM open-source hébergés localement sans sacrifier la performance. La publication de TRAM-Clean et TTPRINT-Bench vise à élever le domaine de l'évaluation au niveau des phrases vers une extraction réaliste au niveau des documents, facilitant la recherche future en analyse automatisée du renseignement sur les menaces.

Les auteurs maintiennent un périmètre modeste, notant que le système cible les rapports en langue anglaise provenant des principaux fournisseurs de sécurité et ne résout pas actuellement les ambiguïtés inhérentes à la taxonomie MITRE elle-même (par exemple, les techniques sémantiquement adjacentes). Ils notent également que si la qualité de l'extraction est validée par rapport à des annotations d'experts, l'impact sur les métriques opérationnelles en aval (par exemple, le temps de triage) nécessite de futures études de déploiement contrôlé.