Validating Threat Modeling Results with the Help of Vulnerable Test Applications

Résumé technique : Validation des résultats de la modélisation des menaces à l'aide d'applications de test vulnérables

Énoncé du problème
La validation des résultats de la modélisation des menaces reste un défi majeur en ingénierie de la sécurité. Bien que la modélisation des menaces soit une pratique bien établie de « sécurité par conception » pour identifier les menaces potentielles dès le début, évaluer objectivement la qualité d'un modèle de menaces généré est difficile. Les méthodes de validation actuelles reposent généralement sur la comparaison des résultats avec un modèle de référence produit par un expert ou une base humaine. Cependant, ces approches héritent des limites de la référence elle-même : les experts peuvent être en désaccord, opérer à différents niveaux d'abstraction, ou simplement manquer des menaces pertinentes. Par conséquent, il manque un « oracle » externe et objectif pour juger de l'exhaustivité des modèles de menaces sans dépendre uniquement du jugement subjectif humain.

Méthodologie
Pour y remédier, les auteurs proposent et évaluent une approche de validation fondée sur les vulnérabilités. Au lieu de comparer avec un autre modèle humain, cette méthode utilise des applications intentionnellement vulnérables dotées d'un ensemble connu de vulnérabilités comme oracle de vérité terrain. La question de recherche centrale est : Dans quelle mesure les menaces produites par des outils de modélisation des menaces, à partir d'architectures, de diagrammes de flux de données (DFD) et de descriptions générales en entrée, couvrent-elles les vulnérabilités connues dans les applications analysées ?

L'étude compare deux outils :

1. ThreMoLIA : Une solution de modélisation des menaces assistée par LLM développée par les auteurs. Elle utilise la génération augmentée par récupération (RAG) pour intégrer la documentation du projet, l'architecture de haut niveau et les DFD. Elle prend en charge les cadres traditionnels (STRIDE, LINDDUN, OWASP Top 10, MITRE ATT&CK) et les cadres spécifiques à l'IA (MITRE ATLAS, OWASP Top 10 ML, OWASP Top 10 LLM).
2. Microsoft Threat Modeling Tool (MTMT) : Un outil largement utilisé, basé sur STRIDE et ancré dans les pratiques Microsoft SDL.

L'expérience a utilisé deux applications de référence :

• AzureGoat : Une infrastructure Azure conçue pour être vulnérable, contenant 7 vulnérabilités connues (mauvaises configurations web et cloud).
• VulnBank : Une application bancaire délibérément vulnérable contenant 63 vulnérabilités connues (failles web, API et intégrées à l'IA).

Procédure expérimentale

• Entrées : Les deux outils ont reçu les mêmes entrées : diagrammes d'architecture, DFD et descriptions. Les listes de vulnérabilités connues ont été retenues pendant la phase de modélisation et utilisées uniquement pour le scoring.
• Configuration :
  • MTMT a été exécuté une fois par application.
  • ThreMoLIA a été exécuté en utilisant le modèle GPT-5 via l'API OpenAI. Il a été testé dans plusieurs configurations : 0-shot (DFD uniquement), 1-shot (DFD + documentation), 2-shot (DFD + documentation supplémentaire), et un résultat fusionné de 1-shot et 2-shot.
  • Pour atténuer la variabilité des LLM, ThreMoLIA a été exécuté trois fois par configuration, et les résultats ont été agrégés.
• Métrique : La métrique principale était la couverture des menaces, définie comme le rapport entre le nombre de vulnérabilités connues couvertes par au moins une menace modélisée et le nombre total de vulnérabilités connues ($V_{couvert} / V_{connu}$). Une vulnérabilité était considérée comme « couverte » si un expert déterminait qu'une menace modélisée décrivait sémantiquement la vulnérabilité ou la condition permettant son exploitation. L'étude note que les faux positifs (hallucinations) ont été supprimés lors de l'étape de validation assistée par LLM, et que les menaces valides sans vulnérabilités correspondantes n'ont pas été pénalisées, car la modélisation des menaces n'a pas de limite supérieure théorique sur les menaces valides.

Résultats clés
Les résultats, résumés dans le tableau I de l'article, démontrent que ThreMoLIA a obtenu une couverture de vulnérabilités plus élevée que MTMT sur les deux applications :

• AzureGoat : ThreMoLIA a atteint 100 % de couverture (7/7 vulnérabilités), tandis que MTMT en a couvert 57,1 % (4/7).
• VulnBank :
  • ThreMoLIA (0-shot) a couvert 73,0 % (46/63), surpassant déjà MTMT.
  • ThreMoLIA (1-shot) a atteint 85,7 % (54/63).
  • ThreMoLIA (2-shot) a atteint 82,5 % (52/63).
  • ThreMoLIA (Fusionné 1+2) a atteint 92,1 % (58/63).
  • MTMT a couvert 55,6 % (35/63).
• Constats spécifiques : MTMT a bien performé sur la gestion de session conventionnelle et les failles côté client, mais a manqué les 10 vulnérabilités liées au support client par IA dans VulnBank. En revanche, les meilleures configurations de ThreMoLIA ont couvert les 10 vulnérabilités liées à l'IA et les 9 vulnérabilités d'authentification/autorisation.
• Global : La meilleure configuration de ThreMoLIA a couvert 92,9 % (65/70) des vulnérabilités totales sur les deux applications, contre 55,7 % (39/70) pour MTMT.

Signification et affirmations
L'article affirme que les applications de test vulnérables fournissent un référentiel pratique pour évaluer la couverture des menaces, offrant une alternative mesurable aux bases de référence exclusivement expertes. En déplaçant l'évaluation de « L'outil a-t-il correspondu à un rapport d'expert spécifique ? » vers « L'outil a-t-il couvert les faiblesses réellement présentes dans le système ? », l'approche réduit la dépendance au consensus humain subjectif.

L'étude souligne que, bien que MTMT reste efficace pour les préoccupations architecturales standard de type STRIDE, ThreMoLIA est mieux adapté aux paysages d'applications mixtes combinant des surfaces d'attaque conventionnelles et liées à l'IA. Les résultats suggèrent que la modélisation assistée par LLM, en particulier lorsqu'elle est augmentée par la documentation du projet (stratégies de prompting), peut considérablement améliorer la découverte de vulnérabilités complexes et spécifiques à l'IA.

Limites et travaux futurs
Les auteurs reconnaissent plusieurs limites :

1. La couverture n'est qu'une dimension de la qualité ; un rappel élevé ne garantit pas l'absence de menaces non pertinentes.
2. Le résultat fusionné de ThreMoLIA n'est pas strictement équivalent en coût à une seule exécution déterministe de MTMT.
3. L'étude s'est limitée à seulement deux applications.
4. Il existe un risque que le modèle GPT-5 ait été entraîné sur des données de ces applications vulnérables spécifiques, bien que les auteurs aient atténué cela en renommant les applications dans les entrées.

L'article conclut que la validation fondée sur les vulnérabilités est un complément utile aux bases de référence expertes. Les auteurs prévoient d'étendre cette méthodologie aux environnements de télécommunications (y compris les réseaux cœur 5G et l'infrastructure cloud-native) et ont l'intention de publier ThreMoLIA en open source.