Validating Threat Modeling Results with the Help of Vulnerable Test Applications

技术摘要：利用易受攻击的测试应用程序验证威胁建模结果

问题陈述
在安全工程中，验证威胁建模结果仍然是一项重大挑战。尽管威胁建模是一种成熟的“安全设计”实践，用于早期识别潜在威胁，但客观评估生成的威胁模型的质量却十分困难。当前的验证方法通常依赖于将输出结果与专家制作的参考模型或人类基线进行比较。然而，这些方法继承了参考标准本身的局限性：专家之间可能存在分歧、处于不同的抽象层级，或者仅仅遗漏了相关威胁。因此，缺乏一个外部、客观的“预言机”来在不单纯依赖主观人类判断的情况下评估威胁模型的完整性。

方法论
为解决这一问题，作者提出并评估了一种基于漏洞的验证方法。该方法不使用另一份人类模型进行对比，而是利用具有已知漏洞集合的故意易受攻击的应用程序作为真实基准（ground-truth oracle）。核心研究问题是：给定架构、数据流图（DFD）和一般描述作为输入，威胁建模工具生成的威胁在多大程度上能够覆盖被分析应用程序中已知的漏洞？

本研究比较了两种工具：

1. ThreMoLIA：由作者开发的基于大语言模型（LLM）辅助的威胁建模解决方案。它利用检索增强生成（RAG）技术来整合项目文档、高层架构和数据流图。它支持传统框架（STRIDE、LINDDUN、OWASP Top 10、MITRE ATT&CK）以及特定于 AI 的框架（MITRE ATLAS、OWASP Top 10 ML、OWASP Top 10 LLM）。
2. Microsoft Threat Modeling Tool (MTMT)：一款广泛使用的基于 STRIDE 的工具，基于微软 SDL 实践构建。

实验使用了两个基准应用程序：

• AzureGoat：一个按设计构建的易受攻击的 Azure 基础设施，包含 7 个已知漏洞（Web 和云配置错误）。
• VulnBank：一个故意存在漏洞的银行应用程序，包含 63 个已知漏洞（Web、API 和集成 AI 的缺陷）。

实验过程

• 输入：两种工具接收相同的输入：架构图、DFD 和描述。已知漏洞列表在建模阶段被隐瞒，仅用于评分。
• 配置：
  • MTMT 对每个应用程序执行一次。
  • ThreMoLIA 通过 OpenAI API 使用 GPT-5 模型运行。它在多种配置下进行了测试：0 次提示（仅 DFD）、1 次提示（DFD + 文档）、2 次提示（DFD + 额外文档），以及 1 次提示和 2 次提示的合并结果。
  • 为降低 LLM 的变异性，ThreMoLIA 在每个配置下运行了三次，并对结果进行了聚合。
• 指标：主要指标是威胁覆盖率，定义为被至少一个建模威胁覆盖的已知漏洞数量与已知漏洞总数之比（$V_{covered} / V_{known}$）。如果专家确定建模威胁在语义上描述了该漏洞或使其得以利用的条件，则该漏洞被视为“已覆盖”。研究指出，在基于 LLM 的验证步骤中已移除了误报（幻觉），且没有对应漏洞的有效威胁不会被惩罚，因为威胁建模在有效威胁数量上没有理论上限。

关键结果
论文表 I 中总结的结果表明，ThreMoLIA 在两个应用程序上的漏洞覆盖率均高于 MTMT：

• AzureGoat：ThreMoLIA 实现了100% 的覆盖率（7/7 个漏洞），而 MTMT 覆盖了57.1%（4/7）。
• VulnBank：
  • ThreMoLIA（0 次提示）覆盖了73.0%（46/63），已经优于 MTMT。
  • ThreMoLIA（1 次提示）达到了85.7%（54/63）。
  • ThreMoLIA（2 次提示）达到了82.5%（52/63）。
  • ThreMoLIA（合并 1+2 次提示）实现了92.1%（58/63）。
  • MTMT 覆盖了55.6%（35/63）。
• 具体发现：MTMT 在传统的会话管理和客户端缺陷方面表现良好，但遗漏了 VulnBank 中所有 10 个 AI 客户支持漏洞。相比之下，最佳 ThreMoLIA 配置覆盖了所有 10 个 AI 漏洞和所有 9 个身份验证/授权漏洞。
• 总体：最佳 ThreMoLIA 配置覆盖了两个应用程序中总共92.9%（65/70）的漏洞，而 MTMT 为55.7%（39/70）。

意义与主张
该论文声称，易受攻击的测试应用程序为评估威胁覆盖率提供了一个实用基准，提供了一种可测量的替代方案，以取代仅依赖专家的基线。通过将评估从“工具是否与特定专家报告匹配？”转变为“工具是否覆盖了系统中实际存在的弱点？”，该方法减少了对主观人类共识的依赖。

研究强调，虽然 MTMT 在标准的、基于 STRIDE 的架构问题方面仍然有效，但ThreMoLIA 更适合混合应用环境，即结合传统和 AI 相关攻击面的环境。结果表明，LLM 辅助建模，特别是结合项目文档（提示策略）时，可以显著改善对复杂和特定于 AI 的漏洞的发现。

局限性与未来工作
作者承认存在若干局限性：

1. 覆盖率只是质量的一个维度；高召回率并不能保证没有不相关的威胁。
2. 合并后的 ThreMoLIA 结果在严格意义上并不等同于单次确定性 MTMT 运行的成本。
3. 研究仅限于两个应用程序。
4. 存在 GPT-5 模型可能在训练数据中包含这些特定易受攻击应用程序的风险，尽管作者通过在输入中重命名应用程序来缓解了这一问题。

论文结论认为，基于漏洞的验证是专家基线的有用补充。作者计划将此方法扩展到电信环境（包括 5G 核心网络和云原生基础设施），并打算将 ThreMoLIA 作为开源发布。