🤖 AI

Threat Modelling using Domain-Adapted Language Models: Empirical Evaluation and Insights

本文对用于 5G STRIDE 威胁建模的领域自适应大语言模型和小语言模型进行了全面的实证评估，结果表明，无论是领域自适应还是模型扩展，均无法始终确保可靠的性能，从而凸显了当前大语言模型在结构化安全任务中存在根本性局限，并表明需要增强推理与 grounding 能力。

原作者： Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教导一群不同体型的机器人，让它们充当复杂 5G 手机网络的安全卫士。你的目标是让它们识别特定的安全威胁（例如伪装成基站的黑客），并将其归类到六个标有STRIDE（欺骗、篡改、抵赖、信息泄露、拒绝服务、权限提升）的特定“箱子”中。

这篇论文就像一份成绩单，记录了研究人员尝试了八种不同的机器人，以测试哪一种最能胜任这项工作。

以下是他们实验的分解及发现，使用了简单的类比：

1. 参赛者：通才 vs. 专才

研究人员测试了两种类型的机器人：

通才：这些是标准的、聪明的机器人，接受过涵盖一切（书籍、代码、新闻）的训练。它们就像一位图书管理员，对万事万物都略知一二。
专才：这些是同样的机器人，但接受了针对电信和网络安全的额外“速成班”。它们就像那位图书管理员，在过去一年里只阅读 5G 手册和黑客指南。

核心问题：给机器人提供专门的速成班，是否比仅让其利用通用知识更能提高其分类安全威胁的能力？

结果：令人惊讶的是，并没有。“专才”机器人并没有 consistently（始终如一地）胜过“通才”机器人。有时专才表现更好，但往往它们与通才一样好（有时甚至更差）。事实证明，仅仅掌握该领域的词汇是不够的；机器人需要知道如何思考问题，而不仅仅是掌握事实。

2. 体型很重要（但并非全部）

研究人员测试了不同体型的机器人：

微型机器人（10 亿参数）：就像一个聪明的幼儿。
中型机器人（30 亿参数）：就像一个青少年。
大型机器人（80 亿参数）：就像一个经验丰富的成年人。

结果：大型机器人通常表现最好。它们更准确，犯错更少。然而，论文警告说，仅仅把机器人变大并不能保证完美。即使是最大的机器人也会感到困惑、遗漏某些威胁，或给出毫无意义的回答。体型大有帮助，但它不是万能魔杖。

3. “小抄”（提示工程）

研究人员尝试了两种向机器人提问的方式：

零样本（ZS）：直接提问，例如“这个该放进哪个箱子？”
少样本（FS）：先给机器人几个例子，例如“这是一个属于‘欺骗’箱的威胁。这是一个属于‘篡改’箱的威胁。现在，这个新的该放哪里？”

结果：提供**示例（少样本）**通常能帮助机器人更准确地回答问题，尤其是对于较大的机器人。这就像在考试前给学生展示几道练习题。然而，对于微型机器人，示例有时会令它们困惑，导致表现更差。

4. “压力测试”（解码策略）

研究人员要求机器人用两种方式回答同一个问题：

贪婪解码：机器人每次都选择最明显的答案。这就像一个总是选择第一条可见路径的机器人。
随机采样：机器人被允许带有一点随机性。它从一组“好”答案中进行选择。如果你问它 10 次，它可能会给出 10 个略有不同的答案。

结果：随机方法是观察机器人不稳定性的绝佳方式。微型机器人非常不稳定；如果你问它们同一个问题 10 次，它们可能会给出 10 个不同的答案。大型机器人则一致得多。这表明，对于安全工作，你需要一个不会在答案上反复无常的机器人。

5. “垃圾”问题（无效输出）

这是一个主要发现。研究人员不仅统计了正确或错误的答案，还检查了胡言乱语。

有些机器人无视规则，写长篇大论而不是仅仅选择一个箱子。
有些机器人编造了不存在的箱子（幻觉）。
有些机器人在箱子里给出了答案，但随后的解释却与之矛盾（例如：“这是欺骗”，但随后写道：“这实际上是篡改”）。
有些机器人直接放弃，写代码或留白。

结果：无效输出率很高，尤其是对于较小的机器人，以及当它们没有被给予严格格式（如聊天模板）时。论文得出结论：你目前还不能信任这些机器人独立工作。 即使它们 60% 的时间能给出正确答案，如果另外 40% 的时间它们在胡言乱语或自相矛盾，人类仍然必须检查每一个答案。

底线

论文总结如下：

仅靠专门训练是不够的。你不能只是给机器人灌输安全书籍就指望它成为安全专家；它需要接受关于如何解决威胁建模这一特定谜题的训练。
越大越好，但并非完美。大型机器人更可靠，但它们仍然会犯错。
提问方式很重要。提供示例和严格格式会有所帮助，但这无法修复有缺陷的机器人。
可靠性是关键。对于安全工作，一个 80% 准确但 20%“疯狂”的机器人是危险的。我们需要能够保持一致并完美遵循指令的机器人，而当前的技术尚未完全达到这一水平。

简而言之：这些 AI 模型是安全领域的有前途的工具，但目前，它们就像聪明但容易走神的实习生。在将它们投入现实世界使用之前，需要人类主管对其工作进行双重检查。

技术摘要：基于领域自适应语言模型的威胁建模

问题陈述

尽管大语言模型（LLM）在漏洞检测等网络安全应用中展现出潜力，但其在结构化威胁建模方面的有效性仍未得到充分探索。先前的研究主要集中在有限提示设置下的通用大语言模型。目前存在一个关键缺口，即尚未明确领域自适应模型（特别是那些在电信和网络安全语料库上训练的模型）在 5G 网络基于 STRIDE 的威胁分类背景下，是否优于通用模型。此外，模型规模、解码策略（确定性 vs. 随机性）以及提示技术（零样本 vs. 少样本）对结构化输出的可靠性和有效性的影响，尚未得到系统评估。

方法论

本研究对8 个指令微调语言模型（参数量从 1B 到 8B 不等）的52 种不同配置进行了全面的实证评估。这些模型包括通用大语言模型（如 Llama-3 变体）和领域自适应模型（用于电信领域的 Tele-LLMs 和用于网络安全的 Foundation-Sec）。

实验设置

任务：将 5G 威胁多标签分类为六个 STRIDE 类别（欺骗、篡改、抵赖、信息泄露、拒绝服务、权限提升）。
数据集：源自 Mahyoub 等人 [14] 的六个代表性 5G 威胁，涵盖所有 STRIDE 类别。
提示策略：
- 零样本（ZS）：直接任务指令，无示例。
- 少样本（FS）：包含展示威胁分类的上下文示例。
- 聊天模板：评估使用和不使用模型特定聊天模板的情况，以测试指令遵循能力。
解码策略：
- 贪婪解码：确定性、单次运行评估。
- 随机采样：每个威胁进行 10 次独立运行（Temperature=0.7, Top_p=0.9），以评估输出一致性和不确定性。
评估指标：
- 标准分类指标（精确率、召回率、F1 分数）。
- 无效输出率（IOR）：不符合所需格式的输出比例（例如：空响应、幻觉标签、矛盾的解释）。
- 惩罚性 F1 分数：定义为 $F1 \times (1 - IOR)$ 的综合指标，优先兼顾准确性和输出有效性。

主要贡献

领域自适应的系统评估：本文提供了首个针对基于 STRIDE 的威胁分类任务，对领域自适应大语言模型（电信和网络安全）与通用模型进行的比较分析。
模型属性分析：研究了模型规模（1B–8B）与解码策略之间的相互作用，揭示了随机采样如何暴露较小模型中的分类不确定性和稳定性问题。
提示技术影响：量化了少样本提示和聊天模板对分类质量和指令遵循能力的影响。
关于输出可靠性的见解：除了标准准确率外，本文识别并分类了特定的失败模式（例如：幻觉类别、标签与解释矛盾、缺乏优雅的弃权），这些模式导致模型输出无法用于自动化威胁建模。
实用的提示指南：基于实证观察，作者提出了针对结构化威胁建模的特定提示策略，以提高输出可靠性。

结果与发现

1. 领域自适应并非万能

与“领域特定训练能保证更优性能”的假设相反，领域自适应模型并未 consistently 优于其通用对应模型。虽然像 Foundation-Sec-8B-Instruct 和 Tele-it 变体这样的模型在特定设置下取得了有竞争力的分数，但通用模型（例如 Llama-3.1-8B-Instruct）往往能与之匹敌甚至超越，特别是在少样本提示下。这表明，特定任务的推理能力和指令遵循能力与领域知识同样关键。

2. 模型规模与解码策略

规模：与较小模型（1B 和 3B）相比，较大模型（8B 参数）通常实现了更高的惩罚性 F1 分数和更大的稳定性。然而，仅靠扩展规模并不能消除分类错误或无效输出。
解码：随机采样揭示了较小模型存在显著的变异性，它们经常无法在不同运行中选择一致的标签。相比之下，较大模型表现出更稳定的标签选择。
少样本提示：少样本提示通常通过帮助较大模型推断多标签结构，从而提高了它们的召回率和 F1 分数。然而，对于较小模型（特别是 1B），少样本提示有时会降低性能或增加无效输出，表明其在解释上下文示例方面存在能力限制。

3. 输出有效性与可靠性

本研究相当一部分内容聚焦于无效输出率（IOR）。结果表明：

较小模型和未使用聊天模板的配置产生了更高比例的无效输出（例如：输出解释性文本而非标签、幻觉类别或生成代码）。
聊天模板并不总能提高分类准确率，但显著改善了指令遵循能力，减少了格式错误响应的频率。
所有被评估的模型均未表现出在无法确定有效分类时“优雅弃权”或表达不确定性的能力；相反，它们倾向于幻觉标签。

意义与主张

本文结论指出，当前的 LLM 即使经过领域自适应和扩展，在结构化威胁建模方面仍面临根本性局限。研究结果挑战了“仅增加更多领域特定训练数据或增大模型规模就足以实现可靠的安全自动化”这一假设。

作者主张：

仅靠领域自适应不足以进行结构化威胁建模；模型需要与特定的推理任务和输出约束进行对齐。
可靠性不同于准确率。一个模型可能获得合理的 F1 分数，但由于高比例的无效或矛盾输出，在操作上仍不可靠。
未来的改进必须超越数据扩展，纳入更强的特定任务推理机制，并更好地扎根于安全概念。
提示工程是提高可靠性的关键杠杆，特别是通过为较大模型使用少样本示例，以及使用严格的格式约束（聊天模板）来确保输出有效性。

本研究作为一个警示性的实证基线，表明虽然 LLM 可以辅助威胁建模，但在缺乏显著的人工监督和精心配置的提示及解码参数的情况下，尚不能将其视为自主代理。