Are Frontier LLMs Ready for Cybersecurity? Evidence for Vertical Foundation Models from Dual-Mode Vulnerability Benchmarks
本文表明，尽管前沿大语言模型在网络安全任务中面临高误报率和低漏洞覆盖率的问题，但采用结构化测试方法的领域专用模型能够实现更优的精确度，这表明基于专业数据和结构化攻击链构建的垂直基础模型对于有效的安全应用至关重要。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你雇佣了一支由天才通用侦探组成的团队（即“前沿大语言模型”）， tasked 去发现一系列复杂现实建筑（Web 应用程序）中隐藏的陷阱。你想知道他们是否已准备好胜任这份工作。你提供的这份论文就是一份严格测试的成绩单，而消息喜忧参半：这些侦探很聪明，但目前过于笨拙且过度谨慎，尚不能单独托付此重任。
以下是他们表现的具体分析，通过简单的类比加以说明。
1. 测试侦探的两种方式
研究人员并未仅仅要求侦探们“四处看看”。他们通过两种具体方式对他们进行了测试：
- “白盒”测试（查看蓝图）： 侦探们获得了软件的源代码（即蓝图），并被要求准确指出陷阱所在。
- “黑盒”测试（破门而入）： 侦探们仅获得了建筑物的前门。他们必须像窃贼一样行动，尝试潜入、测试锁具，并在看不到蓝图的情况下寻找弱点。
2. “通用”侦探的问题所在
研究人员测试了六种最先进的通用 AI 模型（如 GPT-5.4、Claude 和 Gemini）。以下是出现的问题：
- “狼来了”危机（误报）：
在蓝图测试中，通用侦探们表现得极度多疑。他们几乎将一切标记为陷阱。- 类比： 想象机场的金属探测器不仅对枪支报警，还对钥匙、硬币和皮带扣发出警报。论文发现，这些模型将 10% 到 50% 的安全代码标记为危险。如果在实际工作中使用它们，你的安全团队将不得不手动检查每一个“警报”，在并非真正出问题的事情上浪费数小时。
- “拒绝”问题：
一些最先进的侦探（特别是 GPT-5.4）完全拒绝执行任务。- 类比： 你要求一名侦探测试一把锁是否脆弱，他们却说：“我不能做那个！那可能会鼓励有人闯入！”他们被训练得过于“安全”，以至于不愿执行合法的安全测试。
- “迷失迷宫”问题：
在“黑盒”测试（尝试闯入）中，通用侦探的表现极差。他们仅发现了实际陷阱的 4% 到 8%。即使你给他们提供特殊工具（如万能钥匙或开锁工具包），他们的表现也仅略微提升至 10%–19%。- 类比： 他们拥有工具，但不知道如何系统地使用它们。他们漫无目的地游荡，尝试随机操作，然后放弃，错过了专业人士会发现的那些明显陷阱。
3. 解决方案：专门的“垂直”侦探
论文认为，与其雇佣一位对万事略知一二的通用侦探，我们更需要专门的安全专家（垂直基础模型）。
- “专门攻击”代理：
研究人员构建了一个专门针对进攻性安全训练的专用 AI。与通用模型不同，它没有拒绝执行任务，而是掌握了渗透测试的专业方法。- 结果： 当该专用代理遵循严格的分步检查清单（方法论）时，它发现了超过 50% 的陷阱。这证明拥有周密的计划比仅仅拥有“大脑”更重要。
- “专门防御”代理：
他们还构建了一个专门用于查找代码漏洞（防御）的专用 AI。- 结果： 该模型是全场明星。它具有最高的准确率，且“误报”最少（仅 9.7%）。此外，其运行速度更快，成本也低于庞大的通用模型。
4. 关键秘诀：“代理推理图”（ARG）
最令人印象深刻的成果来自一个名为**代理推理图（Agentic Reasoning Graph, ARG）**的新系统。
- 类比： 想象一个团队，其中“创意侦探”（大语言模型）提出如何闯入的想法，但由一位“严格法官”（一个计算机程序，而非 AI）来核查证据。
- AI 提出一种黑客攻击大门的方法。随后，“法官”运行一个严格且不可更改的测试，以验证其是否真正有效。如果测试失败，AI 的猜测就会被丢弃。
- 为何有效： 这阻止了 AI“幻觉”（即想象出不存在的陷阱）。论文发现，该系统在仍能发现真实陷阱的同时，显著减少了误报。
5. 他们为何失败？（缺失的数据）
论文总结认为，通用模型失败的原因在于缺乏特定的训练数据。
- 类比： 想象只通过展示汽车图片来教学生开车。他们知道汽车长什么样，但不知道如何转向、刹车或处理爆胎。
- 当前的 AI 模型是在通用的互联网文本上训练的。它们缺乏网络安全方面的“驾驶课程”：它们没有见过足够多的分步攻击链、失败尝试以及现实世界中漏洞确实可被利用的实证。
结论
论文的裁决非常明确：通用 AI 模型尚未准备好成为你的网络安全团队。 它们过于容易产生误报，过于容易混淆，有时甚至因过于恐惧而无法执行任务。
要解决这一问题，我们需要专门针对安全数据训练的专用 AI 模型，它们需配合严格的分步方法论工作，并利用计算机化检查来验证其发现。这并非要让 AI 在通用意义上变得更“聪明”，而是要使其成为更优秀、更自律的专家。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。