CVE-Factory: Scaling Expert-Level Agentic Tasks for Code Security Vulnerability
本文介绍了 CVE-Factory，这是一个多智能体框架，能够将稀疏的 CVE 元数据自动转化为高质量、可执行的安全任务，从而构建 LiveCVEBench 基准测试和大规模训练数据集，显著提升了代码智能体的漏洞检测能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名保安，正试图教一个新机器人如何修复一百万扇不同门上的坏锁。问题在于，你手头仅有的指令是几张微小、模糊的便利贴，上面写着“404 号门坏了”，却未告知门是如何坏的、门长什么样，或者修复它需要什么工具。
这就是当前人工智能安全研究的现状。我们拥有漏洞列表（称为 CVE），但它们仅仅是稀疏的数据点。要训练 AI 代理去修复这些漏洞，我们需要完整的“训练套件”：一个坏门的运作模型、一个能证明其损坏的测试，以及一个经过验证的解决方案。
CVE-Factory 是一个新系统，它就像一个超高效、自动化的施工队。它能将那些微小、模糊的便利贴，瞬间转化为供机器人使用的完整、可运行的训练套件。
以下是其工作原理，使用简单的类比说明：
1. 问题：“模糊的便利贴”
目前，安全专家必须手动构建这些训练套件。他们阅读漏洞报告，找到相关软件，搭建一个虚假的计算机环境，故意破坏它，编写测试以捕捉破坏行为，然后编写修复方案。
- 现实情况： 这需要专家每扇门花费 10 多个小时。对于成千上万扇门来说，这样做太慢且成本太高。
- 结果： AI 机器人缺乏足够的练习材料，因此它们在安全方面表现不佳。
2. 解决方案：“流水线”（CVE-Factory）
作者构建了 CVE-Factory，它就像一个带有传送带的专业工厂。他们不再让一个人完成整个工作，而是将流程分解为六个不同的站点，每个站点由一个专门的 AI 代理运行。
这就像一家高科技汽车维修店，没有一名机械师试图一次性完成所有工作：
- 站点 1：侦探（分析器）
AI 阅读那张模糊的便利贴，进行网络搜索，以找到蓝图、具体的车型以及确切损坏的部件。它创建了一份清晰的“案件档案”。 - 站点 2：建筑师（生成器）
利用案件档案，该 AI 为机器人编写指令：“这是坏门。这是证明它损坏的测试。这是完美修复的样子。” - 站点 3：建造者（构建器）
该 AI 构建实际环境。它设置“虚假计算机”（使用 Docker 容器），使其看起来与真实软件完全一致。关键在于，它在构建时看不到解决方案或测试，因此不会作弊。它只是搭建场景。 - 站点 4：检查员（验证器）
在任何人尝试修复之前，该代理会检查：“在这个虚假房间里，门真的坏了吗？测试有效吗？”如果房间设置不当，它会将其退回给建造者重新修复。 - 站点 5：机械师（求解器）
该代理尝试使用指令修复门。它应用补丁并运行测试。 - 站点 6：质检主管（检查器）
最终 Boss。它进行完整的端到端检查。修复真的有效吗？机器人是否意外破坏了其他东西？测试是真实的，还是机器人只是伪造了结果？
秘密武器： 如果任何站点出现问题，系统不会直接放弃。它拥有一个“反馈循环”。如果检查员说“门没坏”，它会将任务发回给建造者重新建造门，而不是交给新的人。这确保了最终产品的高质量。
3. 结果：专家级速度
该团队将这一工厂与已经构建了 215 个此类训练套件的人类专家进行了对比测试。
- 准确性： 工厂生成的套件质量达到人类专家套件的 95%。
- 速度： 人类每套需要 5 至 24 小时。工厂仅需约 48 分钟。
- 规模： 当 20 个工作人员同时运行时，工厂在不到 5 小时内构建了全部 215 个套件。而人类团队则需要数周时间。
4. 新游乐场：LiveCVEBench
由于工厂速度极快，作者并未止步于 215 个套件。他们建立了一个名为 LiveCVEBench 的新游乐场，它会不断更新。
- 它包含 190 个真实世界的安全任务。
- 它涵盖 14 种不同的编程语言（不仅仅是 Python）。
- 它包括新兴威胁，例如 AI 工具本身的漏洞。
- 随着新漏洞的发现，它会自动更新，这与那些被冻结在时间里的旧基准测试不同。
5. 训练机器人
最后，他们利用该工厂创建了超过 1,000 个训练任务，用于训练一个 AI 模型（Qwen3-32B）。
- 训练前： 该 AI 仅能解决 5.3% 的安全任务。
- 训练后： 这一比例跃升至 35.8%，击败了更大、更昂贵的模型。
- 额外收获： 它学到的技能不仅限于安全领域；它在通用编码任务上也变得更强了。
总结
CVE-Factory 是一个多代理系统，用于自动化生成高质量的安全训练数据。它将稀疏、枯燥的漏洞报告转化为供 AI 代理使用的完整、交互式“密室逃脱”式挑战。它证明，通过将复杂工作分解为更小、更专业的步骤，并让 AI 代理协同合作，我们可以以人类根本无法比拟的规模和速度生成专家级的训练数据。这使得我们能够以前所未有的速度训练出更智能、更安全的 AI 代理。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。