Generating Proof-of-Vulnerability Tests to Help Enhance the Security of Complex Software
本文介绍了 PoVSmith，这是一种基于代理的方法，它利用大型语言模型、调用路径分析和执行反馈来自动生成高质量的漏洞验证测试，成功识别了 96% 的可到达应用级入口点，并为复杂的软件依赖关系生成了 55% 可行的攻击测试。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位房主（即应用程序），从第三方制造商那里购买了一把高科技智能锁（即库）。有一天，你听到新闻说这把锁存在一个缺陷：如果有人输入特定的怪异代码，锁可能会自动打开，让窃贼进入。
问题在于，仅仅知道锁存在缺陷，还不足以判断你的房子是否真的面临风险。也许你的智能锁安装方式使得无人能够触达那个特定的按钮。或者，也许你房子的安全系统在那些怪异代码到达锁之前就已经将其拦截。
开发人员经常收到这样的报告：“嘿，你的软件使用了一个已知存在漏洞的库！”但他们需要漏洞利用证明（PoV）：一个具体、可运行的演示，确切展示黑客如何利用那个坏掉的锁攻破他们特定的房子。手工制作这些演示，就像蒙着眼睛用回形针开锁——既缓慢、艰难，又往往不可能完成。
本文介绍了PoVSmith，一种新的“数字锁匠”，能够自动化整个这一过程。
PoVSmith 如何工作：四步侦探法
将 PoVSmith 想象为一个由四个阶段组成的 AI 侦探团队，用于判断你的房子是否真正存在漏洞。
阶段一：地图绘制者（调用路径分析）
首先，AI 需要找到从你的前门到坏掉锁的路径。它扫描你的整栋房子（即代码），找出每一个最终通向锁上那个特定故障按钮的公共门（即公共方法）。
- 类比：想象一名侦探走遍你房子的每个房间，追踪每一条走廊和门把手，以确认从前廊到故障锁机制是否存在清晰的路径。
- 结果：AI 在测试用例中发现了 158 个不同的“前门”可能通向坏掉的锁，并且正确映射路径的准确率达到 96%。
阶段二：伪造者（测试生成）
一旦找到路径，AI 就需要制造一把“钥匙”（即测试）来尝试开锁。它查看由锁制造商提供的样本钥匙（即“示例测试”），该样本证明了锁在一般情况下确实存在缺陷。然后，它尝试伪造一把新钥匙，使其适配你的特定前门，并沿着阶段一中找到的特定走廊行进。
- 类比：AI 就像一位顶级伪造者，拿着一把万能钥匙，尝试切割出一把能适配你特定门的复制品。如果第一次尝试卡住，AI 不会放弃；它会分析失败原因，打磨钥匙，然后再次尝试。
- 结果：它成功伪造了 152 把钥匙。然而，其中只有 84 把（55%）真正成功打开了门。其余的要么无法适配门，要么未能触发缺陷。
阶段三：试运行（编译与执行）
AI 并不只是猜测钥匙是否有效；它会实际尝试转动锁。它自动构建测试，并在一个安全、隔离的环境中运行，以观察结果。
- 类比：这就是“试驾”。AI 将伪造的钥匙插入锁中并转动它。它记录声音、动作以及门是否打开。
- 结果：这一步能够捕捉到“幻觉”，即 AI以为它制造了一把有效的钥匙，但实际上那只是一块塑料。
阶段四：法官（大语言模型评估）
最后，一位超级智能的 AI 法官（即大语言模型）会审查试运行的录像。它查看日志并做出判断：“这把钥匙是否真的破坏了锁，还是门只是保持关闭？”
- 类比：一位人类法官观看监控录像并写下判决。“有罪”（漏洞真实存在且可被利用）或“无罪”（测试失败或锁是安全的）。
- 结果：法官的准确率约为 68%。虽然不完美，但比什么都不做要好得多。
主要成果
研究人员在 33 个不同的软件“房子”和“锁”上测试了该系统。以下是他们的发现：
- 团队协作至关重要：当系统使用特定的 AI 程序员（称为Codex）来承担编写代码的重任时，效果最佳。当他们尝试其他 AI 程序员时，结果要差得多。
- 优于竞争对手：他们将 PoVSmith 与目前全球最好的工具进行了比较。旧工具仅为 33 个房子中的 5 个成功创建了可工作的“钥匙”。而 PoVSmith 为 33 个中的 22 个做到了这一点。这是一个巨大的改进。
- 现实世界的影响：PoVSmith 创建的测试非常出色，以至于发现了此前从未被报告过的漏洞。团队甚至提交了官方报告（称为 CVE），以警示世界这些新出现的危险。
核心结论
PoVSmith 是一款帮助开发人员停止猜测的工具。它不再让人疑惑“这个库漏洞对我的应用程序是否危险？”，而是自动构建模拟、尝试黑客攻击，并告诉你：“是的，以下是黑客可以入侵的确切方式”，或者“不，你的特定配置是安全的”。
它将复杂、手工的安全调查转变为自动化、可重复的过程，有助于使软件供应链对每个人更加安全。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。