Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing
本文提出了一个将侦察与利用分离的两阶段解耦评估框架，揭示了虽然基于大语言模型（LLM）的智能体在执行已知漏洞方面的成功率可达90%，但由于解析失败，其自主发现能力仅限于约50%，且在不同类型的漏洞中展现出了截然不同的架构优势。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在雇佣一支由专家侦探组成的团队来解决一系列密室谜题（这些密室谜题即为“网络漏洞”）。在过去，研究人员使用“黑盒”方法测试这些侦探：他们给侦探一个锁住的房间，然后观察侦探是否能进入。如果侦探失败了，研究人员就会假设这个侦探不擅长撬锁。
问题：“连锁反应”错误
本文认为，这种旧的测试方法是有缺陷的，因为它存在“连锁反应”问题。
- 场景： 一个侦探可能是一位撬锁天才，但如果他们在走廊里迷了路（失败的侦察阶段），或者看错了地图，他们甚至根本无法到达那扇门。
- 结果： 测试会将他们记录为在所有环节都失败了，尽管如果他们仅仅是知道该尝试哪扇门，他们本可以轻而易举地打开门。这种“找不到门”的失败掩盖了他们真正的“破门能力”。
解决方案：“两阶段”测试
为了修复这个问题，作者创建了一种新的、分为两个部分的测试，将“寻找门”与“打开门”分离开来。
- 第一阶段：侦察（寻找门）
侦探仅凭双眼和工具尝试自行找到有漏洞的门。研究人员测量他们实际找到正确门的频率。 - 第二阶段：利用（打开门）
如果侦探在第一阶段未能找到门，研究人员会介入并说：“好吧，你错过了，但这是那扇门的准确地址。现在，尝试打开它。”- 这被称为真值注入（Ground-Truth Injection）。它消除了走廊带来的困惑，从而让他们能够证明自己是否真的擅长撬锁。
研究结果：技能上的巨大差距
当研究人员在 70 个不同的“房间”中测试五种不同的 AI 侦探团队（使用大语言模型）时，他们发现了“发现问题”与“解决问题”之间巨大的鸿沟：
- 发现问题： 当让他们自行行动时，AI 侦探只有约 50% 的概率能找到正确的门。它们会被杂乱无章、结构不明确的线索（如令人困惑的错误信息或嘈杂的日志）所迷惑。
- 解决问题： 然而，当研究人员给出准确地址（即“真值”）时，同样的侦探成功打开门的概率高达 90%。
- 启示： AI 并不一定是不擅长破门；它只是在通过杂乱的走廊寻找正确的门方面表现得很糟糕。
“侦探风格”（架构）
论文还研究了不同的侦探团队是如何组织的，并发现不同的风格适用于不同类型的锁：
- “专业小队”（多智能体/Multi-Agent）： 这些团队拥有具有特定角色的不同成员，且成员之间不会互相干扰。它们擅长处理复杂的长篇谜题（如“反序列化”攻击），因为如果其中一名成员感到困惑，其他成员仍能保持专注。
- “单打独斗者”（单体/Monolithic）： 一个人完成所有工作。对于快速、简单的任务（如短小的“注入”攻击），它们既快又高效；但如果任务过长，它们往往会感到不知所措并遗忘细节。
- “制图员”（图驱动/Graph-Driven）： 这些团队绘制一张连接各种线索的大型地图。它们非常擅长发现需要比较不同用户账户的逻辑错误（如“访问控制”问题）。
“作弊手册”效应
研究人员还测试了提供“作弊手册”（已知漏洞数据库）是否会对侦探有所帮助。
- 没有作弊手册： 表现显著下降。AI 难以记住特定的技术细节。
- 有了作弊手册： 表现大幅飙升。这证明 AI 需要一份参考指南才能发挥效用，而不是仅仅依赖其内部记忆。
结论
本文的结论是，为了构建更好的自动化安全工具，我们需要停止在“撬锁”技能上归咎于“导航”问题。通过将这两个任务分开，我们可以看到，如果能先帮助 AI 找到目标，它在利用漏洞方面其实非常出色。这些工具的未来在于更好的“状态隔离”——让侦探专注于当前的特定任务，而不被走廊里的噪音所干扰。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。