Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents
本文引入了一个针对安全智能体的成本感知评估框架，该框架揭示了进攻性任务与防御性任务之间截然不同的缩放行为，证明了虽然进攻性能会随着计算量的增加而提升，但防御成功更多地取决于工具使用的纪律性和操作效率，而非单纯的推理预算。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个人工智能不再仅仅是写诗的聊天机器人，而是集数字侦探与数字窃贼于一身的世界。这就是网络安全的前沿领域——在这个领域中，计算机被训练去要么入侵系统以寻找漏洞（“进攻”方），要么调查数字犯罪现场以阻止攻击（“防御”方）。长期以来，测试这些 AI 智能体的科学家们一直在问一个简单的问题：“如果我们给它无限的时间和金钱，这个 AI 解决最难谜题的能力有多强？”这就像是通过让赛车一直开到油箱见底来测试赛车，却忽略了汽油的成本。但在现实世界中，AI 采取的每一步——它提出的每个问题、它检查的每个数据库——都是实实在在要花钱的。如果运行一个 AI 的成本太高，那么无论它多么聪明，对于真正的安全团队来说都是毫无用处的。这篇论文提出了一个更实际的问题：“在特定的预算内，这个 AI 到底能做多少事？”
研究人员 Paul Kassianik、Blaine Nelson 和 Yaron Singer 决定不再仅仅计算 AI 解决了多少个谜题，而是开始计算价格标签。他们让他们的 AI 智能体经历了两种截然不同的挑战。首先，他们让它们执行“夺旗赛”（CTF）任务，这就像是数字寻宝游戏，AI 必须黑入一台沙盒计算机以找到一段秘密代码。其次，他们让它们执行“安全运营中心”（SOC）任务，这就像是侦探工作，AI 必须从海量的安全日志中筛选信息，以查明是谁入侵了公司以及是如何入侵的。
这里是他们发现的转折点：进攻与防御的规模化方式完全不同。当 AI 扮演黑客（进攻角色）时，给予它更多的资金去思考和尝试通常会有所帮助。这就像是给侦探更多的时间去重新阅读线索；拥有的资源越多，他们破解案件的可能性就越大。一些开源模型在获得可观的预算后，甚至可以赶上最昂贵的顶级闭源模型。
然而，当 AI 扮演侦探（防御角色）时，向问题投入更多的资金并不一定会让它变得更聪明。事实上，表现最好的那些是懂得自律的智能体。它们清楚地知道何时该停止，何时该寻求帮助，以及何时该节省预算。论文发现，对于这类调查任务，成功不在于 AI 使用了多少工具或思考了多久，而在于在正确的时间使用正确的工具。一个仅仅因为拥有庞大预算就疯狂调用全世界所有数据库的 AI，其表现往往不如一个仔细挑选了几件关键证据的 AI。
作者还警告说，这些测试中的一些“完美”分数可能具有误导性。由于这些谜题是公开且陈旧的，一些 AI 可能在训练过程中已经记住了答案，就像一个背下了答案集的学生而不是在学习数学逻辑。当研究人员在不让这些 AI 使用任何工具或查看线索的情况下对其进行测试时，一些模型的得分显著下降，这证明了“知道答案”并不等于“解决问题”。
最终，这篇论文认为，我们不能仅仅根据 AI 在真空环境下的巅峰性能来评判安全 AI。相反，我们需要观察它们的“经济效率”。一个能以 5 美元解决 90% 问题的模型，对于现实世界的安全团队来说，比一个需要 500 美元才能解决 95% 问题的模型是更好的工具。这项研究表明，对于黑客攻击任务，更多的计算能力会有所帮助，但对于防御系统，聪明、自律的工具使用才是真正的超能力。他们甚至建立了一个网站来展示这些成本与成功率之间的曲线，证明了在 AI 安全的世界里，廉价且聪明往往比富有且鲁莽更好。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。