✨ 要点🔬 技术摘要
想象一个这样的世界：你最喜欢的 AI 助手就像一个超级聪明、积极主动的实习生。它可以编写代码、发送电子邮件，甚至在你要求时转账。但问题在于：这个实习生非常有创意，有时还特别爱唠叨。如果你对它说，“给我的老板发封邮件”，它可能会在发送邮件之前加上一个有趣的笑话、一个奇怪的表情符号，或者讲一段关于它周末生活的长篇故事。在计算机安全的高风险世界中，这种额外的闲聊不仅令人烦恼，而且非常危险。如果检查实习生工作的系统没有查看精确的 消息，它可能会错过隐藏的陷阱，或者误批准一个危险的操作。这就是“策略仲裁”（policy mediation）的问题：确保当 AI 建议执行某个动作时，一个严格的安全卫士会在该动作被执行前，按照其原本书写的内容 进行精确检查。大问题不在于“AI 是否聪明”，而在于“安全卫士是否在 AI 变得有点古怪时，依然能完美地履行职责？”
这篇题为 PolicyFaultBench 的论文，就像是对那个安全卫士进行的一次严苛检查。研究人员 Hasan Fadhil Qasim 和 Sarah Abdulzahra Kadim 并没有只是让 AI 做一些随机的事情；他们设置了一个受控的游戏，要求 AI 扮演一名“转录员”。AI 没有被要求规划复杂的任务，而是被赋予了一个特定的、固定的任务（例如“转账 10 美元给 Bob”），并被要求以一种非常特定的格式将其记录下来。研究人员随后测试了安全卫士（即“仲裁者”），看它是否能发现错误、奇怪的格式或隐藏的诡计。他们使用了一种被称为“变异测试”（mutation testing）的巧妙技巧，这就像是故意在微小的层面破坏安全卫士的规则手册，以观察卫士是否能察觉到。例如，他们可能会假装卫士忘记检查转账是否已获批准，或者假装卫士允许了一笔向不同人员转账的操作。
研究发现，虽然这些安全卫士（来自 OpenAI 和 Anthropic 等公司的系统）通常擅长阻止不良行为，但它们并不完美。在对一个供应商进行的 400 次试验中，卫士拦截了每一次错误的尝试。然而，当他们测试另一个供应商时，在 400 次中有 9 次，AI 在其消息中添加了一小段额外的文本（例如添加了一个并未被要求的“scope”字段）。遵循“消息必须完全匹配”这一严格规则的安全卫士拒绝了这 9 条消息。这是一种“失效关闭”（fail-closed）的设计，意味着由于一个微小的拼写错误而拒绝一条安全的消息，比意外接受一个危险的消息要好。研究人员表明，尽管在这 9 个案例中 AI 的意图 是安全的，但严格的检查对于确保系统不会因额外的文本而产生混淆是必要的。
论文还发现，安全卫士的规则手册中存在一些隐藏的漏洞。当研究人员故意破坏规则（即“变异”部分）时，卫士在第一轮中漏掉了 12 种诡计中的 5 种。直到研究人员加入了专门设计用于寻找这些缺失漏洞的“探测”（probe）测试后，卫士才抓住了剩下的部分。这表明，仅仅因为一个系统目前运行良好，并不意味着它在面对明天可能出现的每一种诡计时都是安全的。研究人员还尝试观察这些结果在换用另一套任务（源自名为 AgentDojo 的基准测试）和另一套安全系统时是否依然成立。结果喜忧参半：在处理新任务时，AI 成功通过了 400 次中的 391 次，失败的原因同样是那个“额外文本”的问题。
简而言之，这篇论文表明我们不能仅仅依赖 AI 模型本身是完美的。我们需要一个独立的、严格的安全层，以极高的精度来检查 AI 的提议。如果 AI 添加了哪怕一个请求之外的单词，系统也应该停止并请求澄清，而不是进行猜测。这项研究证明，虽然目前的系统很强大，但它们需要不断的、严苛的测试，以确保不会错过细微的错误。研究人员总结道，安全性不仅仅是一个单一的“通过”或“失败”等级；它是一系列不同的检查——检查消息格式、检查规则以及检查最终结果——所有这些环节共同协作，守护着数字世界的安全。
技术摘要：PolicyFaultBench
问题陈述
本文针对工具使用型 AI 智能体（AI agents）安全保障中的一个关键空白提出了研究。现有的基准测试主要关注智能体是否实施 了有害行为或是否成功导航了工具环境，但往往忽略了位于模型结构化提议（structured proposal）与其执行之间的**运行时中介层（runtime mediation layer）**的可靠性。
核心问题在于，模型不需要拥有执行权限即可制造风险；如果运行时在分发时缺乏可靠检查，仅凭一个结构化提议就足以造成风险。作者认为，旨在作为“失效闭锁”（fail-closed）闸门的外部策略引擎本身可能包含缺陷（例如：错误的受体模式、缺失的检查或失效开放异常）。此外，目前缺乏对**提议接口一致性（proposal-interface conformance）**的严格测试——即确保提供者的输出严格符合策略引擎所需的预期 Schema。论文指出，执行成功并不等同于策略故障充分性（policy fault adequacy），且运行时保障需要针对接口精确度、策略正确性、状态影响和泛化能力提供独立的证据。
方法论
PolicyFaultBench 采用了一种确定性的、基于变异的方法来隔离并测试中介层，这与测试模型的规划能力是不同的。
1. 实验设计
冻结合成操作： 研究使用了一个包含 40 个合成操作（10 个威胁家族 × 4 个变体）的语料库。模型不被要求进行动作规划，而是被要求将预定义的动作转录 为结构化提议。这消除了开放式规划变量，从而隔离了接口和策略逻辑。威胁家族： 该语料库涵盖了间接提示注入、跨租户访问、路径作用域逃逸、命令升级、未经批准的出口、混淆代理、授权升级、内存投毒、审批洗钱和策略错误处理。提供者： 研究使用了 OpenAI (gpt-5.6-sol) 和 Anthropic (claude-sonnet-5)。曾尝试过 Gemini 工作流，但由于基础设施限制而中止。
2. 策略与变异策略
两种策略架构：
有序规则策略（Ordered-Rule Policy）： 主要的中介器按顺序评估规则。能力策略（Capability Policy）： 一个独立的引擎，根据主体、租户、资源、来源和风险来解析服务器端的权限能力。
变异测试： 作者定义了 12 种一阶变异算子（例如：决策翻转、主体作用域扩大、审批闸门绕过、失效开放异常、状态重置遗漏）以向策略逻辑中注入故障。充分性阶段：
冻结核心（Frozen Core）： 测试策略针对初始 40 个案例语料库的表现。幸存者引导探测（Survivor-Guided Probes）： 如果变异体在冻结核心中存活，则添加特定的探测器以消除它们。这区分了初始故障检测与针对性修复。
3. 证据层级与时间轴
v1（历史版本）： 一个包含 400 次 OpenAI 试验的主要账本和一个包含 400 次 Anthropic 试验的次要账本。运行后的审计显示，Anthropic 的 v1 输出存在系统性的上下文添加，导致了接口漂移。v2（前瞻版本）： 一个针对 Anthropic 的预注册确认性运行，使用了一个“修正后”的预策略闸门，该闸门在策略评估之前强制执行精确的一致性。外部复制： 第二个语料库源自 AgentDojo v1 套件，在执行前被冻结，用于测试在不同操作集和策略架构下的泛化能力。
4. 验证机制
离线重放（Offline Replay）： 在确定性沙盒中重放提议，以验证记录的策略决策和状态转换是否与 Oracle（真值）匹配。接口端点：
全对象一致性（Full-Object Conformance）： 要求整个提议对象（主体、动作、资源、参数、上下文）完全匹配。信封一致性（Envelope Conformance）： 仅检查与决策相关的字段，允许非权威性的注释。
关键结果
1. 变异充分性
冻结核心： 初始 40 个案例语料库消除了 12 个有序规则变异体中的 7 个（58.33%）。其中 5 个变异体存活，具体涉及主体扩大、审批绕过、时间删除、失效开放异常和状态重置遗漏。扩展套件： 在添加幸存者引导探测后，所有 12 个变异体均被消除。外部语料库： 源自 AgentDojo 的语料库明显较弱，最初仅消除了 12 个有序规则变异体中的 2 个以及 12 个能力变异体中的 1 个。这表明，在新的语料库上执行成功并不保证策略故障的充分性。
2. 决策与遏制
重放成功率： 在 1,200 条完成的记录（OpenAI v1, Anthropic v1, Anthink v2）中，每一个预期的拒绝案例都被正确拒绝，且对于被拒绝的提议未发生任何状态变化。遏制性： 未观察到遏制失败。所有 791 个被接受的提议在两种策略下均达成一致，且所有验证过的转换均与预期匹配。
3. 接口一致性与漂移
v1 差异： 在历史性的 v1 运行中，OpenAI 实现了 100% 的全对象一致性。Anthropic 仅实现了 291/400。这种不匹配范围很窄：所需字段完整，但 Anthropic 在上下文对象中插入了额外的警告文本。v2 修正： 使用修正后预策略闸门的前瞻性 Anthropic v2 运行实现了 400/400 的全对象匹配。外部复制失败： 预注册的 800/800 接受规则未达成 。Anthropic 在外部语料库中失败了 9/400 次（成功率为 97.75%）。这些失败发生在一种良性的支付场景中，原因是 Anthropic 添加了一个未请求的 approval_scope 字段。这些案例在策略评估前已被隔离，从而阻止了执行。
4. 延迟与成本
Anthropic 展示了较低的中位数延迟（2.2s），而 OpenAI 为 6.6s。
三个 400 次试验账本的总成本约为 $4.68。
核心贡献
本文对 AI 智能体保障领域做出了以下具体贡献：
受限基准： 一个专门用于策略中介 和接口一致性的 40 个场景语料库，区别于开放式的智能体规划基准。变异模型： 一种诊断性变异框架，将“冻结”充分性与“幸存者引导”修复分离，并明确标注了由幸存者衍生的探测器。离线状态重放： 一种无需重新运行提供者即可验证策略决策和状态转换的方法，利用了确定性沙盒语义。前瞻性确认： 一个预注册、前瞻性冻结的复制实验（Anthropic v2），验证了修正后的预策略一致性路径。接口消融： 对“全对象”与“决策信封”一致性进行的对比分析，强调了严格性与可用性之间的权衡。外部泛化： 使用独立衍生的语料库（AgentDojo）和第二种策略架构（基于能力的策略）进行的预注册扩展，证明了执行成功与策略故障充分性是不同的属性。
重要性与主张
本文温和地声称 PolicyFaultBench 提供了一种方法，可以审视模型提议与执行副作用之间的特定层级。其主要意义不在于建立一个通用的安全率，而在于证明：
执行成功不是策略正确的代理指标。 系统可以在成功执行安全动作的同时，无法检测出策略故障（低变异得分）或无法强制执行接口契约。接口精确性是另一项独立的保障要求。 即使策略决策是正确的，提议对象中的“漂移”（例如：额外的字段）也可能导致失效闭锁式的拒绝，或者相反，如果策略过于宽松，则会被默默接受。泛化是针对端点的。 在一个语料库上的成功并不保证在另一个语料库上的变异充分性；不同的语料库会暴露不同的故障类别。失效闭锁设计是有效的。 系统正确地隔离了外部复制中 9 个不符合规范的 Anthropic 提议，阻止了任何策略评估或状态变化，从而验证了即使在 800/800 接受规则未达标的情况下，失效闭锁机制依然有效。
作者总结道，运行时保障需要针对接口精确性、策略正确性、状态影响和语料库-策略泛化性提供不同的证据，而不仅仅依赖于单一的“安全性”指标。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。