🤖 AI

Beyond Accuracy: Policy Invariance as a Reliability Test for LLM Safety Judges

本文将“策略不变性”引入为大语言模型安全评估者的关键可靠性测试，通过一种新的压力测试协议证明现有评估者常将智能体行为与提示措辞相混淆，揭示了显著的判决不稳定性，并提出了策略不变性分数以揭示仅依赖准确性的基准测试所无法发现的可靠性差距。

原作者： Shihao Weng, Yang Feng, Xiaofei Xie

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Shihao Weng, Yang Feng, Xiaofei Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你聘请了一位严格的裁判来执法一场足球比赛。裁判的职责是观察球员的动作，并判定他们是否违反了规则。在人工智能的世界里，这些“裁判”就是大型语言模型（LLM），它们被用来判断 AI 智能体的行为是否安全。

这篇论文提出了一个简单却令人毛骨悚然的问题：裁判究竟是在评判球员，还是仅仅在评判规则手册的措辞？

作者发现，当今许多 AI 裁判的表现极差，因为它们极易被规则的措辞所迷惑，即使规则的含义完全没有改变。

以下是他们发现的拆解，使用了简单的类比：

1. 核心问题：“措辞切换”把戏

想象一位裁判手持一本规则手册，上面写着：“你不得用手触球。”

场景 A： 球员用手触球。裁判吹哨：犯规！
场景 B： 你将规则手册改写为：“禁止用手触球。”（这表达的意思完全相同）。
场景 C： 你再次改写：“球员应避免用手。”（语气稍显柔和）。

论文用这些场景测试了 AI 裁判。他们发现：

当规则被改写为意思完全相同（场景 B）时，AI 裁判约有 10% 的时间改变了主意。他们在场景 A 中判定“犯规”，却在场景 B 中判定“不犯规”，尽管球员做了完全相同的事情。
当规则被改写为更严格或更柔和（场景 C）时，裁判确实改变了主意，这是好事。但令人恐惧的是，他们对“无意义”的措辞互换改变主意的频率，与对“有意义”的规则改变改变主意的频率一样高。

隐喻： 这就像一位法官，如果法律是用粗体字写的，就给被告定罪；如果同样的法律是用斜体字写的，就判被告无罪。他们关注的不是罪行，而是字体。

2. 三项测试（“压力测试”）

作者设计了一项“压力测试”，以观察裁判能否区分真实的规则变更与虚假的变更。他们使用了三项原则：

原则 1：“同义”测试。
如果你用不同的词语重写规则，但保持含义 100% 一致（例如将“不得”改为“被禁止”），判决绝不应改变。
- 结果： 裁判失败了。仅仅因为词语顺序的改变，他们改变判决的频率高达 9%。
原则 2：“严格与宽松”测试。
如果你将规则改为明显更严格（例如“绝无例外”）或明显更宽松（例如“尽量避免”），判决应朝相应方向改变。
- 结果： 裁判通过了此项测试。他们理解“绝无例外”比“尽量避免”更严格。
原则 3：“明确案例”测试。
如果一个案例显而易见（例如球员殴打了某人），无论规则如何重写，判决应保持一致。
- 结果： 裁判惨败。即使在明显案例中，改变规则的结构（例如将关于例外的“线索”移至段落开头）也会导致他们推翻判决。

3. 重大发现：“困惑的裁判”

论文的主要发现是，当前的 AI 法官无法区分有意义的变更和无意义的变更。

他们对规则的真实变更（使其更严格）的反应强度，与对虚假变更（仅仅打乱词语顺序）的反应强度相同。
这意味着，当我们看到 AI 智能体的安全评分时，我们不知道该分数是基于智能体做了什么，还是仅仅基于提示词是如何撰写的。

类比： 想象参加驾驶考试。

现实世界： 你闯红灯。你不及格。
论文的发现： 如果考官将规则写为“不得闯红灯”与“红灯是禁区”，AI 驾驶考官可能会在第二种版本中让你通过，尽管你闯了红灯。AI 评判的是句子，而不是行为。

4. 解决方案：“裁判卡”

既然我们不能盲目信任这些裁判，作者提出了一种报告其可靠性的新方法。他们创建了策略不变性分数（PIS）和裁判卡。

这就像食品上的营养标签，但是针对 AI 裁判的。这张卡片不仅仅说“该裁判准确率为 90%"，而是说：

“该裁判准确率为 90%，但是，如果你稍微重写规则，其准确率会降至 60%。”
“该裁判很脆弱：在规则手册中移动一个逗号就会改变它的主意。”

他们测试了四种流行的 AI 模型（GPT、Claude、DeepSeek 和 Gemini）。

GPT-5.4-mini 最稳定（分数：0.70）。
Gemini-Flash 最不稳定（分数低至 0.03），这意味着它几乎无法作为可靠的裁判，因为它会被简单的词语变化搞糊涂。

总结

论文认为，我们一直信任 AI 裁判来维护数字世界的安全，但我们从未检查它们究竟是在关注规则，还是仅仅关注措辞。

核心启示： 仅仅因为 AI 说一个智能体是“安全”的，并不意味着它真的安全。这可能仅仅意味着 AI 那天喜欢安全规则的措辞方式。在我们将这些裁判用于高风险决策（如医疗保健或金融）之前，我们需要测试它们是否能忽略“废话”并专注于事实。作者提供了一套工具来做到这一点。

技术摘要：超越准确率：策略不变性作为大语言模型安全裁判的可靠性测试

1. 问题陈述

将大语言模型（LLM）作为自主代理部署于安全关键领域（如金融、医疗、代码执行），亟需稳健的安全评估。当前的基准测试（如 ASSEBench、R-Judge）依赖于“大语言模型即裁判”（LLM-as-a-Judge）范式，即由一个独立的大语言模型根据书面安全策略评估代理轨迹，并生成二元裁决（安全/不安全）。这些裁决被视为安全合规性的真实代理。

然而，现有评估主要关注准确率（与人工标签的一致性）或表面层面的提示词敏感性（如位置偏差、格式问题）。它们未能解决一个关键缺口：策略不变性（Policy Invariance）。一个可信的安全裁判必须确保其裁决仅取决于代理的行为和策略的规范性内容，而非策略的措辞方式。如果裁判在底层规范性含义未变的情况下，仅因同义改写、结构重排或例外条款位置的变动而改变裁决，那么由此产生的安全评分便将代理的行为与评估者的提示词工程混为一谈。本文认为，缺乏策略不变性，安全评分便不可靠，无法作为真实依据。

2. 方法论：策略不变性框架

作者将策略不变性操作化为三个可测试原则，并设计了一套压力测试协议，以评估四种代理类裁判模型：GPT-5.4-mini、Claude-Haiku-4.5、DeepSeek-V3.2和Gemini-3-Flash。评估使用了来自 ASSEBench 和 R-Judge 的轨迹数据。

2.1 三大不变性原则

规则语义不变性（原则 1）：
- 目标： 裁决应在经过认证等价改写的策略下保持稳定。
- 方法： 利用三种类型的认证等价改写（由人工标注者在六个道义维度上进行验证：强制力、范围、例外集、举证责任、默认规则及隐含阈值）对策略进行转换：
  - T1（句法）： 被动/主动语态转换、从句重排。
  - T2（词汇）： 同一道义家族内的同义词替换（例如，“禁止” $\to$ “不得”）。
  - T4（例外位置）： 将例外从句从行内移至前置部分。
- 指标： 超额翻转率（ $\Delta_{flip}$ ），计算为改写下的翻转率减去基线随机性（抖动）率。
规则阈值不变性（原则 2）：
- 目标： 当策略的规范性阈值被有意调整时，裁决应发生方向性和比例性的变化。
- 方法： 创建成对的策略，其中一种为严格（例如，“禁止”、“任何违规”），另一种为宽松（例如，“应避免”、“明显且严重的违规”）。
- 指标： 方向比率（ $R_{dir}$ ）。一个可靠的裁判应主要从“不安全”（严格）翻转为“安全”（宽松），反向翻转应接近零。
歧义感知校准（原则 3）：
- 目标： 不稳定性应集中在真正模糊的案例上，而非清晰明确的案例。
- 方法： 将观察到的翻转分解为：
  - 可解释的： 在模糊项（人工标注者意见不一致）或近等价转换下发生的翻转。
  - 不合理的： 在清晰项（人工标签一致）下，经认证等价转换后发生的翻转。
- 指标： 不合理翻转率（ $U_{rate}$ ）。在内容保持不变的改写下，任何清晰项发生的翻转均为测量失败。

2.2 指标与报告

策略不变性得分（PIS）： 综合上述三个原则的复合指标：
$PIS = \max(0, 1 - (w_1 \cdot \Delta_{cert}^{flip} + w_2 \cdot (1 - R_{dir}) + w_3 \cdot U_{rate}) \cdot S)$
其中权重为 $w_1=0.4, w_2=0.3, w_3=0.3$ ，且 $S=5$ 。
裁判卡（Judge Card）： 一种标准化的报告模板，在披露传统准确率指标的同时，公开 PIS 及各原则的细分数据。

3. 关键结果

研究表明，当前的安全裁判在特定且具有破坏性的方面未能通过策略不变性测试：它们对有意义的规范性变动和无意义的结构重排表现出相当强度的反应，无法区分二者。

语义不变性的失败：
- Gemini-3-Flash 表现出不稳定性最高，其汇总的认证 $\Delta_{flip}$ 为 7.6%（若将解析失败视为翻转，则上升至 26.6%）。
- DeepSeek-V3.2 在 T4（例外位置） 下显示出 9.1% 的翻转率，是四个模型中三个模型的最差表现者。
- Claude-Haiku-4.5 和 GPT-5.4-mini 也表现出显著的不稳定性（分别为 3.6% 和 1.1%，尽管 GPT 的原始翻转率较高，但其抖动率也较高，从而降低了超额翻转率）。
- 关键在于，18% 至 43% 的所有观察到的翻转发生在认证等价改写下的无歧义项上。这表明，相当一部分安全评分衡量的是规则的措辞方式，而非代理的行为。
阈值不变性的成功：
- 所有模型均表现出对从严格到宽松转变的近乎完美的方向敏感性（ $R_{dir} \approx 1.00$ ）。从严格到宽松的切换中，32% 至 71% 的裁决按预期方向发生了翻转。
- 诊断： 裁判确实阅读了策略内容，但它们无法区分语义变化（阈值调整）和句法变化（改写）。它们将两者视为同等重要的裁决变更触发因素。
PIS 排名：
- GPT-5.4-mini： PIS = 0.70（中等可靠性）。
- Claude-Haiku-4.5： PIS = 0.47（脆弱）。
- DeepSeek-V3.2： PIS = 0.28（不可靠）。
- Gemini-3-Flash： PIS = 0.03 至 0.41（从不可靠到脆弱，取决于解析失败的处理方式）。
- 这代表了仅靠准确率排行榜无法察觉的、数量级差异的可靠性分布。

4. 贡献

概念框架： 将策略不变性形式化为大语言模型安全裁判的最低要求，区分内容保持不变的改写与规范性变动。
压力测试协议： 一种可复现的协议，利用认证等价改写、阈值调整和歧义分解来审计裁判。
策略不变性得分（PIS）与裁判卡： 用于量化和报告裁判可靠性的工具，揭示准确率指标所遗漏的差距。
实证证据： 证明现有的安全评分将代理行为与评估者提示词混为一谈，高达 43% 的清晰案例裁决翻转属于测量失败。

5. 意义与主张

本文主张，代理安全评估的可信度不仅取决于代理做了什么，还取决于裁判是否稳定地阅读策略。作者认为：

当前基准存在缺陷： 通过在不检查策略不变性的情况下将裁判裁决视为真实依据，现有基准可能是在根据提示词敏感性而非实际安全性对模型进行排名。
可靠性是多维的： 一个裁判在固定规则下可能准确，但如果其裁决随策略的修饰性编辑而波动，则不可靠。
可操作的改进： 提出的裁判卡允许基准测试对其自身的评估者进行审计。作者发布了协议和代码，使社区能够将默认问题从“裁判多久是对的？”转变为“裁判是否因正确的原因而正确？”

作者承认的局限性：

本研究扰动的是单一标准化基础策略；结果可能无法线性扩展到复杂的多条款部署规则。
评估侧重于小型、成本优化的模型；前沿规模的评估者可能表现出不同的脆弱性模式。
PIS 权重反映了作者对失败模式成本的先验假设，而非下游验证的校准。
该框架目前仅适用于全轨迹、英语、二元裁决。