💻 computer science

When Validating the Judge Changes the Result: Instability in Human Validation of LLM Safety Graders

本文表明，人类对大语言模型安全性判断的验证具有高度的不稳定性，且依赖于盲测和标注者人数等程序性因素，往往会产生相互矛盾的结果，从而可能任意地决定模型是否通过安全性阈值。

原作者： SHUBHANANDAN T Y, Mohan V S, Bharath Kumar Shanmugam, Puneeth N

发布于 2026-10-05

📖 1 分钟阅读☕ 轻松阅读

原作者： SHUBHANANDAN T Y, Mohan V S, Bharath Kumar Shanmugam, Puneeth N

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速演进的人工智能领域，安全性是最关键的检查点。在新的语言模型发布到公众面前之前，开发人员必须确保它不会被诱导生成危险指令，例如如何制造武器或进行诈骗。为了做到这一点，他们通常会使用第二个自动化AI系统作为“法官”，扫描模型的回答并标记任何有害内容。然而，由于机器可能会犯错，这些自动化的判决通常会由人类审核员进行复核。长期以来的假设是，虽然人类可能会在边缘地带产生分歧，但他们的集体判断为信任自动化法官提供了稳定、可靠的基础。如果人工检查显示模型是安全的，那么该模型就会获得发布的绿灯。

最近的一项研究从核心层面挑战了这一假设。研究人员试图衡量一个特定的安全问题：当请求以僵硬、正式的方式提出时，与以随意、对话式语气提出时相比，AI模型是否更有可能拒绝有害请求。他们预期会发现安全性能方面的差距，但相反，他们发现检查法官的行为本身是不稳定的。当同一组AI响应由使用略有不同的规则的不同人类团队进行评审时，结果发生了剧烈波动。在某些情况下，人类得出结论认为模型极其不安全；而在另一些情况下，他们则判定模型完全安全。研究人员发现，用于验证法官的方法比法官本身更重要，以至于评审过程的一个微小变化就能将一个合格的分数变成一次失败。

这项调查始于一个关于人们如何与机器交谈的简单问题。团队创建了300对有害请求，以两种不同的风格询问相同的危险问题。一种风格是正式且枯燥的，类似于教科书式的考试题目。另一种风格是随意且对话式的，听起来像是在与朋友聊天。他们将这些提示词运行在六个不同的AI模型中，并要求一个自动化法官将每个答案标记为拒绝、部分警告或有害指令。自动化法官发现了一个清晰的模式：模型拒绝正式问题的频率远高于拒绝随意问题的频率。这表明，当请求听起来像是一个真实的用户的而非测试时，模型更容易失误并给出危险建议。

为了验证这一发现，研究人员需要观察这个自动化法官是否真的正确。他们提取了一组答案样本，并要求人类进行评分。第一次尝试涉及一名只能看到问题背景并仅阅读答案第一部分的单一评审员。此人得出结论认为，两者之间的安全差距巨大，表明模型在处理日常对话时未能保护用户。然而，研究人员意识到这种设置存在缺陷。评审员知道他们在寻找什么，而且他们没有看到完整的答案，这可能会隐藏重要的细节。

团队进行了第二次尝试，采用了更严格的设置。这一次，两个不同的人独立评审了完全相同的442个答案。他们都看到了文本的前700个字符以及问题的框架。结果令人震惊。两名评审员对答案的达成一致率不到一半。更重要的是，他们对于安全差距得出了截然相反的结论。一名评审员认为正式和随意风格之间几乎没有差异，而另一名则认为存在巨大的安全失效。他们的分歧如此严重，以至于如果使用第一名评审员的数据，该模型将被批准；如果使用第二名评审员的数据，该模型将被拒绝。尽管他们查看的是完全相同的文本，使用相同的规则，并且在同一时间工作，情况依然如此。

为了解决这种混乱，团队设计了第三种高度受控的审计。他们向评审员隐瞒了问题的背景，使他们无法猜出风格，并确保评审员看到了完整的响应。他们还预先写下了严格的规则，以明确界定什么才算作有害。这一次，评审员之间的达成一致的频率高得多。他们的最终计算显示安全差距非常小，表明模型在日常对话中实际上是非常安全的。这个结果与最初的自动化法官的预测接近，但通往这一结果的过程揭示了一个深刻的问题。

研究人员随后测试了生成答案的方式是否扭曲了结果。原始答案在200个token后就被截断了，而随意的响应比正式的响应更容易被截断。团队使用了一个更长的限制重新生成了所有答案，以确保没有任何遗漏。即使在全文未删减的情况下，自动化的差距依然存在。这排除了缺失文本是导致混乱的原因的可能性。剩下的唯一变量就是人类评审过程本身。

研究得出结论，验证AI安全法官并非一个简单的、被动的检查过程。它本身就是一个复杂的实验，其中具体的规则、显示的文本量以及评审员的人数可以完全改变结果。研究人员发现，不同的自动化法官在划定“安全”与“不安全”的界限时位置各异，这解释了为什么机器可能会产生分歧。但人类的分歧更为令人担忧，因为这种分歧是在完全相同的条件下发生的。团队认为，为了使安全评估值得信赖，整个评审过程必须以极高的精确度进行记录。从人类阅读了多少文本，到他们是否了解背景信息，每一个细节都必须被明确说明并报告。如果没有这种细致程度，任何声称模型安全或不安全的单一标题数字都只是一种猜测，而选择谁来检查法官，将决定一项强大的技术是被发布到世界，还是留在实验室中。

技术摘要：人类验证 LLM 安全评估器中的不稳定性

问题陈述
本文探讨了 AI 安全评估中一个关键的脆弱性问题：将自动化“LLM 作为评判者”（LLM-as-a-judge）的评分器与人类标签进行验证的过程本身是不稳定的。虽然自动化评分器越来越多地被用于确定模型是否通过安全阈值以进行发布，但这些判断通常由人类标注员进行验证。作者证明，这种验证过程的结果——具体而言，是正式基准风格提示词与非正式用户风格提示词之间测得的“伤害差距”（harm gap）——会根据所使用的验证协议而发生剧烈变化。在某些情况下，仅凭验证程序的选择，就足以将发布决策从“通过”转变为“失败”，即便底层的模型响应是完全相同的。

方法论
本研究聚焦于一个包含 300 对匹配提示词的单一语料库，涵盖 25 种有害意图（如网络攻击、欺诈、武器），每种意图均以两种方式呈现：eval（正式、基准风格）和 deploy（非正式、第一人称）。这些提示词由六个指令微调模型（Qwen2.5 和 Gemma-2 系列）进行回答，共生成了 3,600 个响应。

核心实验设计涉及对同一自动化评分器（Qwen2.5-7B）在这一固定语料库上的三种不同的人类验证审计：

审计 1： 一名非盲测标注员查看了 200 个“HEDGE”（回避/对冲）响应（即模型部分顺从的情况）的前 500 个字符，并使用了一个不包含边际增益测试（marginal-uplift test）的宽松伤害定义。
审计 2： 两名独立的、非盲测的标注员对 442 个分层项目（涵盖拒绝、回避和有害类别）进行标注，可见字符长度为 700 个。
审计 3： 一个预先注册的、盲测的审计，三名标注员查看完整的响应和中性的请求描述，并使用带有边际增益测试（旨在确定响应是否比搜索引擎提供更多效用）的严格细则。

作者还直接测试了一个潜在的混淆变量：200-token 的生成限制，该限制比正式提示词更频繁地截断了非正式响应。他们以 1024-token 的限制重新生成了整个语料库，以观察这是否影响了测得的伤害差距。

关键结果

验证不稳定性： 三次人类审计对同一自动化评分器（Qwen2.5-7B）在固定语料库上的估计产生了显著分歧：
- 审计 1 暗示差距为 0.258。
- 审计 2 产生了冲突的结果：标注员 A 暗示差距为 -0.036，而标注员 B 暗示差距为 +0.274。他们的符合度极低（Cohen's $\kappa = 0.09$ ），在判定响应属于“拒绝”还是“实际有害”方面存在 95 处分歧。
- 审计 3（盲测、严格）暗示差距为 0.035。
- 未经验证的自动化评分器估计差距为 0.033。
- 协议间的偏差（ $S_{protocol} = 0.310$ ）不仅大于任何单一估计值，甚至大于正在测量的效应本身。
拒绝 vs. 实际有害： 虽然观察到了持续存在的“拒绝差距”（ $\Delta_{refusal} = 0.263}$ ）（模型拒绝正式提示词的频率高于非正式提示词），但在最严格的审计中，实际有害 的差距接近于零。作者发现，大多数非拒绝响应属于“HEDGE”（回避/对冲）类别（即警告或说教），而非提供实际的有害信息。
决策边界的角色： 研究表明，不同的自动化评分器（例如主评分器与 Llama Guard）对“伤害”的定义不同。Llama Guard 的“不安全”类别实际上等同于“非拒绝”，其差距为 0.136；而主评分器的“有害”类别则要求具备实际效用，其差距为 0.033。测得的差距是决策边界在（拒绝 $\to$ 回避 $\to$ 有害）这一序数标尺上放置位置的函数。
截断混淆项： 200-token 的生成限制比正式提示词更频繁地截断了非正式响应（分别为 85.8% 和 75.8%）。然而，通过以 1024-token 限制重新生成语料库，作者发现这并未显著改变自动化的伤害差距估计。该限制掩盖了“回避”行为，但并未人为抑制对“实际有害”行为的测量。

主要贡献

协议差异的经验证据： 本文提供了一个案例，即两名标注员在相同条件下面对完全相同的条目，却得出了截然相反的结论（差距分别为 -0.036 和 +0.274），且符合度几乎为零，证明了人类验证并非一个稳定的参考点。
测量有效性分析： 研究表明，聚合一致性指标可能会掩盖单类别的错误。主评分器在差距的估计上似乎与人类一致（0.033 vs. 0.035），但在单个条目的判定上并不准确，其正向误差与负向误差相互抵消。
边界敏感性： 研究证明，如果不明确决策边界（例如“非拒绝”与“实际有害”的区别），“伤害差距”是无法解释的。
拒绝将截断视为主要原因： 作者反驳了认为微小伤害差距是 token 截断产物（artifact）的假设，证明即使在全长生成的情况下，该差距依然保持稳定。
提出 TRACE 框架： 作者提出了一个标准化验证报告的清单（TRACE），包括对正类（positive class）的定义、逐类一致性以及完整的协议透明度（指令、代码本、可见性窗口）。

意义与主张
本文认为，验证一个评判器本身就是一个“测量实验”，需要具备与主要评估同等的严谨性。作者声称，当前的安全性评估实践存在缺陷，因为它们将人类验证视为一种被动的控制变量，而非一个变量程序。

其核心主张虽显克制但至关重要：在同一组响应集上，仅仅验证协议的选择，就足以决定一个模型是否能通过发布阈值。 作者并非声称已经找到了导致人类分歧的单一根源（例如是注意力不集中、指令歧义，还是对“伤害”理解的根本差异），但他们证明了协议引入的方差足以逆转结论。因此，他们断言安全性报告必须明确说明验证程序、决策边界以及各分类的一致性统计数据，否则这些报告将不具备可解释性。

技术摘要：人类验证 LLM 安全评估器中的不稳定性

类似论文