Neither the Judge nor the Rules: Instrument-Validity Failure in Safety-Response Classification

在人工智能飞速发展的世界里，研究人员不断尝试教会计算机如何在保持助益的同时不造成伤害。为了确保这些系统不会生成危险的建议或有毒的内容，科学家必须对其输出进行评估。多年来，两种主要方法一直占据着这种安全检查的主导地位。第一种涉及使用一个人工智能来为另一个人工智能的作品评分，充当自动化的裁判。第二种则依赖于手写的计算机规则，通过扫描暗示伤害的特定关键词或模式来发挥作用，功能类似于数字过滤器。第二种方法背后的假设是，由于这些规则是固定的且具有确定性——这意味着对于相同的输入总是产生相同的结果——因此它们是完全可靠的，可以被视为绝对真理。逻辑认为，如果一个计算机程序遵循一套严格的指令，那么它对安全的判定必然是正确的。

一项新的研究挑战了这一假设，它没有将这些安全工具视为不可置疑的仲裁者，而是将其视为会犯错的仪器，就像任何其他测量设备一样。研究人员，来自乔治城大学的杨毅（Yangyi Zhang），决定审计自动化裁判和基于规则的过滤器，以观察它们是否真的能做到其声称的功能。这项调查重点研究了各种大语言模型在回答困难或潜在有害问题时生成的 550 个响应。为了寻找真相，研究人员通过手动阅读并标注其中 32 个响应，建立了一个小型的、独立的基准测试，通过判断模型是否提供了可操作的有害内容来定义安全性。这个经过人工验证的集合作为衡量这两个自动化工具的“地面真值”（ground truth）。

结果揭示了这两种工具在可靠性方面的重大失败。基于规则的分类器在以往的研究中被广泛信任并作为安全的标准，但其表现很差。与人工标签相比，这个自动化工具在约一半的情况下是正确的。更关键的是，它未能识别出一半的真实不安全响应，完全漏掉了危险内容。与此同时，它还错误地将六个无害的响应标记为不安全，将礼貌的拒绝误解为危险的交付。负责给响应评分的小型语言模型——即自动化裁判，其整体准确率稍高，却遭遇了另一种致命缺陷。它未能捕捉到测试集中全部四个真正不安全的响应，完全漏掉了它们。相反，它又将两个安全的拒绝错误地标记为不安全。

该研究还发现了一个此前无人察觉的基于规则系统的隐蔽不稳定性。研究人员在全部 550 个响应上运行了两个不同版本的同一套规则集。第一个版本识别出 40 个不安全响应，而第二个略微修订的版本仅识别出 8 个。这种五倍的差异是在响应内容本身没有任何变化的情况下发生的，证明了不安全项目的计数完全取决于加载了哪个版本的规则。由于该系统是确定性的，它每次都会完美地复制自身的错误，使得这些错误对任何只看最终数字的人来说都是隐形的。这两个自动化工具在约 62% 的项目上达成了一致，这个数字初看之下可能显得共识度很高。然而，这种一致性很大程度上是一种幻象，因为大多数响应都是安全的。当研究人员针对这种不平衡进行调整后，工具之间的实际一致性微乎其微，表明它们并非在相互验证，而是在坍缩为一种对安全的默认预测。

核心发现是，自动化裁判和基于规则的过滤器本身都不是中立或有效的安全衡量标准。基于规则的分类器并非完美的默认标准；它是一个具有高且未被衡量的误差率的测量工具。研究结论指出，信任这些安全数据的唯一途径是在发布任何结果之前，根据独立的、经人工验证的基准对每种工具进行验证。研究人员不仅要报告一个工具在多大程度上与其他工具达成一致，还要报告它捕捉特定重要错误（如遗漏危险内容）的能力如何。如果没有这种独立的检查，该领域面临着将安全评估建立在本身存在缺陷的基础之上的风险，从而将一个损坏工具的一致性误认为是真理。