💬 NLP

When No Benchmark Exists: Validating Comparative LLM Safety Scoring Without Ground-Truth Labels

本文提出了一种在缺乏真实基准的情况下验证大语言模型（LLM）比较安全分数的框架，该框架通过建立基于受控对比和稳定性指标的工具效度链，并利用 SimpleAudit 工具证明安全排名具有情境依赖性，因此必须与其具体的审计条件一并报告，而非呈现为单一的聚合分数。

原作者： Sushant Gautam, Finn Schwall, Annika Willoch Olstad, Fernando Vallecillos Ruiz, Birk Torpmann-Hagen, Sunniva Maria Stordal Bjørklund, Leon Moonen, Klas Pettersen, Michael A. Riegler

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sushant Gautam, Finn Schwall, Annika Willoch Olstad, Fernando Vallecillos Ruiz, Birk Torpmann-Hagen, Sunniva Maria Stordal Bjørklund, Leon Moonen, Klas Pettersen, Michael A. Riegler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位城市规划者，正试图聘请一台新机器人为市民提供建议。你有两台机器人：机器人 A和机器人 B。在让它们与公众交流之前，你需要知道哪一台更“安全”（即不太可能提供错误或危险的建议）。

通常，你会在标准化考试（即“基准测试”）中测试它们，而这类考试你已知正确答案。但如果你正在为一种特定的、罕见的语言（如挪威语）或一项非常具体的工作构建机器人，而目前尚不存在此类考试呢？你无法仅凭猜测行事，也无法立即从头构建一个庞大的考试体系。

本文介绍了一种无需预先制作考试即可比较这些机器人的新方法。他们将其称为**“无基准比较安全评分”**。

以下是其工作原理的简明分解，辅以类比说明：

1. 问题：“无考试”困境

通常，安全测试就像带有答案键的选择题考试。但在许多现实情境中（例如挪威的某个特定政府部门），并不存在答案键。

旧方法：等待有人构建出一套完美的考试（这需要数年时间及大量资金）。
新方法：立即创建一个“模拟审判”，以观察哪台机器人的表现相对另一台更好，即使我们不知道绝对的“完美”分数。

2. 解决方案：“模拟审判”（SimpleAudit）

作者构建了一个名为SimpleAudit的工具。将其想象为一场受控的法庭剧。

剧本（场景包）：他们不使用随机问题，而是使用一组固定的具体情境（例如，“市民寻求医疗建议”、“有人寻求法律帮助”）。这就是审判的剧本。
演员（目标模型）：这是正在接受测试的机器人（机器人 A 或机器人 B）。
检察官（审计员）：这是第二个 AI，旨在找出演员回答中的漏洞。它会提出棘手的后续问题，以观察演员是否会失足。
法官（裁判）：第三个 AI 会聆听整个对话，并根据严格的评分标准（评分细则）给出分数。

关键规则：你不仅仅运行一次。你需要在相同设置下运行同一剧本 10 次，以确保结果并非仅仅是运气使然。

3. “安全检查”（验证链）

由于没有答案键，你如何知道测试实际上是否有效？作者使用三步“现实检验”来证明其工具的有效性：

步骤 1：“破坏”测试（响应性）
想象他们拿机器人 A，秘密地“破坏”其安全过滤器（使其成为一个“被剥离”的版本，更有可能说出糟糕的内容）。
- 测试：该工具能否察觉到差异？
- 结果：是的。该工具成功地为这台“被破坏”的机器人给出了比安全机器人低得多的分数。这证明了该工具足够敏感，能够捕捉到安全问题。
步骤 2：“指责游戏”（目标主导性）
在法庭上，有时法官存在偏见，或者检察官过于软弱。作者希望确保分数实际上反映的是机器人的行为，而不是 AI 法官或检察官的怪癖。
- 测试：他们使用不同的法官和检察官进行了审判。
- 结果：分数变化的最大原因是正在接受测试的机器人，而不是给分的是哪位法官。这证明了该工具衡量的是机器人，而非工具本身。
步骤 3：“重复”测试（稳定性）
如果你运行审判 10 次，你会得到相同的结果吗？
- 结果：是的。在大约 10 次运行后，分数不再波动，而是稳定在一个固定的数值上。

4. 现实世界测试：挪威采购案

作者在挪威政府的一个真实项目中测试了该方法，该项目比较了两个模型：Borealis和Gemma。

发现：他们并没有简单地说“机器人 A 更好”。而是指出：“机器人 A 在医疗问题上更安全，但机器人 B 在语言问题上更安全。”
教训：你不能仅仅挑选一个单一的“赢家”。你必须审视具体的风险。该工具为他们提供了一组数据（分数、关键失败率以及不确定性），使他们能够做出明智的决策。

5. “契约”（你可以和不可以声称的内容）

本文非常谨慎地界定了该工具所承诺的内容。

它确实承诺：“如果你使用完全相同的剧本和完全相同的规则，那么机器人 A 比机器人 B 更安全。”
它并未承诺：“这台机器人对整个世界 100% 安全”或“这台机器人永远不会犯错”。
比喻：将其想象为汽车碰撞测试。如果你让一辆汽车以 30 英里/小时的速度撞向墙壁，你可以说：“这辆车比那辆车更好地处理了那次特定的碰撞。”但你不能说：“这辆车在宇宙中所有可能的驾驶条件下都是安全的。”

总结

本文指出：当你没有标准测试时，如果你能构建一个严格、可重复的“模拟审判”，并证明该审判确实能对安全变化做出反应，你仍然可以比较安全性。

他们构建了一个执行此操作的工具（SimpleAudit），通过“破坏”模型来观察工具是否能捕捉到异常，从而证明了其有效性，并展示了该工具有助于政府就使用哪种 AI 做出更明智、更细致的决策，而不是仅仅随机挑选一个赢家。

技术摘要：在无真实标签情况下验证大语言模型（LLM）比较安全评分

1. 问题定义

本文解决了大语言模型（LLM）部署中的一个关键缺口：在特定语言、行业或监管制度下，当不存在真实标注的安全基准时，需要比较候选模型的安全性。

在许多部署场景中（例如，挪威公共部门机构试点本地模型），团队必须在无法访问标注数据集的情况下，决定在特定约束下哪个模型更安全。现有范式未能完全解决这一问题：

静态基准： 需要真实标签，通常以英语为中心，且在发布时将评估冻结。
面向发现的审计： （例如，自动化红队测试）生成对话记录和假设，但缺乏适合采购的、具有不确定性量化的、承诺性的可重复评分机制。
LLM 作为裁判： 虽然成对比较比绝对分数更可靠，但它们继承了偏见和不稳定性。如果没有验证链，分数无法作为安全差异的证据进行辩护，而只能被视为审计机制的产物。

作者将此领域定义为无基准比较安全评分。核心挑战是在没有真实标签的情况下产生可辩护的比较证据（分数、差异值、关键率），确保该工具针对目标行为做出响应，而非针对噪声或审计者/裁判的产物。

2. 方法论：工具效度链

为了在缺乏真实标签的情况下验证评分工具，作者提出了一条工具效度链。该链条用三个具体要求替代了真实标签的一致性：

响应性： 工具必须能够区分已知的安全相关对比。作者使用了安全与去抑制（safe-vs-abliterated）对比（比较一个安全对齐模型与一个能力匹配但通过拒绝方向去除了拒绝行为的变体）。
目标敏感性（方差主导）： 分数的方差必须主要由目标模型驱动，而非由审计者（探针）或裁判（评分者）的产物驱动。这通过方差分解（ $\eta^2$ ）进行量化。
可重复性： 分数必须在多次重运行（ $n$ ）中保持稳定，以确保目标之间的差异不会被随机噪声掩盖。

SimpleAudit 实现

作者在 SimpleAudit 中实例化了这一链条，这是一个本地优先的 Python 库和测量工具。

架构： 它将三个独立角色分离：目标（T）、审计者（A） 和 裁判（J）。
工作流： 场景包初始化对话；审计者生成探针；目标做出响应；裁判用结构化裁决（严重程度 0–4）对对话记录进行评分。
评分： 严重程度标签被重新映射到 0–100 的刻度。该工具报告聚合分数、匹配差异值（ $\Delta$ ）、关键率（严重故障的频率）以及不确定性区间。
设计承诺： 本地执行（敏感数据无需依赖外部 API）、角色模块化、显式配置以及版本化的场景包。

3. 主要贡献

本文做出了六项主要贡献：

类别定义： 将“无基准比较安全评分”识别为一个具有自身主张契约的独特评估类别。
验证框架： 规定了验证此类工具所需的工具效度链（响应性、目标敏感性、可重复性）。
参考实现： 介绍了 SimpleAudit，该工具将固定的场景、评分标准和角色打包成一个可重复的工具。
实证验证： 在挪威安全包上验证了 SimpleAudit，证明其满足链条的所有三项要求。
泛化检查： 将相同的验证链条应用于 Petri（一种面向发现的审计工具），表明只要选择特定维度，该链条也适用于 Petri。
部署证据： 展示了该框架在挪威公共部门采购案例中的应用，比较了 Borealis 和 Gemma 3。

4. 关键结果

SimpleAudit 的验证

响应性： SimpleAudit 成功区分了安全和去抑制的目标。在可靠的裁判 - 审计者组合中，AUROC 值范围为 0.89 到 1.00。
目标敏感性： 方差分解显示，目标模型是主导因素（ $\eta^2 \approx 0.52$ ），而审计者和裁判的贡献虽然显著但属于次要因素。这证实分数反映的是目标行为，而非机制产物。
可重复性： 分数迅速稳定。通过 10 次重运行，与参考分数的平均绝对偏差在 0–100 的刻度上降至约 1 分，远低于驱动采购决策的差异值。
配置洞察：
- 审计者选择： 审计者是最关键的设计点。过于强大的审计者（例如前沿模型）会压缩安全目标的分数，抹去该工具旨在报告的比较差异值。审计者必须匹配目标的能力范围。
- 裁判选择： 虽然绝对分数因裁判而异，但成对差异值保持稳定。关键漏报率接近 10%（相对于前沿参考）的裁判对于治理是可行的。
- 成本效率： 将裁判能力设置为与审计者相等（ $J=A$ ）是推荐的默认设置，可在不牺牲比较信号的情况下节省 Token。

与 Petri 的比较

验证链条也适用于 Petri。具体而言，Petri 中的“令人担忧”维度通过了所有三项要求（AUROC $\ge$ 0.99，目标主导，稳定性）。
然而，这些工具在上游主张契约方面有所不同。SimpleAudit 强制执行单一、承诺的场景包和聚合规则，使其在操作上适用于采购。Petri 为发现提供了灵活性，但要求用户承诺构建和聚合规则以生成可比较的分数。

挪威采购案例研究

跨规模（1B–27B）比较 Borealis 和 Gemma 3 发现，“更安全”并非单一属性。
Borealis 通常显示出更高的分数和更低的关键率，但这种优势是类别依赖的（例如，在医疗和公共部门表现强劲，在语言方面较弱）。
扩展性： 对于某些类别，安全改进在 12B 时达到平台期，这与简单的“越大越安全”规则相矛盾。
结论： 证据支持一种细致的观点：更安全的模型取决于场景类别和特定的风险度量（平均分数与关键率）。

5. 意义与主张

本文主张，无基准比较安全评分是一个独特的评估类别，而非基准测试的退化形式。其意义在于：

为受监管领域操作化安全： 它为受监管环境（例如公共部门、非英语语言）中的团队提供了一种方法，使其能够在等待标注基准的同时生成可辩护的比较证据。
从排名转向证据： 作者反对将结果压缩为单一排行榜。相反，有效的部署证据由一组内容构成：分数、匹配差异值、关键率、不确定性区间和敏感性检查，所有这些都与特定的工具配置相关联。
可证伪性： 通过明确陈述“主张契约”（固定工具、场景包、角色），评估变得可证伪。其他团体可以重新运行相同的工具或交换组件以挑战结果。
本地优先治理： 该设计确保提示、对话记录和政策无需离开部署环境，解决了受监管部门的数据主权和隐私问题。

作者对其主张持谨慎态度：通过工具效度链是部署的必要但不充分条件。它证明了该工具作为测量工具是有效的，但领域专家仍需判断场景包是否捕捉到了实际的部署构建。本文的贡献在于类别和验证链，而 SimpleAudit 作为采购利基市场的权宜实现。