🤖 machine learning

Understanding Annotator Safety Policy with Interpretability

本文介绍了标注者策略模型（APMs），这是一个可解释的框架，能够直接从标注者的标注行为中推断其内部安全策略，以区分操作失误、策略歧义和价值多元性，从而在不增加额外标注负担的情况下实现更具针对性和包容性的安全策略设计。

原作者： Alex Oesterling, Donghao Ren, Yannick Assogba, Dominik Moritz, Sunnie S. Y. Kim, Leon Gatys, Fred Hohman

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Alex Oesterling, Donghao Ren, Yannick Assogba, Dominik Moritz, Sunnie S. Y. Kim, Leon Gatys, Fred Hohman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家巨型餐厅（一个 AI 系统）的主厨。你的目标是提供所有人都能安全食用的食物。为此，你聘请了一支由 100 位不同美食评论家（标注员）组成的团队，让他们品尝菜肴并决定：“这道菜可以安全供应吗？”还是“这道菜有毒吗？”

问题在于：评论家们意见不一。 有时一位评论家说一道辣菜是“安全的”，而另一位则说它是“有毒的”。有时他们意见不合是因为没看懂菜单。有时是因为菜单说明含糊不清。而有时，他们意见不合是因为他们确实拥有不同的文化口味。

通常，餐厅经理只是进行投票。如果 51% 的人说“安全”，这道菜就会端出去。但这很危险。它掩盖了 49% 的评论家认为这是毒药的事实，而且无法告诉你为什么他们会意见分歧。

本文介绍了一种名为标注员策略模型（Annotator Policy Models, APMs）的新工具。将 APM 想象成一副“读心眼镜”，它让你只需查看评论家过去的笔记，就能确切地看到他们是如何决定什么是安全的，而无需让他们亲自解释。

以下是本文的分解说明：

1. 问题：分歧的“黑箱”

当评论家（人类或 AI）对数据进行标注时，他们经常意见不一。

操作失误： 评论家没理解任务。（例如：他们本应品尝主厨的酱汁，却尝了顾客的辣莎莎酱。）
策略模糊： 规则手册令人困惑。（例如：规则规定“禁止使用冒犯性语言”，但未说明在授课中引用脏话是否算作违规。）
价值多元： 评论家们仅仅拥有不同的价值观。（例如：一位评论家认为某个笑话很有趣；另一位则认为它令人受伤。）

通常，我们只是统计票数。但如果我们不知道他们为什么这样投票，我们就无法修正菜单或规则。

2. 解决方案：“读心眼镜”（APMs）

与其询问评论家“你为什么这样投票？”（这既缓慢又昂贵，而且人们经常撒谎或遗忘），作者构建了一个计算机模型，它通过观察评论家的投票行为，学习评论家内部的规则手册。

工作原理： 模型查看成千上万次过去的投票，寻找模式。例如，它可能会发现：“啊，这位特定的评论家只要看到‘枪’这个词就总是投‘不安全’，但他们并不在意‘刀’这个词。”
神奇之处： 模型将这些模式转化为简单、可读的规则（如流程图）。它不仅仅说“不安全”，而是说“不安全，因为：枪 + 无上下文”。
无需额外工作： 评论家无需做任何新事情。模型只是研究他们现有的工作。

3. 眼镜揭示的内容

作者在两组评论家身上测试了这副眼镜：AI 评论家（大语言模型）和人类评论家。

A. 捕捉错误（操作失误）
眼镜显示，有些评论家看错了对象。他们评判的是顾客的粗鲁问题，而不是主厨的礼貌回答。模型瞬间发现了这种模式，使经理能够重新培训这些特定的评论家。

B. 发现模糊规则（策略模糊）
眼镜显示，有些评论家对规则感到困惑。例如，当主厨试图转移话题以避免回答粗鲁问题时，有些评论家将其标记为“不安全”，因为他们想要直接的拒绝。模型突出了这种困惑，告诉管理者：“嘿，我们的规则手册需要更清楚地说明什么样的拒绝才算‘好’拒绝。”

C. 倾听不同的声音（价值多元）
这是最有趣的部分。眼镜发现，来自不同背景（如不同年龄或教育水平）的评论家拥有不同的“安全优先级”。

示例： 一组评论家认为模型礼貌地转移话题是安全的。另一组则认为这是危险的，因为这感觉像是在隐瞒真相。
洞察： 如果你只是进行多数投票，你就会让少数群体失声。APMs 让你看到这些不同群体的存在以及他们关心什么，从而你可以设计一个尊重更多观点的系统，而不仅仅是声音最大的那个。

4. “如果”测试

为了确保眼镜有效，作者玩了一个把戏。他们选取了一段被评论家标记为“不安全”的文本，利用模型找出究竟是什么让它变得不安全。然后，他们让 AI 只改变那一点（例如，将“炸弹”换成“蛋糕”）。

结果： 当他们向原始评论家展示新文本时，评论家将投票改为了“安全”。
重要性： 这证明了模型不仅仅是在猜测；它实际上理解了评论家的逻辑。它确切地知道是哪个“食材”导致了“有毒”的标签。

总结

本文认为，我们不应仅仅通过统计票数来决定 AI 是否安全。我们需要理解投票背后的个体逻辑。

通过使用这些标注员策略模型，我们可以：

修正训练错误。
澄清令人困惑的规则。
确保多样化的观点不会被简单的多数投票意外抹去。

这就像从一家你只需对菜单进行投票的餐厅，转变为一家你可以确切看到每位评论家喜欢或不喜欢某道菜的原因的餐厅，从而为每个人做出更好的食物。

技术摘要：利用可解释性理解标注者安全策略

问题陈述

安全策略对于定义和缓解有害的 AI 输出至关重要，然而用于训练和评估这些系统的标注过程却普遍存在分歧。这种分歧源于三个不同的来源：

操作失误：标注者误解或错误执行任务（例如，标注用户提示而非模型回复）。
策略模糊性：安全指南中的措辞允许多种有效解释（例如，转移话题是否构成安全的拒绝）。
价值多元性：基于人口统计、文化和个人价值观，标注者对安全持有 genuinely 不同的观点。

当前的做法（如多数投票）混淆了这些来源，往往无法解决真正的模糊性，或压制少数群体的观点。此外，直接要求标注者解释其推理过程成本高昂，增加了标注负担，且由于事后合理化或大语言模型（LLM）中思维链推理的不忠实性，往往不可靠。本文旨在解决区分这些分歧来源的挑战，以便在不增加额外人力投入的情况下实现针对性响应（例如，更好的培训、策略优化或包容性设计）。

方法论：标注者策略模型（APMs）

作者引入了标注者策略模型（APMs），这是一种可解释的模型，能够直接从标注者的标注行为中学习其内部安全策略。

核心架构

APMs 利用**概念瓶颈模型（CBMs）**将预测过程分解为两个阶段：

概念编码（ $g$ ）：输入文本被映射到包含 $c$ 个与安全相关概念的 $c$ 维二元特征空间。为了避免人工标注概念的成本，作者采用了一种无标签 CBM方法。他们利用 GPT-4o 从安全数据集（BeaverTails）中生成候选概念列表，对其进行聚类和总结，然后使用嵌入模型（Gemini）通过余弦相似度和Sparsemax算子来标注文本中这些概念的存在情况。关键在于，概念空间捕捉的是事实性存在（例如，“提及武器”），而非解释性判断（例如，“有害的提及”）。
策略学习（ $f$ ）：针对每位标注者 $k$ $k$ ，训练一个简单、可解释的函数，将二元概念向量映射为安全/不安全标签。作者提出了两类模型：
- 非负逻辑回归（NNLR）：权重被约束为非负值，确保模型默认预测为“安全”，仅当正特征积累足够证据时才预测为“不安全”。
- 析取范式（DNF）：采用“与项的或”形式的布尔规则，任何单条规则触发即导致“不安全”预测。这符合直觉，即单一条策略违规即可使文本变得不安全。

设计原则

仅包含正特征：特征代表概念的存在，而非缺失，以避免虚假相关性（例如，“因为缺乏食物所以不安全”）。
默认安全，除非证明不安全：除非存在特定的不安全特征，否则模型默认预测为安全。

验证与结果

作者利用 LLM 和人类标注数据对 APMs 进行了验证。

LLM 验证

使用 BeaverTails 和 WildGuardMix 数据集，APMs 在五个不同的 LLM 标注者（GPT-4o、GPT-4o-mini 以及各种 Qwen 模型）上进行了训练。

预测准确性：APMs 在不同 LLM 标注者上实现了73–90% 的准确率和0.78–0.95 的 AUC（针对 NNLR），表明简单的可解释模型可以近似复杂基础模型的行为。
泛化能力：从 BeaverTails 挖掘出的概念在 WildGuardMix 上表现良好，性能下降极小。
受控策略恢复：在模拟“爱丽丝”（将武器视为安全）和“鲍勃”（将药物视为安全）的合成实验中，APMs 成功恢复了这些已知的策略差异。通过“差分”模型（比较特征集），自动识别出导致分歧的具体概念。
反事实忠实性：当输入被最小化修改以移除 APM 识别为导致“不安全”标签的特征时，原始标注者的预测在大多数情况下发生了改变，证实 APMs 捕捉的是因果相关的特征，而不仅仅是相关性。

人类标注应用（DICES 数据集）

将 APMs 应用于 DICES 数据集（由 123 名人类标注者对 350 次交互进行评分），揭示了三个关键见解：

操作失误：识别出那些系统性地将整个交互标记为不安全而非仅标记模型回复的标注者，表明其对任务存在误解。
策略模糊性：揭示了在边缘案例上的分歧，例如在有害话题上的“转移话题”或“后续问题”是否构成安全回复，突显了策略措辞不清晰之处。
价值多元性：通过在人口统计组（例如，千禧一代 vs. X 世代及以上，大学学历 vs. 高中学历）上训练 APMs，作者发现了安全优先级的系统性差异。例如，与 X 世代及以上标注者相比，千禧一代标注者更倾向于将针对地平论的“温和引导”标记为不安全。
- 独特规则贡献（URC）：研究验证了特定群体 APM 学习到的独特规则，优先激活于该群体与其他群体存在分歧的样本上，证实这些规则捕捉了真实的行为差异。
- 多数投票压制：分析表明，多数投票聚合掩盖了少数群体的观点。APMs 识别出相当比例的样本，这些样本被特定人口统计群体视为不安全，却被多数群体视为安全，这表明标准聚合抹杀了这些安全关切。

主要贡献

可解释的标注者策略模型：引入 APMs，利用机器学习可解释性技术显式建模个体标注者的安全策略，无需额外的标注工作。
广泛的验证：证明 APMs 能准确建模标注者行为（在 LLM 上准确率>80%），忠实预测对反事实编辑的响应，并在受控设置中恢复已知的策略差异。
揭示分歧来源：提供实证证据，表明 APMs 能够区分人类标注流程中的操作失误、策略模糊性和价值多元性。
人口统计分析：揭示了不同人口统计群体间安全优先级的系统性差异，并展示了多数投票如何压制这些多样化的观点。

意义与主张

本文主张，APMs 提供了一种机制，使标注者的推理过程可见且可比较，超越了不透明的聚合方法。通过厘清分歧的来源，开发者可以做出适当的响应：

操作失误可以通过改进培训和质量控制来解决。
策略模糊性可以通过有针对性的策略优化和澄清来解决。
价值多元性可以通过审议如何纳入多样化观点来解决，例如，将少数群体的独特规则连接到多数投票模型中，以确保包容性的安全覆盖。

作者强调，虽然重点在于安全，但该方法是通用的，可应用于任何主观标注任务。他们指出了局限性，包括依赖 LLM 生成的概念，以及 APMs 揭示了标注者在什么问题上存在分歧，但不一定能揭示深层的社会学原因（除非进行进一步的用户研究）。这项工作将 APMs 定位为一种诊断工具，旨在提高 AI 安全策略设计的透明度、针对性和包容性。