💬 NLP

Configurable Reward Model for Balanced Safety Alignment

本文介绍了可配置安全奖励模型（Configurable Safety Reward Model, CSRM），这是一种利用针对配置的目标数据增强技术来构建能够适应异构且演进的安全需求的奖励模型的新颖方法，从而在可配置安全基准测试上实现了最先进的性能，并显著改善了对齐大语言模型中的帮助性与安全性之间的权衡。

原作者： Zhengping Jiang, Mehran Khodabandeh, Akash Bharadwaj, Manik Bhandari, Mayur Srungarapu, Anqi Liu, Benjamin Van Durme, Li Chen

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhengping Jiang, Mehran Khodabandeh, Akash Bharadwaj, Manik Bhandari, Mayur Srungarapu, Anqi Liu, Benjamin Van Durme, Li Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：并非所有场景都适用同一种标准

想象你有一个非常聪明的机器人助手（大型语言模型，简称 LLM）。你希望这个机器人既能提供帮助，又要保证安全。

问题在于，“安全性”取决于你身处何处以及正在做什么：

在创意写作课上： 一个关于反派抢劫银行的故事可能既精彩又安全。
在银行里： 同一个故事则违反了安全协议。
在医院里： 一个关于病人的故事可能需要严格遵守保密规定。

目前的 AI 安全系统大多像静止的雕像。一旦建成，它们就无法改变。如果一家公司需要更新其安全规则（例如增加一条关于“禁止谈论金钱”的新规则），工程师们必须停止一切工作，召集新的教师，从头开始重新训练机器人，并祈祷它能学会这条新规则。这既缓慢又昂贵，而且往往会导致机器人变得过于胆小，甚至不敢回答任何问题（这被称为“过度拒绝”问题）。

解决方案：“可配置安全奖励模型”（CSRM）

作者引入了一个名为 CSRM 的新系统。不要把 CSRM 看作一座雕像，而要把它看作一个智能的可调节恒温器。

CSRM 不再只有一个固定的“安全性”设置，它允许你为每一次对话插入一份特定的“安全手册”（用纯英文编写）。

输入： 你给机器人一段对话，加上一套特定的规则（例如：“对于这部电影剧本，暴力是可以接受的，但仇恨言论不行”）。
输出： CSRM 不仅仅是简单地说“是/否”。它会给出一个分数（类似于 0 到 100 的等级），告诉机器人根据这些特定规则，其回答到底有多安全或多不安全。

它是如何工作的：“厨师厨房”类比

为了理解他们是如何训练这个模型的，请想象一位厨师（AI）需要学习如何为不同的饮食限制准备食物。

旧方法（静态训练）： 你教厨师说：“永远不要做含有猪肉的菜。”厨师记住了这条规则。如果你之后要求做一道“无猪肉但香辣”的菜，厨师可能会拒绝做任何菜，因为他们感到困惑或者太害怕犯错。
CSRM 方法（可配置训练）：
- “菜单”增强： 研究人员创建了一种特殊的训练方法。他们提取真实的对话，并让一个聪明的 AI 去发明新的“菜单规则”。
  - 场景 A： “增加一条规则，说‘不含猪肉’。”（厨师学会了避开猪肉）。
  - 场景 B： “增加一条规则，说‘猪肉可以，但不含酒精’。”（厨师学会了在不加酒的情况下烹饪猪肉）。
- “严重程度”增强： 他们还教会了厨师区分“小失误”和“大灾难”。
  - 场景： “偶然提到一次‘猪肉’是一个轻微失误（低惩罚）。”
  - 场景： “给一位严格的素食主义者端上一整头猪是一个重大灾难（高惩罚）。”
- 结果： 厨师学会了阅读当天的特定菜单，并立即调整烹饪方式，而无需回到烹饪学校重新学习。

为什么它比其他系统更好

论文将 CSRM 与另外两种类型的安全系统进行了对比：

“保镖”（标准分类器）： 他们站在门口，只负责说“进”或“出”。他们很快，但无法分辨一个“略带风险”的笑话和一个“危险”的威胁之间的区别。他们太武断了。
“法官”（推理模型）： 他们就像律师一样，通过撰写长篇大论来解释为什么某件事是不好的。他们很准确，但非常缓慢，且难以用于训练 AI。

CSRM 是“计分员”： 它给出一个精确的数字（奖励分数），告诉 AI 它做得有多好。这使得 AI 能够循序渐进地学习，通过改进行为来不断进步，而不是仅仅被告知“错！”或“对！”。

结果：更好的平衡

研究人员在各种安全基准测试中测试了 CSRM，发现：

它能即时适应： 它可以处理从未见过的全新安全规则，而无需重新训练。
它停止了“过度拒绝”： 因为它理解规则中的细微差别，所以它不会对所有事情都说“不”。它能在提供帮助与保持安全之间找到中间地带。
它创造了“帕累托前沿”（Pareto Frontier）： 这是一个高级术语，意思是通过这种方式，它实现了最佳的平衡。你可以在不损失安全性方面获得更多的帮助性，或者在不损失帮助性的情况下获得更多的安全性。它推向了可能性的极限。

总结

这篇论文提出了一种让 AI 安全变得灵活的新工具。与其硬编码那些会随着世界变化而失效的安全规则，CSRM 就像是一个动态的翻译官，它能阅读特定情境下的安全规则，并引导 AI 在这些界限内表现得完美无瑕。它让 AI 变得更安全、更聪明，且不再容易变得谨小慎微到令人厌烦。

技术摘要：用于平衡安全对齐的可配置奖励模型

问题陈述

将大语言模型（LLMs）与安全需求进行对齐面临着一个关键挑战：安全性并非一个普遍常数，而是一个受文化规范、法律管辖权和组织政策影响的上下文相关变量。当前的对齐范式，特别是来自人类反馈的强化学习（RLHF），依赖于静态的奖励模型（RMs），其安全性知识在部署时是隐式编码且固定的。这种僵化性导致每当安全性政策发生演变（例如，新的仇恨言论法规或特定领域的合规要求）时，都需要进行成本高昂的全量重训与部署循环。

相反，现有的“可配置”方法——例如独立的安全性分类器（如 Llama Guard、ShieldGemma）或基于提示词条件的推理判别器（如 DynaGuard）——虽然能在推理阶段适应新策略，但这些模型本质上是判别式分类器或基于推理的评判器。它们的输出往往表现出不适用于强化学习的奖励几何特性：概率要么过于尖锐（二元决策），要么过于平坦（审慎判断）。因此，它们为策略优化提供了稀疏、校准性差且实际上不可微的信号，频繁导致过度拒绝（拒绝良性请求）并降低效用。

在当前的流水线中存在一个缺失的组件：一个既能在推理时可配置，又能产生适用于内循环策略优化的稠密且校准良好的标量奖励的模型。

方法论

作者引入了可配置安全性奖励模型（Configurable Safety Reward Model, CSRM），这是一个旨在通过在推理时以自然语言安全性配置为条件，同时为 RLHF 输出标量奖励的框架。该方法论依赖于三个核心组件：

1. 术语与输入结构

安全性配置 $p$ 被定义为一组包含自然语言指南的规则集，这些指南划定了特定类别下可接受与不可接受的内容。模型接收一个元组 $(x, r, p)$ 作为输入，其中 $x$ 是对话历史， $r$ 是智能体的响应， $p$ 是安全性配置。它输出一个标签 $y \in \{\text{safe, unsafe}\}$ 和一个奖励值 $c \in [0, 1]$ 。

2. 针对性数据增强

为了实现对未见配置的泛化且无需额外的专家标注，作者提出了两种增强策略：

可配置安全性配置增强： 对于给定的对话和配置，推理模型会提议一个“正向”类别（不在 $p$ 中），若将其加入则会使当前对话变得不安全；以及一个“负向”类别，若将其加入则会使当前对话变得安全。通过随机丢弃现有类别并选择性地插入这些新类别，对配置进行增强。这种双向增强增加了奖励值的分布跨度，并改进了成对建模。
严格度增强： 为了塑造奖励几何形状并反映违规严重程度，作者构建了指南描述的部分有序集。他们识别安全性类别内的子类别，按估计的严重程度进行排序，并重写指南，以选择性地允许或禁止该有序列表的前缀。为了确保可靠性，他们采用了使用 Clopper–Pearson 下界进行置信度限定的支配测试。只有当指南对 $(d, d')$ 中 $d$ 在统计学上显著比 $d'$ 更严格时，才会被保留用于训练。这确保了模型学习的是校准后的严重程度谱系，而非任意的二元区别。

3. 联合判别-生成式训练

CSRM 在单一生成框架内统一了安全性分类与奖励建模。

分类损失： 模型被训练为使用语言化的标记（如 "safe", "unsafe"）来预测安全性标签。
奖励损失： 利用经过严格度增强的配对，模型被训练为最大化在严格与宽松配置下，“安全”与“不安全”标记对数概率之间的边际（margin）。这被公式化为一种类 Bradley–Terry 的偏好损失，鼓励模型为在更严格指南下表现更安全的响应分配更高的奖励。
校准： 作者并未使用单独的校准损失，而是通过构建多样化且经过统计验证的严重程度对，在训练过程中诱导校准。这利用了排序质量与校准性之间的经验联系。

核心贡献

可配置、经校准的安全性奖励建模： CSRM 直接以自然语言安全性配置为条件进行推理，产生稠密、校准良好的标量奖励而非二元判断。这实现了对安全性行为的细粒度控制，无需重新训练，并保持了与基于梯度的策略优化的兼容性。
结合针对性增强的联合训练： CSRM 统一了安全性分类与奖励建模，引入了配置目标增强和严格度增强。这使得模型能够区分边缘违规与严重违规，并在无需新人工标注的情况下泛化至未见的配置。
改进的安全性-帮助性权衡： CSRM 为 RL 提供了一个更具信息量的奖励信号，产生的策略既能避免过度拒绝，又能保持强大的安全性保障，有效地扩展了安全性与效用之间的帕累托前沿（Pareto frontier）。

实验结果

作者在多个基准测试和下游对齐任务上评估了 CSRM：

安全性分类： 在包括 BeaverTails、WildGuardMix、CoSApien 和 DynaBench 在内的基准测试中，CSRM 达到了最先进的性能。值得注意的是，它在 CoSApien 上达到了 94.6% 的 F1 值，在 DynaBench 上达到了 75.8% 的 F1 值，超越了 LlamaGuard-3-8B 和 ShieldGemma-9B 等基准模型。它还展示了比推理型判别器更优越的校准性（更低的 smECE）。
奖励建模： 在成对奖励建模任务（BeaverTails-Aug, WildGuardMix-Aug）中，CSRM 在按违规严重程度对响应进行排序的准确率方面取得了最高值，显著优于基准模型。
过度拒绝： 在过度拒绝基准测试（XSTest, OR-Bench）中，CSRм 获得了最高的 F1 值，表明其具有更好的校准性，并且与指令微调基准相比，减少了拒绝良性请求的倾向。
下游 RL 对齐： 当作为 Mistral-7B-Instruct-v0.1 在五个领域（如 Arab Publisher, Film Production）进行对齐的奖励信号时（使用 Reward Distillation 和 REINFORCE++），CSRM 始终实现了最佳的 CoSA 分数（安全性奖励与帮助性奖励的点积）。在多个领域中，它在同等安全性水平下实现了更高的帮助性。例如，在 REINFORCE++ 下的 Film Production 领域，CSRM 实现了 3.981 的 CoSA 分数，优于 LlamaGuard 基准（3.391）和指令微调基准（3.113）。

意义与主张

本文声称 CSRM 解决了当前安全性对齐的一个根本局限：即无法在不进行昂贵重训的情况下适应不断变化的安全性需求，同时保持适用于 RL 的信号。通过在 RLHF 的内循环中作为一个稠密的、可配置的奖励信号发挥作用，CSRM 使得训练本质上更安全的模型成为可能，而不仅仅是在推理时对其输出进行监管。

作者强调，CSRM 无需额外的专家标注即可实现这些结果，而是依赖于现有数据集的合成增强。这项工作为奖励层面的可配置性提供了一条实用的路径，允许通过在推理时更新规范来调整安全性行为，同时保留用于训练的优化兼容信号。

作者注明的局限性：

增强流水线依赖于 LLM 生成的提议，这可能会继承提议模型的偏差，尽管通过统计过滤缓解了这一问题。
研究未进行针对性的奖励黑客攻击（reward-hacking）分析；在长程在线优化下的策略性利用仍是未来的研究方向。
主要结果使用了单一的基础架构（Llama-3.1-8B），尽管趋势在 Qwen3-2B 上得到了复现。更广泛的骨干网络和多语言评估留待未来研究。