💻 computer science

Implicit Safety Alignment from Crowd Preferences

本文提出了“基于安全人群偏好的强化学习”，这是一个分层框架，能够从多样化的人群偏好中提取并迁移隐式安全准则至下游任务，使智能体在不依赖显式安全奖励的情况下实现与神谕方法相当的安全性。

原作者： Qian Lin, Daniel S. Brown

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Qian Lin, Daniel S. Brown

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教机器人如何驾驶汽车。你给它一个简单的指令：“尽快到达杂货店。”这个机器人作为一个字面思维机器，可能会决定最快的方式是行驶在人行道上、跳过行人或闯红灯。它完美地遵循了你的指令，却忽略了那条未言明的规则：不要伤害任何人。

这就是“隐性安全”问题。人类本能地知晓这些规则，但要将它们写成计算机可用的数学公式却极其困难。

本文提出了一种巧妙的新技术，通过观察人群的想法来教导机器人这些隐藏的安全规则，而不是要求一位专家编写规则手册。

问题：“一刀切”的奖励

通常，在训练人工智能时，我们使用一种称为**基于人类反馈的强化学习（RLHF）**的方法。我们向人们展示两种不同的机器人行为，并询问：“哪一种更好？”人工智能根据这些回答学习一个“奖励模型”（即评分表）。

然而，在现实世界中，人们有不同的目标。

用户 A可能希望机器人开得更快。
用户 B可能希望机器人开得更慢。
用户 C可能希望机器人走风景优美的路线。

但这里有一个秘密：**大家在安全问题上是一致的。**即使用户 A 想要速度，用户 B 想要缓慢，双方都同意撞伤行人是不对的。

作者发现，如果你只是将所有这些不同的意见揉合成一张巨大的评分表，人工智能就会感到困惑。它可能会学会用户 A 对速度的痴迷而忘记安全规则，或者它可能陷入试图同等取悦所有人的困境，从而无法完成实际任务。这就像试图把每一种口味的冰淇淋混合在一起烤蛋糕；你最终得到的是一团糟，而不是蛋糕。

解决方案：“技能库”方法

作者决定不合并分数（奖励），而是合并技能。

这就像一位体操教练在教授一套新动作：

技能库（底层）： 首先，教练观察一大群体操运动员。有些人擅长翻腾，有些人擅长平衡木，还有些人擅长跳马。尽管他们的风格各异，但他们都懂得体操的黄金法则：“不要头朝下落地。”教练提取这些安全的基础动作，并将它们放入一个库中。
编排者（高层）： 现在，教练需要教授一套新动作（下游任务），这是以前没人见过的。教练不需要重新教体操运动员如何站立或如何不摔倒，而是直接从库中挑选合适的技能并将它们串联起来。

因为库中的每一项技能都经过验证是安全的（库中没有人头朝下落地），所以新动作自动就是安全的，即使教练从未针对这个特定的新动作明确说过“不要头朝下落地”。

论文中的工作原理

研究人员构建了一个包含两部分的系统：

解码器（技能学习者）： 它观察人群的偏好，并利用一种特殊的数学技巧（称为变分自编码器，VAE）来找出每个偏好背后隐藏的“个性”。它学会了“用户 X 喜欢速度”和“用户 Y 喜欢谨慎”，但它同时也学会了所有人都讨厌碰撞。它将这些转化为“安全技能”。
组合器（主管）： 当有新任务出现时（例如“开车去商店”），主管不会从头开始学习安全。它只需挑选最佳组合的预制安全技能来完成任务。

结果

该团队在视频游戏机器人（如奔跑的猎豹或移动的游泳者）甚至简化版的聊天机器人上测试了这种方法。

旧方法（仅任务）： 机器人完成了任务，但频繁撞车或说出有害的话。
“混合搭配”方法： 当他们尝试仅仅混合分数时，机器人要么过于危险，要么过于困惑而无法正常工作。
新方法（技能组合）： 机器人几乎像专家一样学会了新任务，但它们几乎从不撞车或说出有害的话。它们从未被明确告知“对于新任务，安全很重要”；它们只是从人群共有的习惯中继承了安全性。

核心结论

这篇论文表明，我们不需要为每一项新工作完美地定义安全规则。相反，我们可以观察多样化的人群，找出他们共同拥有的安全习惯，将这些习惯转化为“安全动作”库，然后让 AI 组装这些动作来解决新问题。这就像通过向机器人展示一千个在“不要伤害任何人”这一点上达成一致的不同的人，来教导机器人保持安全。

技术摘要：基于群体偏好的隐式安全对齐

问题陈述

强化学习（RL）智能体依赖奖励函数来实现目标，但指定能够完全捕捉期望行为的奖励——特别是隐式安全约束—— notoriously 困难。在复杂场景中，设计者往往专注于任务完成，而无意中忽略了安全考量（例如保持安全裕度或避免攻击性行为），从而导致智能体出现危险行为。

虽然基于人类反馈的强化学习（RLHF）已被开发用于使智能体与人类偏好对齐，但大多数现有方法假设存在单一、统一的用户价值观集合。在实践中，偏好数据通常来自具有不同任务目标和行为模式的“群体”用户。然而，尽管这些用户的目标不同，他们往往共享隐式的安全标准（例如避免不安全状态）。本工作解决的核心挑战是如何从异质的群体偏好数据中发掘这些共享的、潜在的安全标准，并将它们迁移到下游任务中，而这些下游任务仅提供与任务无关的奖励。

作者指出了“朴素”方法的局限性，即简单地将基于群体偏好学习到的奖励模型与下游任务奖励相结合。理论和实证分析表明，这种奖励组合方法存在两个关键问题：

用户特定偏差：学习到的奖励模型不仅捕捉了共享的安全标准，还包含了用户特定的成分。如果群体数据集不平衡（例如，某位用户贡献了大部分数据），学习到的奖励就会偏向该特定用户的目标，从而降低在其他任务上的性能。
对权重的敏感性：性能高度依赖于偏好学习奖励与任务奖励之间的权衡权重，使得该方法难以调优。

方法论：基于安全群体偏好的强化学习

为了克服这些局限性，作者提出了基于安全群体偏好的强化学习，这是一个分层框架，它组合技能而非组合奖励。该方法包含三个主要阶段：

1. 从群体偏好中发掘技能

该框架不学习单一的全局奖励，而是将多样化的用户偏好行为建模为低级技能。

潜在变量推断：由于决定特定偏好的真实用户上下文 $z$ 是不可观测的，该方法使用变分自编码器（VAE）从群体偏好数据中推断潜在变量 $z'$ 。此 $z'$ 作为底层用户上下文的代理。
潜在条件学习：该框架学习潜在条件奖励函数 $r_\phi(s, a, z')$ $r_{ϕ} (s, a, z^{'})$ ，或直接学习潜在条件策略 $\pi_\theta(a|s, z')$ $π_{θ} (a ∣ s, z^{'})$ 。
- Safe-VPL：采用带有 Bradley-Terry 模型的变分偏好学习（VPL）方法来学习基于 $z'$ 条件化的奖励，随后通过离线强化学习（例如 IQL）学习低级策略。
- Safe-CPL：一种新颖的变体，将对比偏好学习（CPL）集成到 VPL 框架中。它直接学习潜在条件策略 $\pi_\theta(a|s, z')$ ，无需显式的中间奖励学习阶段，从而避免了强化学习优化的不稳定性。

2. 高级策略组合

对于具有与任务无关奖励 $r_{new}$ 的新下游任务，训练一个高级策略 $\pi_h(z'|s)$ 来组合已学习的低级技能。

动作选择：高级策略输出一个潜在变量 $z'$ ，该变量索引特定的低级技能 $\pi_l(a|s, z')$ 以生成最终动作。
安全继承：由于所有低级技能都是从群体偏好中学习到的，它们内在编码了共享的安全标准（例如避免不安全的状态 - 动作对）。通过限制智能体组合这些技能，可以在下游任务没有显式安全信号的情况下强制执行安全。
正则化：为了防止高级策略选择可能导致不安全行为的分布外技能，应用正则化项，使选定的潜在变量保持接近从群体数据中学习到的先验分布。

3. 下游训练

训练高级策略以最大化下游任务奖励 $r_{new}$ ，同时遵守低级技能空间施加的约束。这可以在在线（带交互）和离线（仅使用现有数据集）设置中进行。

主要贡献

问题形式化：本文形式化了将共享安全目标从异质群体偏好迁移到下游任务的问题，并指出了在偏好不平衡情况下直接组合奖励的局限性。
理论分析：作者提供了理论证明，表明：
- 如果安全惩罚足够大，从群体数据中学习到的单一奖励模型将偏好安全轨迹而非不安全轨迹（定理 4.2）。
- 然而，如果群体数据不平衡，学习到的奖励排序将与大多数用户的特定目标一致，导致性能下降（定理 4.3）。
- 所提出的技能组合方法保证了安全性，前提是低级策略相对于其条件效用是最优的（推论 A.6）。
算法框架：提出了一个分层框架（Safe-VPL 和 Safe-CPL），将技能发现与任务优化解耦，从而能够在不同任务中复用安全对齐的行为。
实证验证：在六个安全强化学习环境（Reach, Run, Circle, Ant-vel, Swimmer-vel, HalfCheetah-vel）和一个概念验证大语言模型（LLM）对话任务中进行了广泛的实验。

实验结果

该方法与多个基线进行了评估，包括 Oracle 方法（使用真实安全信号训练）、仅任务方法（仅优化任务奖励）、仅安全偏好学习（SOPL）以及奖励组合（RC）。

安全性能：所提出的方法（Safe-VPL 和 Safe-CPL）显著降低了安全成本，优于仅任务基线。在离线设置中，平均归一化安全成本从 1.0（仅任务）降至约 0.02–0.03，与 Oracle 方法相当。
任务性能：该方法实现了与 Oracle 方法相当的任务性能，并显著优于奖励组合（RC）方法，特别是在偏好不平衡的设置中。
对不平衡的鲁棒性：当某位用户贡献了大部分数据时，RC 的性能急剧下降（偏离 Oracle 前沿），而所提出的技能组合方法则保持鲁棒，无论偏好是否不平衡，其性能都接近 Oracle 水平。
LLM 评估：在简化的基于语言的多臂老虎机设置中，该方法成功避免了有害回复，同时实现了强大的任务性能，而仅任务智能体则经常选择有害回复以最大化奖励。

意义与主张

本文主张，其主要意义在于证明了可以从群体偏好中发掘并迁移隐式安全目标，而无需显式的安全奖励或演示。

数据复用：该方法使得群体偏好数据可以在不同任务间复用，即使这些偏好并非为特定的下游任务收集，从而可能降低重复收集人类反馈的成本。
缓解奖励设计挑战：通过利用隐式安全信号，该方法解决了人类设计的奖励不完整或指定错误这一常见问题。
可扩展性：该框架假设群体偏好反映了对安全的共享共识。虽然作者承认现实世界中的噪声或对抗性反馈可能会对此构成挑战，但他们认为该方法提供了一种稳健的方式，用于在安全规范难以形式化定义的领域中学习安全行为。

作者保持了谦逊的态度，指出他们的实验依赖于由真实奖励生成的合成标注偏好，而非自然的人类反馈，并且需要未来的工作来验证该方法在更嘈杂的真实世界人类数据上的表现。