📊 statistics

Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning

本文介绍了相似性作为奖励对齐（Similarity as Reward Alignment, SARA），这是一种用于基于偏好的强化学习的鲁棒对比框架，该框架通过学习潜在表示来将奖励计算为相似性，并在连续控制基准测试中证明了其相比基线模型具有更优越的稳定性和噪声抗性。

原作者： Sara Rajaram, R. James Cotton, Fabian H. Sinz

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sara Rajaram, R. James Cotton, Fabian H. Sinz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何走路、跳舞或烹饪美食。在人工智能的世界里，这被称为强化学习（Reinforcement Learning）。通常情况下，机器人通过尝试并获得来自人类程序员的得分或“奖励”来学习。如果机器人做得好，它会得到一分；如果它摔倒了，就会失去一分。但问题在于：编写一个完美的评分系统是非常困难的。这就像是试图编写一本关于“好厨艺”的规则手册，既要涵盖厨师可能犯下的每一种错误，又不能误导他们把房子烧掉。

为了解决这个问题，科学家们开发了一个聪明的捷径，叫做基于偏好的强化学习（Preference-based Reinforcement Learning, PbRL）。他们不再编写规则手册，而是让人们观察两个不同的机器人尝试，然后说：“我更喜欢这一个，而不是那一个。”机器人随后会努力弄清楚是什么让“好”的那一个更好的隐藏规则。比起写一份关于究竟有多少奶酪才算完美的说明书，说“我更喜欢这个披萨”要容易得多。然而，这里有一个大问题：人类并不完美。我们会疲劳，会困惑，有时也会犯错。如果机器人向一个经常出错的老师学习，它可能会学得笨拙或者危险。这篇论文探讨了在面对偶尔出错的人类教师时，教导机器人所面临的复杂现实。

这项研究背后的研究人员 Sara Rajaram、R. James Cotton 和 Fabian H. Sinz 注意到，目前大多数通过人类偏好教导机器人的方法都依赖于一种特定的数学技巧，叫做 Bradley-Terry 模型。你可以把这个模型想象成一个严格的裁判，他只关心一对一的比赛。如果你告诉裁判：“机器人 A 比机器人 B 好，”裁判就会假设这是绝对的事实，并据此调整机器人的大脑。但如果你只是在瞎猜呢？或者如果你累了，选错了呢？旧的模型将每一个错误都视为事实，这会让机器人感到困惑，并在人类教师失误时导致其表现极差。

为了解决这个问题，团队引入了一种新方法，称为 SARA（相似性作为奖励对齐）。SARA 不再像那个只看两两对比的严格裁判，它更像是一位睿智的艺术评论家，审视着一整座画廊。SARA 不仅仅一次比较两个机器人，它会观察人类喜欢的所有“好”示例，并寻找让它们变得特别的共同模式。它创造了一个关于完美表现的心理“指纹”。然后，当机器人尝试新动作时，SSA 会问：“这个看起来有多像我们的指纹？”如果它看起来很相似，机器人就会获得奖励；如果它看起来不同，就会得到较低的分数。

SARA 的精妙之处在于它忽略了噪声。如果一个人不小心说了一个糟糕的表现是“好”的，SARA 不会惊慌。因为它已经观察了许多其他的“好”示例，它会意识到这一个坏例子并不符合其余例子的模式。这就像一位音乐老师，听过成千上万首完美的钢琴曲；如果一个学生弹奏了一首带有错音的曲子，而老师却不小心鼓掌了，老师的大脑会知道：“等等，这听起来不像其他的优秀乐曲，”从而不会让学生认为自己表现得很好。

团队在各种机器人任务上测试了这个想法，比如让一个虚拟的跳跃器（hopper）跳跃或让一个步行器（walker）向前移动。他们故意搞乱了人类的反馈，将错误的反馈率设定在 0% 到 40% 之间。在这些测试中，旧的方法（那些严格的裁判）随着误差的增加而开始崩溃，在某些任务上的表现下降了多达 73%。然而，SARA 却保持了稳定。即使在人类反馈存在噪声的情况下，SARA 的机器人依然表现良好，展示出了相对于旧方法具有统计学意义的显著改进。

研究人员还检查了 SARA 对任务真实目标的理解程度，而不仅仅是人类所说的话。他们发现，SARA 计算出的奖励与环境的实际物理特性更加一致，而旧方法计算出的奖励则不然。这表明 SARA 更擅长过滤掉人类的困惑，并找到隐藏在底层的真正“好”的行为。

简而言之，这篇论文表明，在利用人类反馈教导机器人时，寻找许多示例中表现出的“氛围”（vibe），比纠结于每一次细微的比较更为有效。通过使用一种从一组“好”示例的集体智慧中学习，而非仅仅通过两两对抗的方法，SARA 让机器人对人类的错误更加具有鲁棒性。这并不意味着人类教师必须完美；它意味着机器人足够聪明，能够识别出老师什么时候状态不佳。

技术摘要：基于相似性的奖励对齐 (SARA)

问题陈述

基于偏好的强化学习 (PbRL) 旨在通过学习人类对轨迹对的反馈来使智能体行为与人类意图对齐，从而减轻手动奖励工程的负担。然而，现有的 PbRL 方法主要依赖 Bradley-Terry (BT) 模型从成对排名中学习奖励函数。这种方法在现实场景中面临显著局限，因为在这些场景中，人类标注者通常是非专家或受限于时间，导致不可避免的标注错误。

先前的研究表明，基于 BT 的模型对噪声非常脆弱；它们假设偏好具有传递性（这一假设在人类心理学中经常被违反），并且容易过拟合于轨迹对中的相对排名。实证研究表明，即使是 10% 的标签错误率也会显著降低强化学习的性能，而人类标注者之间现实的歧见率通常达到 25%。此外，BT 模型在噪声设置下的形式化鲁棒性证明仍是一个悬而未决的挑战。核心问题在于，当前的 PbRL 框架在面对噪声、非专家偏好数据时缺乏鲁棒性。

方法论：基于相似性的奖励对齐 (SARA)

作者提出了 SARA，这是一个对比学习框架，它将范式从学习成对的相对排名转向学习整个偏好行为集合的潜在表示。

核心架构

SARA 采用了一个两阶段的基于 Transformer 的编码器：

轨迹编码 (Enc 1)： 每条轨迹（偏好的 $\sigma_p$ 或非偏好的 $\sigma_n$ ）通过带有位置编码的 Transformer 编码器进行处理。对时间步进行平均池化，为每条轨迹生成单个潜在表示 ( $u_{p,i}$ 或 $u_{n,i}$ )。
集合编码 (Enc 2)： 在每个类别（偏好和非偏好）内，将轨迹表示随机划分为 $k$ 个子集（实验中 $k=2$ ）。第二个 Transformer 编码器处理这些子集，允许在子集内部进行注意力机制以聚合信息。这产生了集合层级的潜在表示 ( $z^k_p$ 和 $z^k_n$ )。

训练目标

模型使用 SimCLR 对比损失 进行训练。其目标是：

拉近同一类别不同子集的潜在表示（例如， $z^1_p$ 和 $z^2_p$ ）。
推开偏好子集与非偏好子集的表示（ $z^k_p$ vs $z^k_n$ ）。

每一轮迭代中子集组成的随机化迫使编码器学习区分偏好与非偏好行为的泛化模式，而不是过拟合于特定的轨迹配对或噪声标签。

奖励推理

与输出由参数 $\psi$ 参数化的奖励函数的 BT 方法不同，SARA 通过编码整个偏好轨迹数据集来学习一个冻结的偏好集表示 ( $z^*_p$ )。在下游强化学习训练期间，采样轨迹 $\sigma_t$ 在时间步 $t$ 的奖励计算为该轨迹的潜在表示 ( $z_t$ ) 与冻结的偏好潜在表示之间的余弦相似度：
$r_t = \cos(z_t, z^*_p)$
理论依据源自最近的工作 (Sun et al., 2025)，该工作表明预测单个轨迹是否为偏好足以实现对齐，从而避免了相对排名模型的缺陷。

核心贡献

鲁棒的对比框架： SARA 引入了一种新颖的方法，将偏好和非偏好轨迹集合编码为潜在表示，并通过与偏好集的相似性来计算奖励。这避免了 BT 模型的成对排名假设。
噪声韧性： 通过学习整个偏好集的注意力加权表示，SARA 实现了对标注者错误的鲁棒性。它不依赖于拟合成对排名，而成对排名极易受到噪声标签的破坏。
机制分析： 作者提供了支持 SARA 鲁棒性的机制解释，并辅以 t-SNE 可视化和消融实验。他们证明了编码器能够学习对不符合偏好集多数模式的误标轨迹进行降权，从而在没有显式过滤机制的情况下有效地过滤噪声。
统计验证： 论文提供了严谨的统计证据（Wilcoxon 符号秩检验， $p < 0.01$ ），证明了 SARA 在不同噪声水平下均优于基准模型。

实验结果

作者在连续控制离线强化学习基准测试（D4RL：Mujoco 运动、Franka Kitchen、Adroit）上评估了 SARA，使用了注入了 0%、10%、20% 和 40% 噪声率的偏好数据集。

性能稳定性： 在 0–20% 的错误率下，SARA 展示了稳定的策略评估回报。相比之下，基准模型（Preference Transformer, PT+ADT, DPPO）表现出显著退化，随着错误率增加，某些数据集上的性能下降高达 73%。
统计显著性： 对 24 个任务条件单元进行的 Wilcoxon 符号秩检验确认，SARA 相对于所有基准模型的性能优势具有统计学显著性（ $p < 0.01$ ）。
奖励相关性： 与基准模型相比，在所有噪声率下，SARA 推断的转移奖励与真实环境奖励（作为底层偏好标准的代理）显示出更高的 Pearson 相关性。这表明即使在标签有噪声的情况下，SARA 也能更好地捕捉真实的偏好标准。
消融实验： 去除集合编码（即通过对比学习在单个轨迹对上进行训练）会导致回报显著降低且稳定性变差，这证实了集合层级的聚合对于鲁棒性至关重要。

意义与主张

论文声称 SARA 提供了一个更鲁棒的替代方案，用于标准的基于 BT 的 PbRL 方法，特别是在涉及非专家标注者或标注质量不确定的时间受限场景中。

范式转变： 作者认为，SARA 专注于表示学习和集合共识，而非成对的相对排名，这解决了 BT 模型对噪声和非传递性人类偏好的根本脆弱性。
实际效用： 虽然 SARA 可能不会取代高质量、专家驱动的数据场景中的 BT 模型（在这些场景下 BT 仍能表现良好），但它在标注质量不确定时提供了一个稳定的基准。
通用性： 该框架可以适应多种反馈格式，并且不严格要求成对数据，允许从更大的池中使用偏好样本的子集。

作者对自己的主张保持谦逊，承认 SARA 并不保证传递性偏好排序（这是人类偏好的一种已知局限），且其仅限于 D4RL 环境，限制了泛化性。他们将 SARA 定位为而非 BT 的普遍替代品，而是针对现实、多噪偏好学习场景中实现鲁棒性所必需的演进。