🤖 AI

Reward Learning through Ranking Mean Squared Error

本文介绍了用于强化学习的排序回报回归（Ranked Return Regression for RL, R4），这是一种利用排序均方误差损失从人类轨迹评分中推断回报函数的创新型回报学习方法，在提供最小性与完备性形式保证的同时，在机器人基准测试中表现出优于现有基于偏好方法的实证性能。

原作者： Chaitanya Kharyal, Calarina Muslimani, Matthew E. Taylor

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chaitanya Kharyal, Calarina Muslimani, Matthew E. Taylor

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何走路、跑步或拿起一个杯子。在人工智能的世界里（特别是强化学习领域），机器人通过尝试并根据做得好坏获得积分（奖励）来学习。但问题在于：设计一个完美的积分系统是非常困难的。

如果你告诉机器人，“向前移动就获得积分”，它可能会发现一种通过在地面上扭动腿部来获取积分的方法，而无需真正行走。这被称为“奖励误设”（reward misspecification），就像给学生出一道考试题，他们可以通过背诵答案而不是学习知识来作弊。

旧方法：“更好还是更差？”

为了解决这个问题，研究人员开始寻求人类的帮助。人类不再编写代码，而是观察机器人的动作并说：“那次行走比这一次更好。”这被称为基于偏好的学习（Preference-Based Learning）。

把它想象成一场盲测咖啡。你给评委两杯咖啡，并问：“哪一杯更好？”评委选出其中一杯。

问题所在： 这只能给你一个极其微小的信息（一个“是”或“否”）。它并没有告诉你咖啡到底好多少。此外，如果两杯咖啡都很糟糕，评委只能说“它们一样差”，但无法表达出“两者都非常糟糕”。让人类不断进行比较是非常费力的，而且无法捕捉到全貌。

新方法：“给咖啡评分”

一种更新的想法是基于评分的学习（Rating-Based Learning）。与其比较两个事物，不如直接展示给人类看一个事物，并要求他们给出一个分数，比如 1 到 5 星。

优势： 这对人类来说更容易（心理负担较小），且能提供更丰富的信息。1 星评价告诉你会咖啡很糟糕，而 5 星评价则说明咖啡很棒。它捕捉的是“绝对质量”，而不仅仅是“相对质量”。

R4 登场：一位“排名得分”教练

这篇论文介绍了一种名为 R4（用于强化学习的排序回报回归，Ranked Return Regression for RL） 的新方法。把 R4 想象成一位聪明的教练，他使用一种特殊的评分系统来从这些星级评分中学习。

R4 是如何工作的，我们用一个简单的类比来说明：

设定： 假设你有一堆机器人的行走记录。人类已经对它们进行了评分：“差”、“还可以”和“好”。
旧方法 (RbRL)： 之前的方法试图强迫机器人的内部得分去匹配“好”这个桶里的“精确中间值”。这就像是在说：“如果你被评为‘好’，你的得分必须正好是 75。”这忽略了有些“好”的行走仅仅是勉强及格，而有些则是极其出色。它强迫所有的“好”看起来都一样。
R4 方法： R4 使用了一个巧妙的技巧，叫做排序均方误差（Ranking Mean Squared Error, rMSE）。
- 它不强迫得分去撞某个特定的数字，而是询问：“如果我拿一个‘差’的行走、一个‘还可以’的行走和一个‘好’的行走，你能按顺序排列它们吗？”
- 它使用了一个特殊的数学工具（一个“软排序器”），这个工具可以由计算机进行调整。它查看机器人对这三次行走的预测得分，并询问：“你是否把‘好’的那次排在了‘差’的那次前面？”
- 如果机器人排错了顺序，系统会轻轻地推动机器人的“大脑”，使其修正排名。

为什么这更好？

没有人为的界限： 你不需要决定“还可以”在哪里结束以及“好”在哪里开始。你只需要说：“这个比那个好。”
保持多样性： 它允许一个“好”的行走得分为 90 或 95。它不会强迫它们全部变成 85。这保留了表现之间的自然差异。
灵活性： 如果人类想要增加一个新的类别，比如“超级好”，系统也可以处理，而不会崩溃。

证明：理论与现实

作者不仅猜测这行得通，还进行了数学证明。

保证： 他们证明了，如果人类的评分符合逻辑（即“好”的行走确实比“差”的行走要好），那么 R4 保证能找到最符合这些评分的最佳奖励系统。这是解决这个谜题的最有效方式，不会遗漏任何有效的解。

实验：机器人与人类

团队通过两种方式测试了 R4：

模拟人类： 他们使用计算机程序来模拟人类对机器人行走进行评分。R4 始终比旧方法能更好地教导机器人移动得更快、更好。
真实人类： 他们雇用了 8 名真实的人在屏幕上对机器人的行走进行评分。
- 结果： 尽管人类之间存在很大差异（有些人打 4 星，有些人打 12 星；有些人很严格，有些人很宽松），R4 仍然比旧方法能更好地教导机器人运动。
- 感受： 人类反馈说，对机器人进行评分非常容易，感觉并不费力（低认知负荷）。

总结

该论文认为，R4 是一种更聪明、更灵活且经过数学证明的、利用人类评分来教导机器人的方法。 我们不再强迫人类玩“这个比那个好”的游戏，而是让他们给出简单的评分，然后 R4 利用一种特殊的排序技巧将这些评分转化为机器人的完美老师。它表现得更好，能很好地处理人类的差异性，并且易于人类使用。

技术摘要：通过排序均方误差进行奖励学习 (R4)

问题陈述
将强化学习 (RL) 应用于现实世界问题时，经常受到奖励设计困难的瓶颈限制。人工奖励工程通常是一个易错的、试错的过程，可能导致奖励误设（reward misspecification），即智能体学习到并非预期的行为。虽然奖励学习（从人类反馈中推断奖励）提供了一种替代方案，但现有方法仍存在局限性。基于偏好的强化学习 (PbRL) 依赖于二元比较，其样本效率较低，且仅提供相对信息，无法进行绝对质量评估。相反，最近的基于评分的强化学习 (RbRL) 方法允许人类分配离散的多类评分（例如，“差”、“中立”、“好”），提供了更丰富的反馈。然而，现有的 RbRL 方法（例如使用交叉熵损失的方法）对奖励建模施加了严格的约束，例如要求明确的类别边界，并强制同一评分类别内的轨迹具有相同的预测回报，从而忽略了类内多样性。

方法论：用于强化学习的排序回报回归 (R4)
作者提出了 R4，这是一种新型的基于评分的强化学习算法，它利用排序均方误差 (rMSE) 损失函数，从“轨迹-评分”对中学习奖励函数。

核心机制： R4 将人类提供的离散评分视为序数目标。在训练期间，算法从每个评分类别中采样一条轨迹。它计算这些轨迹在当前奖励模型 ( $\hat{r}_\theta$ ) 下的预测折扣回报。
可微排序： R4 并非将评分视为独立的分类标签，而是使用了一种可微排序算子（具体为 Blondel 等人 2020 年提出的软秩/soft ranks）来对预测回报进行排序。这会产生一个与采样轨迹相对应的软秩向量 ( $\hat{R}$ )。
损失函数： 其目标是最小化软秩与人类提供的评分类别 ( $c$ ) 之间的均方误差：
$L_{rMSE} = \frac{1}{n} \sum_{i=0}^{n-1} (\hat{R}(\tau_i) - c(\tau_i))^2$
这种方法允许梯度通过排序操作进行传播，使奖励模型能够调整自身，使得预测回报的相对顺序与序数人类评分保持一致。

主要贡献

算法创新： 引入了 R4，它利用新型 rMSE 损失函数，从序数评分中训练奖励函数，而无需定义明确的类别边界。
理论保证： 作者证明，在温和的假设下（确定性人类奖励、假设类覆盖以及可微排序近似硬秩），rMSE 目标的解集既是极小且完备的。这意味着满足 rMSE 损失的奖励函数集合，等同于完美满足人类评分所施加的序数约束的奖励函数集合。相比之下，作者证明了人类真实的奖励函数并不保证在先前 RbRL 目标的解集中。
实证验证： R4 在模拟评分和人类用户研究中，在离线和在线设置下均得到了验证。在机器人基准测试（OpenAI Gym 和 DeepMind Control Suite）中，它始终能匹配或超越现有的基于评分的方法 (RbRL) 和基于偏好的方法 (PEBBLE, SURF, QPA)。
人类研究： 一项经过伦理审查、由 8 名参与者完成的研究表明，尽管参与者的评分行为存在显著的个体差异，R4 仍然优于 RbRL。参与者报告的认知负荷较低（平均 NASA TLX 得分为 2.05/7），支持了基于评分反馈的可行性。

结果

离线设置： 在 OpenAI Gym 领域（Reacher, Inverted Double Pendulum, Half Cheetah）中，使用 R4 训练的奖励函数在用于训练 Soft Actor-Critic (SAC) 智能体时，与 RbRL 相比，实现了统计学上更快的学习速度和更高的最终回报。
在线设置： 在六个 DeepMind Control Suite 环境中，R4 训练的智能体在三个环境中比所有基准方法学习得更快，并在四个环境中实现了更高的最终回报。
人类反馈： 在用户研究中，即使参与者使用了变化的评分类别数量并表现出类别不平衡，R4 在 Reacher 和 Hopper 任务中仍实现了比 RbRL 更快的学习速度和更高的回报。
消融实验： 研究确认了 R4 在不同的评分区间数量下保持稳定，而 RbRL 的性能会随着区间数量偏离最优范围而下降。

意义
本文声称 R4 代表了奖励学习领域的重要进展，因为它提供了一种既有理论依据又具实际效力的有效方法。通过利用人类评分的序数特性，R4 避免了以往基于评分方法（如固定边界和类内同质性）的限制性假设。其关于极小性和完备性的理论证明为该算法的设计提供了严密的辩护，同时其实证结果（包括人类研究）展示了其对现实世界反馈变异性的鲁棒性，以及与基于偏好的替代方案相比降低人类评分者认知负担的能力。