🤖 machine learning

Supervised Reward Inference

本文提出了监督奖励推理（Supervised Reward Inference, SRI），这是一个监督学习框架，该框架在理论上实现了渐近贝叶斯最优性，并且通过从多样化且次优的人类行为中推断奖励，在不对行为模型或环境进行限制性假设的情况下，在实证上优于现有方法。

原作者： Will Schwarzer, Jordan Schneider, Philip S. Thomas, Scott Niekum

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Will Schwarzer, Jordan Schneider, Philip S. Thomas, Scott Niekum

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对论文《监督式奖励推理》（Supervised Reward Inference）进行的解释。

核心问题：那个“糟糕的老师”

想象一下，你正在试图教一个机器人如何冲泡一杯完美的咖啡。通常情况下，你会告诉机器人什么是“好咖啡”（即奖励）。但有时，人类并不擅长解释这一点。

混乱的人类： 有时，人类试图向机器人展示如何冲泡咖啡，但却洒了水、用了错误的豆子，或者只是含糊地挥手示意“在那儿”。
旧方法（“读心术”）： 以前的方法试图猜测人类为什么会犯这些错误。它们假设人类试图做到完美，只是由于“噪声”干扰或“有限”的脑力才导致了失误。它们试图逆向工程人类的思想过程。
- 缺陷： 如果人类实际上是在通过大幅度的手势来传达目标（比如指着咖啡机但不去碰它），旧方法就会感到困惑。它们试图将这种混乱的行为强行塞进一个“虽然笨拙但仍追求完美”的框架里，这往往会导致机器人学到错误的东西。

新方案：SRI（“模式匹配者”）

作者提出了一种名为**监督式奖励推理（Supervised Reward Inference, SRI）**的新方法。

SRI 不再去试图猜测人类为什么犯错，而是将这个问题视为一个简单的匹配游戏。它认为：

“我们不需要理解人类的大脑。我们只需要一大堆这样的例子，其中包含：这是混乱的行为，而这里是正确的目标。”

类比：“食谱与错误”手册
想象你有一本食谱。

旧方法： 你试图解读一位把吐司烤焦了的厨师留下的潦草笔记，并根据他们握刀的方式来推测原本的食谱应该是怎样的。
SRI 方法： 你有一本书，每一页都有两列。
- A 列： 厨师混乱尝试的照片（洒了牛奶、烤焦的吐司、挥舞的手）。
- B 列： 他们想要制作的那道菜的实际、完美的食谱。

SRI 是一个超级聪明的学生，它观察成千上万个这样的页面。它学会了观察混乱的照片（A 列），并瞬间预测出完美的食谱（B 列）。它不在乎厨师为什么洒了牛奶；它只是学会了这种模式：“当手像这样挥动时，目标通常是那个。”

它是如何工作的（“翻译官”）

论文描述了一个像翻译官一样的两步过程：

任务编码器（“总结者”）： 它观察一系列混乱的演示（机器人手臂移动不佳的视频），并将它们压缩成一个单一的“任务 ID”或“摘要”。这就像是将一段 10 分钟的笨拙舞蹈视频浓缩成一个注脚：“舞蹈：恰恰舞”。
奖励模型（“翻译官”）： 它获取该“任务 ID”和特定的时间点（状态），然后说：“啊，在这种特定的舞蹈动作中，如果在这里抬起腿，奖励就会很高。”

为什么它意义重大

论文声称取得了三大胜利：

1. 它能处理“任意形式”的混乱
如果人类行为过于古怪，旧方法就会失效。而 SRI 即使在以下情况也能正常工作：

有噪声的： 随机移动。
“超能力”式的： 故意朝着错误的位置移动，以示意正确的方向。
手势式的： 仅仅是指向目标而不执行任务（比如指着咖啡机但不去冲泡）。
结果： SRI 从这些奇怪的手势中推断目标的能力，几乎可以与看到完美演示时的效果相媲美。

2. 它在理论上是完美的（从长远来看）
作者通过严密的数学证明，如果给 SRI 足够的数据，它将成为“最佳猜测者”。

类比： 想象一名试图破案的侦探。如果拥有足够的线索，SRI 就是那位最终能找到唯一符合所有证据的逻辑解的侦探，无论线索多么混乱。它在数学上被证明是“贝叶斯最优”（Bayes-optimal）解（即统计学上的金标准）。

3. 它适用于真实的机器人
他们在真实的机器人任务（如机器人手臂抓取物体或捡起方块）上测试了该方法。

即使当机器人接收到极差的、次优的演示（例如人类手臂在目标周围做圆周运动）时，SRI 也能识别出目标并教会机器人成功完成任务。
它比之前的“读心术”方法表现得更好，尤其是在人类行为非常奇怪的情况下。

“秘诀”：数据胜过假设

这篇论文的核心哲学是思维方式的转变：

旧方法： “让我们建立一个复杂的模型来模拟人类是如何思考的，并希望它是正确的。”
SRI 方法： “让我们停止猜测人类是如何思考的。我们只需给计算机喂入海量的‘行为 + 正确目标’数据集，让计算机直接学习其中的模式。”

这就像是试图逆向工程一个黑盒，与直接观察输入和输出直到模式变得清晰明了之间的区别。

总结

监督式奖励推理（SRI） 是一种通过观察“混乱尝试”与“正确答案”配对的库，来教机器人理解人类目标的方法。它不再试图扮演心理学家去弄清楚人类为什么犯错，而是作为一个超级学习者，识别出这种模式：“这种特定类型的混乱通常意味着这个特定的目标。”

论文证明了这种简单的、数据驱动的方法不仅更容易构建，而且在数学上更优越，并且比以往复杂的、依赖于假设的方法更具鲁棒性。它可以在真实机器人上运行，即使人类在演示任务时表现得很糟糕。

技术摘要：监督奖励推断 (Supervised Reward Inference, SRI)

问题陈述

传统的奖励推断方法（如逆强化学习，IRL）通常依赖于一个假设，即人类演示是根据特定的、已知的行为模型（例如：噪声最优性、有限理性）生成的。然而，现实世界中的人类行为往往是次优的，这可能是由于规划不力、执行错误，或是仅用于传达目标的有意非最优手势。当假设的行为模型发生误设时，现有方法难以处理，会导致错误的奖励推断。虽然此前已有研究尝试从数据中学习行为模型，但这些方法往往面临局限性，例如受限于表格型设置，或无法有效处理任意程度的次优行为。

核心问题在于：如何在不依赖于对底层行为模型进行强假设（且这些假设可能并不正确）的情况下，从广泛的人类行为中推断出奖励函数——包括那些具有任意次优性或旨在进行通信而非优化的行为。

方法论：监督奖励推断 (SRI)

作者提出了监督奖励推断 (SRI)，这是一个将奖励推断重新定义为监督学习问题的框架。SRI 不再通过学习一个将奖励映射到动作的行为模型并对其进行求逆，而是直接学习从行为轨迹到奖励函数的映射，该映射利用了一组包含行为与已知地面真值奖励的配对数据集。

核心框架

给定一个任务数据集，其中每个任务 $k$ 包含：

一组行为轨迹 $\{\tau_{k,i}\}$ （其中可能具有任意的次优性）。
一组从同一任务中采样的状态-奖励对 $\{(s_{k,j}, r_{k,j})\}$ 。

SRI 训练一个神经网络，用于在给定状态 $s$ 的条件下，预测基于行为轨迹的奖励 $r(s)$ 。其架构由两个主要部分组成：

任务编码器 ( $f_{\theta_f}$ ): 将一组行为轨迹编码为一个固定维度的任务嵌入 $\psi$ 。在实验中，它利用 Transformer 进行轨迹编码，并使用 Set Transformer 进行多条轨迹的聚合。
奖励模型 ( $g_{\theta_g}$ ): 以任务嵌入 $\psi$ 和状态 $s$ 作为输入来预测奖励值。

训练目标是最小化数据集中预测奖励与地面真值奖励之间的均方误差：
$\arg \min_{\theta_f, \theta_g} \mathbb{E} \left[ L \left( g_{\theta_g}(S, f_{\theta_f}(\{\tau_n\})), R(S) \right) \right]$

理论保证

论文提供了一个证明，表明 SRI 是渐近贝叶斯最优的 (asymptotically Bayes-optimal)。在标准假设（紧致的状态/动作空间、有界的收益以及足够的模型容量）下，随着数据集规模趋于无穷大，推断出的奖励函数将一致收敛于给定行为下的后验均值。因此，基于该推断奖励得到的优化策略，将收敛于在真实奖励后验分布下使期望收益最大化的策略。对于任何固定的行为类，只要部署时的行为分布与训练分布一致，该结论均成立。

扩展

作者展示了这种监督推断模板可以推广到其他意图推断任务：

监督目标推断 (Supervised Goal Inference, SGI): 直接从行为中预测潜在的目标表示。
监督动作推断 (Supervised Action Inference, SAI): 直接从行为和状态中预测最优动作。

核心贡献

新颖框架： 引入了 SRI，通过将奖励推断视为直接的监督学习任务，消除了对显式行为建模的需求。
理论最优性： 证明了在标准假设下，SRI 在奖励推断和模仿学习方面实现了渐近贝叶斯最优性，且无需了解行为模型。
对次优性的鲁棒性： 证明了 SRI 可以从高度次优、带有噪声甚至是非演示性行为（例如：从未完成任务的姿态手势）中推断出准确的奖励，而传统的 IRL 方法在这些情况下会失效。
泛化能力： 将该框架扩展到了监督目标推断 (SGI) 和监督动作推断 (SAI)，展示了监督意图推断方法的通用性。

实验结果

作者在两个不同的基准测试上评估了 SRI：

1. Meta-World 机器人任务（连续控制）

设置： 任务包括“到达 (Reach)”和“拾取-放置 (Pick-Place)”，目标分布是随机的。
行为类别： 系统在五类演示上进行了测试，包括噪声动作、系统性偏差偏移，以及“手势 (Gesture)”演示（即机器人指向目标但从未执行拾取或放置动作）。
发现：
- 在仅使用“手势”演示的情况下，SRI 在 Pick-Place 任务上达到了接近天花板的性能（0.822 归一化目标接近度），而所有模仿学习基准方法（BC, GAIL, AIRL）均失败（性能 $\le 0$ ）。
- SRI 展示了对任意次优性的鲁棒性，即使在演示高度嘈杂或存在系统性偏差时，也能推断出接近最优的策略。
- 性能随数据量平滑扩展，表现出良好的数据效率。

2. Shah 等人 (2019) 的 Gridworld 基准测试（表格型）

设置： 一个对比 SRI 与先前针对任意次优行为方法（包括 Shah 等人 (2019) 中的“逆规划 (Inverse Planning)”算法）的表格型基准测试。
发现：
- SRI（经适配以接收策略输入）在所有演示者类别（最优、天真、复杂、短视等）及其噪声变体中均达到了接近天花板的性能。
- SRI 优于或匹配了最先进的 IP 方法，这表明直接学习逆映射（策略到奖励）比学习一个规划器并对其求逆更为有效，即使是在表格型设置中也是如此。

意义与主张

本文声称，SRI 代表了从行为模型工程向数据驱动监督学习的范式转变。通过将行为视为意图的指示而非优化的尝试，SRI 绕过了与模型误设相关的脆弱性。

作者强调：

SRI 是一个“简洁且强大的解决方案”，它利用了标准的监督学习技术。
它允许利用表示学习和预训练模型（如 Transformer）的进展，而无需设计特定的强化学习归纳偏置。
只要在训练期间有足够的任务索引奖励监督，该方法即可普遍适用于任何固定的行为分布。
虽然目前的实验假设可以访问模拟器奖励进行训练，但该框架旨在兼容未来通过稀疏标注或偏好进行奖励估计的扩展。

论文得出结论：当提供充足数据时，较少带有偏见的学习算法在奖励推断方面可以优于带有更多偏见的基于模型的算法，这支持了“苦涩的教训 (bitter lesson)”——即扩展数据和计算量通常比设计手工假设能产生更好的结果。