💻 computer science

Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning

本文介绍了 VOTP，这是一个利用视频基础模型（Video Foundation Models）和最优传输（optimal transport）来从极少的人类反馈中生成高保真伪标签的半监督框架，从而为离线基于偏好的强化学习实现高效且鲁棒的奖励学习。

原作者： Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人完成一项复杂的任务，比如打开抽屉或在行走时不绊倒。在机器人领域，机器人需要一个“奖励系统”来让它知道自己做得对不对。通常，人类工程师必须费力地编写代码来告诉机器人：“做得好，你的手臂向上移动了，”或者“做得不好，你掉落了物体。”这就像是在尝试为一个从未烹饪过的菜肴编写食谱；这很难，而且你可能会写错指令。

为了解决这个问题，科学家们使用了基于偏好的强化学习 (Preference-Based Reinforcement Learning, PbRL)。与其编写代码，不如给机器人看两段它执行任务的视频，然后问人类：“哪一个看起来更好？”机器人会从这些选择中学习。

问题所在：
要求人类观看视频并挑选出“更好”的一个既缓慢又昂贵。为了教好一个机器人，你可能需要进行数千次这样的比较。这就像是通过不断在孩子骑自行车每晃动一下就停下来问他们，“刚才那样好吗？”来教孩子骑车一样。这太慢了。

解决方案：VOTP
这篇论文介绍了一种名为 VOTP（基于视频的最优传输偏好）的新方法。把 VOTP 想象成一个聪明的教学助手，它能帮助你在极少的人类提问下教会机器人。

它是如何工作的，我们用一个简单的类比来说明：

1. “智能之眼”（视频基础模型）

首先，VOTP 使用了一个预训练的“智能之眼”（视频基础模型）。想象一下，这只眼睛已经观看了数百万小时的人类视频——人们跳舞、烹饪、奔跑和玩耍。因为它见过这么多，所以它理解什么是“好的动作”，即使它从未见过机器人。它可以将一段机器人运动的视频转化为一个数学上的“指纹”，捕捉动作的本质。

2. “媒人”（最优传输）

这是神奇的部分。

设定： 你提供极少量的示例（例如 10 对视频），在这些示例中，人类已经说过：“视频 A 比视频 B 好。”
海量数据： 你同时还拥有大量的未标记视频（数千对），这些视频还没有人对它们发表过看法。
媒人工作： VOTP 使用了一个名为最优传输 (Optimal Transport) 的数学工具。想象一下，你有一堆来自 10 个人类示例的“好”指纹，和一堆来自“坏”示例的指纹。现在，你还有一大堆来自未标记视频的“未知”指纹。
连接： 最优传输充当了一个超级高效的媒人。它观察一个“未知”视频，并询问：“这个视频看起来最像我那 10 个经人类认可的视频中的哪一个？”它不仅仅是猜测；它会计算出将未知视频与已知视频进行连接的最佳方式，其依据是它们指纹之间的相似程度。

3. “推理”（伪标签）

一旦媒人将一个未知视频与一个已知的“好”视频连接起来，VOTP 就会说：“如果这个未知视频看起来像人类喜欢的那个，那么这个未知视频也一定是好的！”它会自动为那些你没时间观看的数千个视频分配一个标签（即“伪标签”）。

4. 结果

现在，与其通过仅有的 10 个人类示例来教机器人，机器人可以同时从 10 个人类示例加上数千个自动标记的示例中学习。机器人学习得更快、更好，尽管你只请人类帮了极小的忙。

这篇论文的发现

作者在机器人行走（运动控制）和机器人移动物体（操控）的任务上测试了该方法。他们还在实验室里用一个真实的机器人手臂进行了测试。

更少的人力工作： VOTP 仅需极少量的人类标签（有时仅需 10 个）就能达到顶尖水平。
优于其他方法： 它击败了其他试图实现相同目标的算法，这些算法通常需要数百或数千个标签才能达到类似的结果。
鲁棒性： 即使光照发生变化，或者背景中有干扰物（比如机器人身后正在播放电视节目），VOTP 仍然能分辨出什么是好的，什么是坏的。
现实世界： 当他们尝试用真实的机器人手臂去拿起香蕉或打开抽屉时，VOTP 帮助机器人成功的频率远高于那些仅依赖少量人类标签的方法。

简而言之： VOTP 是一种教机器人的方法，通过向它们展示一些人类喜欢的例子，然后利用“智能之眼”和“数学媒人”，让它们在剩下的视频中自行领悟应该做什么。它让人们免于从事标记数千个视频这种枯燥、重复的工作。

技术摘要：基于视频的最优传输用于高效反馈的离线偏好强化学习

问题陈述

强化学习（RL）智能体需要合适的奖励函数来解决决策任务。在现实场景中，手工设计密集且信息丰富的奖励函数具有挑战性，这通常需要大量的仪器化设备（例如运动捕捉、触觉传感器），并存在奖励误设（reward misspecification）的风险，即智能体会利用非预期的捷径。基于偏好的强化学习（PbRL）提供了一种替代方案，通过人类对行为轨迹对的反馈来学习奖励函数。然而，PbRL 的可扩展性受限于高昂的人类标注成本，通常需要数千次查询才能学习到有效的奖励函数。虽然先前的研究探索了半监督学习和元学习以缓解这一问题，但利用人类视觉感知——特别是视频基础模型（ViFMs）的结构化表示空间——来推断未标记数据的偏好，这一潜力仍未得到充分探索。

方法论：基于视频的最优传输偏好 (VOTP)

作者提出了 VOTP，这是一个半监督框架，旨在通过利用来自离线数据集的未标记数据，从极少量的人类偏好标签（例如 10 次查询）中学习有效的奖励函数。该方法主要分为两个阶段：

1. 通过 ViFMs 进行轨迹表示

VOTP 不依赖于原始的状态-动作对，而是将轨迹段建模为短视频剪辑。这些剪辑被嵌入到潜在空间中，使用的是现成的视频基础模型（ViFM），具体为在 HowTo100M 上预训练的 S3D。选择 ViFMs 的动机在于其能够捕捉空间细节和时间动态，从而提供与动作无关（actor-agnostic）、语义丰富且对干扰变量（如光照、视角）具有鲁棒性的嵌入表示，并能泛化到未见的机器人环境。

2. 通过最优传输生成伪偏好标签

VOTP 的核心创新是使用最优传输（Optimal Transport, OT）在 ViFM 潜在空间内对已标记和未标记的片段对进行对齐，以生成伪标签。

设置： 令 $L$ 为具有已知偏好关系（由反对称矩阵 $R$ 编码）的已标记片段集合， $U$ 为未标记片段集合。
最优传输计划： VOTP 计算一个 OT 计划 $\mu^*$ ，使潜在空间中经验度量之间的传输代价（欧几里得距离或余弦距离）最小化。该计划 $\mu_{ii'}$ 表示未标记片段 $\bar{\sigma}_{i'}$ 与已标记片段 $\sigma_i$ 相对应的概率。
推理： 未标记对 $(\bar{\sigma}_{i'}, \bar{\sigma}_{j'})$ 的偏好得分通过聚合所有已标记对的偏好来推断，并根据 OT 计划导出的相对对齐强度进行加权：
$S(\bar{\sigma}_{i'}, \bar{\sigma}_{j'}) = \sum_{i,j} R_{ij}(\mu_{ii'}\mu_{jj'} - \mu_{ij'}\mu_{ji'})$
该得分经过归一化和阈值处理，以分配伪标签（ $\tilde{y} \in \{0, 1, 0.5\}$ ）。
奖励学习： 使用原始已标记数据和新生成的伪标记数据来训练奖励函数。在离线 RL 阶段，学习到的奖励函数取代数据集中的原始奖励，以优化策略。

主要贡献

VOTP 框架： 引入了一个半监督框架，该框架利用视频基础模型的潜在空间上的最优传输，自动为未标记的轨迹对分配偏好标签。
反馈效率： 证明了 VOTP 仅需极少量的人类偏好查询（例如 10 个）即可学习到有效的奖励函数和策略，与现有的最先进离线 PbRL 方法相比，显著降低了标注负担。
对视觉变化的鲁棒性： 验证了利用 ViFMs 可以使该方法在存在视觉干扰（光照变化、纹理变化、动态背景）的情况下保持性能，而其他方法可能会在此类情况下表现不佳。
现实世界适用性： 使用 7 自由度 Sawyer 机械臂成功将该框架应用于现实世界的机器人操控任务（举起香蕉、打开抽屉），实现了比基准方法更高的成功率，且仅需极少的人类输入。

实验结果

作者在运动控制（D4RL）、操控（MetaWorld）和现实机器人任务上评估了 VOTP。

基准性能： 在 D4RL 和 MetaWorld 中，在有限的反馈预算下，VOTP 一致优于最先进的离线 PbRL 基准方法（包括 P-IQL、SURF、LiRE 和 FTB）。值得注意的是，在 D4RL 任务中，VOTP 达到了与“Oracle”基准（其可以访问未标记数据的地面真值奖励）相当的性能。
低数据机制： 在改变标签数量的实验中，与基准方法相比，VOTP 需要显著更少的标签即可达到任务奖励水平。在 door-open 任务中，仅使用 10 个标签的 VOTP 就优于使用地面真值奖励训练的策略。
消融研究：
- ViFMs vs. IFMs： 视频基础模型（S3D、VideoCLIP、InternVideo）的表现优于图像基础模型（R3M、CLIP），强调了捕捉时间动态对于偏好学习的重要性。
- OT vs. 相似度： 基于 OT 的伪标签策略显著优于依赖简单相似度度量的基准方法（SIM-individual、SIM-mean、SIM-weighted），证明了传输计划在聚合偏好信息方面的有效性。
- 奖励相关性： VOTP 学习到的奖励函数与地面真值奖励的 Pearson 相关系数明显高于 P-IQL，表明其具有更好的状态和动作空间覆盖能力。
真实机器人评估： 在物理 Sawyer 机器人上，VOTP 在“举起香蕉”任务中实现了 80% 的成功率，在“打开抽屉”任务中实现了 70% 的成功率，优于行为克隆（20-40%）和 P-IQL（50%）。至关重要的是，VOTP 能在奖励输出中正确区分成功和失败的轨迹，而 P-IQL 则会对失败的行为分配高奖励。

意义与主张

本文声称 VOTP 代表了离线基于偏好的 RL 的一种可扩展且实用的解决方案。通过利用预训练视频基础模型的表达能力和最优传输的数学严谨性，该方法有效地弥合了有限人类监督与对广泛奖励覆盖需求之间的差距。作者断言，这种方法在大幅减少人类监督需求的同时，保持了对视觉干扰的鲁棒性，使其成为在奖励工程不可行的复杂现实环境中部署 RL 智能体的可行路径。

作者承认存在由于预训练 ViFMs 可能带来的偏差以及求解大规模数据集的 OT 计划的计算成本等局限性，并建议未来研究方向为近似传输方法。然而，在其实验范围内，该方法被证明在实现高效反馈学习方面非常有效。