🤖 AI

Reinforcement Learning from Cross-domain Videos with Video Prediction Model

本文介绍了 XIPER，这是一种新颖的奖励模型，它通过训练一个跨域视频预测模型将智能体观测映射到专家领域，并利用预测似然作为奖励信号，从而实现了跨越视觉差异显著的领域的专家视频强化学习，进而有效地克服了与智能体外观差异及仿真到现实差距相关的挑战。

原作者： Zhao Yang, Xinrui Zu, Jacob E. Kooi, Thomas Delliaux, He Liu, Shujian Yu, Kevin Sebastian Luck, Vincent François-Lavet

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhao Yang, Xinrui Zu, Jacob E. Kooi, Thomas Delliaux, He Liu, Shujian Yu, Kevin Sebastian Luck, Vincent François-Lavet

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试学习玩一款复杂的电子游戏，比如一场高速赛车或是一个高难度的解谜游戏。通常情况下，你需要一位老师来告诉你该怎么做，并在你做得对时给予你分数（奖励）。但如果你的老师身处一个完全不同的世界呢？

也许你的老师是一个卡通世界里亮橙色的机器人，而你是一个现实模拟环境中的灰色重型机器人。又或者，你的老师是一个真实的机械臂，而你是一个数字模拟体。你可以看到老师的行为，但你无法与他们交流，不知道他们的得分，而且你们看起来也完全不同。这正是 XIPER 这篇论文试图解决的问题。

以下是 XIPXER 的工作原理，通过简单的概念进行拆解：

核心理念：“水晶球”

XIPER 并没有试图强行让两个世界看起来一模一样（这很难），而是使用了一个涉及水晶球（视频预测模型）的巧妙技巧。

翻译器（魔法透镜）： 首先，XIPER 有一个特殊的“翻译器”，它观察你（灰色的机器人）正在做什么，并瞬间将你的动作重新构想为如果你是那个橙色机器人时的样子。它将你灰色、沉重的动作，涂抹成橙色、卡通的风格。
水晶球（预测器）： 接下来，XIPER 有一个“水晶球”，它已经观看了数千小时的橙色机器人的专家视频。这个球非常擅长猜测：“如果橙色机器人现在做动作 X，它下一步会做什么？”
分数（奖励）： 这是神奇之处。XIPER 将你“翻译”后的橙色自我喂给水晶球。
- 如果水晶球说：“噢，我以前见过完全一样的动作！我确切知道接下来会发生什么！”（高置信度），你就会得到高分。
- 如果水晶球感到困惑并说：“我完全不知道接下来会发生什么；这看起来很奇怪。”（低置信度），你就会得到低分。

基本上，机器人通过尝试让水晶球感到“自信”来学习。如果机器人的动作看起来像是专家会做的动作（即使经过了翻译），水晶球就会感到愉悦，机器人也会获得奖励。

实验：证明其有效性

研究人员通过两种主要方式测试了这个想法：

“颜色”测试： 他们让智能体学习一些只有颜色差异（橙色 vs 灰色）的任务。XIPER 在这方面表现出色，击败了其他试图利用“对抗性”（对抗）技术进行学习的方法。
“体型”测试： 他们通过改变智能体的体型（使其变厚）让差异变得更加困难。这就像是一个人类试图通过观看一个腿部更宽的人的视频来学习走路。即便在这种情况下，XIPER 依然取得了成功，而其他方法则失败了。
“真实 vs 虚拟”测试： 他们尝试用一段模拟机器人的视频来教一个真实的物理机械臂。他们还没有训练真实机器人如何移动，但他们检查了 XIPER 是否能观察真实机器人的动作并判断：“是的，这看起来很像专家模拟中的动作。”结果成功了！XIPER 给真实机器人的评分与人类认为的“优秀”动作相吻合。

为什么这很重要

以往的大多数方法都试图强行让学习者和老师使用相同的“视觉语言”，或者使用复杂的对抗算法，而这些算法经常会崩溃。XIPER 与众不同，因为它并不试图改变学习者，它只是将学习者的动作翻译成老师的语言，然后询问：“这看起来像是老师会做的动作吗？”

局限性（论文中所述）

作者坦诚地指出了两点：

随机练习： 为了训练“翻译器”，他们使用了随机的、混乱的动作。如果一个任务需要非常精确且长序列的动作，随机练习可能不足以完美地训练翻译器。
从模拟到现实： 虽然他们展示了该系统可以给真实机器人打出好分数，但他们尚未运行完整的训练过程，即让真实机器人使用这种方法自主学习移动。这是下一步的工作。

简而言之： XIPER 是一个让机器人通过将自己的动作翻译成专家的风格，并检查一个“预测未来”的模型是否认为该行为符合专家标准，从而通过观察一个外观完全不同的专家视频来学习的系统。如果未来看起来很熟悉，机器人就会获得奖励。

技术摘要：XIPER —— 基于视频预测模型的跨领域视频强化学习

1. 问题陈述

本文解决了在智能体（Agent）与演示者（Demonstrator）存在视觉差异领域时，训练强化学习（RL）智能体从专家视觉演示中学习的挑战。这种“跨领域”设置的特征是存在显著的领域间隙，例如智能体的颜色、形态（如身体形状）或模拟到现实（sim-to-real）的差异，使得智能体的外观与专家的外观存在根本不同。

至关重要的是，智能体无法获取以下信息：

地面真值（Ground-truth）奖励信号。
低维状态信息。
专家的动作标签。
智能体领域与专家领域之间的配对数据。

智能体仅能接收来自其自身领域的原始视觉观测，以及一组来自不同领域的无标签专家视频。核心难点在于如何推导出一种有意义的奖励信号，以引导智能体在视觉和动力学差异巨大的情况下重现类专家的行为，且不依赖于不稳定的对抗训练或往往难以扩展的领域不变表示（domain-invariant representations）。

2. 方法论：XIPER

作者提出了 XIPER（跨领域视频预测奖励），该框架通过使用跨领域视频预测似然度作为奖励信号，绕过了对抗训练。该系统的基本假设是：如果一个智能体的行为与专家演示一致，那么其观测结果（一旦被翻译为专家的视觉风格）应当能够被一个在专家视频上训练的模型高度预测。

该方法由两个主要部分组成，两者均在 RL 阶段前进行离线预训练并保持冻结：

领域转换模型 ( $T_\phi$ )：
- 该组件将智能体的观测从智能体领域 ( $A$ ) 映射到专家领域 ( $E$ )。
- 由于缺乏配对数据，它被训练为一个基于神经最优传输（Neural Optimal Transport, NOT）目标的非配对图像到图像转换问题。该目标旨在最小化翻译后的智能体图像分布与专家图像分布之间的距离，同时保留内容。
- 它是在从两个领域预先收集的随机观测上进行训练的。
专家领域视频预测模型 ( $p_\theta$ )：
- 基于 VideoGPT，该生成模型通过在给定过去专家帧序列的情况下预测下一帧专家帧，来学习专家行为的分布。
- 它使用最大似然目标在 $k=16$ 帧的上下文窗口上对专家轨迹进行训练。

奖励信号：
在 RL 训练期间，智能体最近的一段观测序列首先通过 $T_\phi$ 被翻译到专家领域。随后，视频预测模型根据翻译后的上下文计算当前翻译观测的对数似然度。该似然度即作为奖励 ( $r_t^{xiper}$ )：
$r_t^{xiper} = \ln p_\theta(T_\phi(o_t) | T_\phi(o_{t-k:t-1}))$
较高的似候度表明智能体的行为与专家分布相一致。为了鼓励探索，还添加了一个基于不确定性的探索奖励。

RL 智能体（使用 DreamerV3 作为骨干网络）优化该奖励信号以最大化累积回报，从而有效地学习如何采取行动，使其翻译后的观测能够被专家视频模型所预测。

3. 核心贡献

新颖的奖励公式： 引入了 XIPER，这是一种跨领域奖励模型，它允许 RL 智能体仅通过像素观测，从不同视觉领域的无标签专家视频中学习，消除了对地面真值奖励、状态信息或对抗训练的需求。
经验优越性： 证明了 XIPER 在 DMC Color Suite（具有颜色差异的 8 个任务）和 DMC Body Suite（具有形态差异的 3 个任务）中，其表现始终优于竞争基准模型（包括同领域视频预测、对抗模仿学习和领域混淆方法）。
Sim-to-Real 适用性： 通过分析表明，XIPER 仅利用模拟专家视频即可为真实机器人观测生成有意义的奖励信号，成功地在无需人工标注的情况下弥合了奖励生成的模拟到现实（sim-to-real）差距。
消融实验： 对设计选择进行了系统分析，确认了高质量的转换（低 FID）对于精密任务至关重要，并且特定的探索系数 ( $\beta=1$ ) 能产生最稳健的性能。

4. 实验结果

作者在 DeepMind Control (DMC) 系列中的 11 个任务以及一个 Sim-to-Real 数据集（Lynx 机器人）上评估了 XIPER。

性能： XIPER 在 9/12 的 DMC 任务中获得了比所有基准模型更高的回报。
- 在 Color Suite 中，XIPER 优于基准模型，而同领域基准模型（VIPER）虽然表现出一定的泛化能力，但鲁棒性较差。
- 在 Body Suite（形态变化）中，XIPER 显著优于所有基准模型。值得注意的是，对抗性基准模型（XAIL, TPIL-Dv3）表现出学习曲线不稳定和性能不佳的问题，凸显了即使在使用强力 RL 骨干网络时，对抗方法仍具有不稳定性。
奖励质量： 基于似然度的奖励在随机轨迹和专家轨迹上都与地面真值任务奖励表现出强相关性。
转换泛化能力： 仅在随机数据上训练的领域转换模型成功泛化到了分布外（OOD）的专家轨迹，能够准确地将智能体的颜色和形态转换为匹配专家领域的形式。
Sim-to-Real： 在 Lynx 机器人实验中，转换模型成功过滤了现实世界的视觉噪声（电缆、硬件），生成了仿真风格的图像。由此产生的 XIPER 奖励在真实机器人回合中与地面真值任务奖励高度相关，验证了其在奖励生成方面进行 sim-to-real 迁移的潜力。

5. 重要性与主张

本文声称 XIPER 为跨领域视觉 RL 提供了一种可扩展且稳定的对抗模仿学习替代方案。通过利用生成式视频预测和非配对转换，它消除了对领域不变表示的需求，并规避了与 GAN 类训练相关的稳定性问题。

作者强调，他们的方法开启了利用海量在线视频作为专家演示来源的可能性，从而无需繁琐的奖励工程和高成本的领域特定数据采集。尽管目前的工作验证了奖励信号的质量以及智能体在模拟环境中的学习能力，但作者也谦虚地指出，实现物理机器人上的在线 RL 训练并完成闭环仍是未来研究的必要步骤。他们同时承认，仅在随机数据上训练转换模型可能会成为处理需要精确、长程行为的任务时的瓶颈，因此未来的工作可以探索更高级的探索策略或联合优化方法。