💻 computer science

PAVXploreRL: Physical-Action-Visual World Model Reinforcement Learning with Action Exploration

PAVXploreRL 是一个强化学习框架，它通过奖励驱动的训练和噪声驱动的分布外动作探索，显式地优化物理合理性（Physical Plausibility）、动作遵循度（Action Adherence）和视觉保真度（Visual Fidelity）（即 PAV）目标，从而通过增强动作条件世界模型，实现比现有的仅基于专家的（expert-only）方法更优越的泛化能力和更可靠的策略评估。

原作者： Han Wang, Zijun Wang, Shuoshuo Xue, Rui Cao, Fenjiao Cheng, Xiaodang Liang, Roy Ka-Wei Lee

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Han Wang, Zijun Wang, Shuoshuo Xue, Rui Cao, Fenjiao Cheng, Xiaodang Liang, Roy Ka-Wei Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人完成一项复杂的任务，比如堆叠积木或倒饮料。你不能只是让机器人在你家里跑上个一百万遍来学习；否则它会弄坏东西、会累，或者耗时太久。相反，科学家们构建了“世界模型”（world models）。把它们想象成超级智能的游戏引擎，能够精准预测如果机器人的手臂以某种方式移动，下一步会发生什么。这就像拥有一个能展示机器人动作未来的“水晶球”，而无需使用真实的机器人。但棘手之处在于，为了让这些水晶球发挥作用，它们必须是完美的。它们需要遵循物理定律（这样物体就不会飘走）、需要完全听从给定的指令（如果你说“向左移动”，它不应该向右移动），并且它展示的视频需要看起来足够真实，以便人类理解。如果模型在这些方面出了错，就像是一个告诉你开车冲下悬崖的 GPS，因为它忘记了重力的存在。

这类模型面临的一个大问题是，大多数模型仅是在“完美”的示例上进行训练的——即机器人完美完成任务的视频。它们非常擅长模仿那些特定的动作，但如果你要求它们尝试一些略有不同的动作，或者让它们犯个错误，它们往往会产生荒诞的幻觉。它们还没有学会如何处理现实世界中那些混乱且不可预测的部分。这篇题为 PAVXploreRL 的论文介绍了一种新的训练世界模型的方法，旨在让它们变得更强韧、更聪明、更可靠。研究人员构建了一个系统，它不仅仅是死记硬背完美的视频；它通过在安全的模拟环境中主动尝试“奇怪的”或不完美的动作来进行练习。通过奖励模型表现出符合物理规律、听从指令以及画面清晰的行为，他们创造了一个工具，使其在预测机器人实际行为（即使在事情不按计划发展时）方面表现得更好。

PAVXploreRL 冒险之旅

该论文的作者 Han Wang 及其团队致力于解决我们如何教机器人“想象未来”的一个特定弱点。他们将解决方案称为 PAVXploreRL，这个名字代表了 Physical（物理）、Action（动作）和 Visual（视觉）Exploration（探索）强化学习。可以把它想象成一个机器人想象力的训练营。

在过去，训练这些模型就像是通过只给学生看答案解析来教学。模型会观察成千上万段机器人完美执行任务的视频，并试图模仿它们。问题在于，如果你要求模型想象机器人做一些略微不同的事情——比如移动得快一点，或者掉落一个物体——它往往会失败，生成的视频看起来很假或者违反了物理定律。研究人员认为，要打造一个真正有用的“水晶球”，模型需要理解三个特定的目标，他们称之为 PAV 目标：

物理合理性 (P)： 视频必须遵守物理定律。如果机器人掉落一个杯子，杯子必须向下掉，而不是向上飘。
动作依从性 (A)： 视频必须完全按照机器人的指令行事。如果指令是“抓取红块”，视频不应该显示机器人抓取蓝块。
视觉逼真度 (V)： 视频必须看起来清晰、真实，而不是模糊或怪异，以便人类能够信任所见之物。

论文指出，以往的方法之所以失败，是因为它们只关注“分布内”（In-Distribution, ID）数据——这意味着它们仅在完美的专家视频上进行训练。它们没有教会模型当事情出错或机器人尝试新事物时会发生什么。为了解决这个问题，PAVXploreRL 引入了一种“爱玩”的训练方法。与其仅仅复制完美的视频，该系统会故意将这些完美的视频搞得“乱七八糟”。它向机器人的指令中加入“噪声”，从而创造出**分布外（Out-of-Distribution, OOD）**动作。这些就像是“如果……会怎样”的情景：如果机器人移动得太快会怎样？如果它滑倒了会怎样？

奇迹在于，该系统不需要真实的“混乱场景”视频来学习。它使用一个特殊的“裁判”（基于一个名为 VJE-PA2 的模型），这个裁判可以观察预测的未来并判断：“嘿，这看起来不符合物理规律，”或者“这与指令不符。”系统随后使用这些分数作为奖励，类似于电子游戏根据好球或好动作给予积分。如果模型预测的未来看起来真实且遵循规则，它就会获得高分。如果它预测了一个漂浮的杯子或一个忽略指令的机器人，它就会得到低分并重新尝试。

研究结果非常令人振前。研究人员在两个不同的机器人数据集上测试了他们的新方法：Agibot（双手机器人）和 Droid（单手机器人）。他们发现，经过这种特殊训练后，他们的模型始终优于标准模型。平均而言，他们在各项基准测试中看到了 5.6% 的提升。这听起来可能很小，但在机器人训练领域，这是一个显著的飞跃。新模型在保持物体落地（物理合理性）、遵循指令（动作依从性）和视觉逼真（视觉逼真度）方面表现得更好。

或许最重要的发现是该模型如何处理“策略评估”（policy evaluation）。这是一种高级说法，意思是：“我们能否在让机器人进入现实世界之前，用这个模型来测试机器人的‘大脑’是否优秀？”论文表明，旧模型往往过于自信，高估了机器人的表现。它们可能认为机器人完成任务的成功率是 90%，而实际上只有 60%。然而，PAVXploreRL 提供了更诚实、更可靠的估计。它不会被机器人对成功的“白日梦”所迷惑；它会如实告知实际可能发生的情况。

团队还进行了“消融实验”（ablation studies），这就像拆解一台机器来观察哪些齿轮在出力。他们通过移除训练配方中的不同部分（例如专注于机器人身体的“具身化奖励”或防止模型仅预测一张静止完美图像的“静态正则化”）来测试系统。他们发现，配方中的每一个部分都是必要的。当他们移除检查物理合理性的部分时，模型的表现变差了。当他们移除处理混乱的“分布外”动作的部分时，模型变得不再可靠。这表明，所有这些元素的结合才是系统如此成功的关键。

最后，PAVXploreRL 不仅仅是为了制作更漂亮的机器人视频。它是为了建立一种更安全、更可靠的训练机器人的方式。通过教这些模型去探索“如果……会怎样”的情景，并奖励它们表现出物理准确性和服从性，研究人员创造了一个工具，可以帮助机器人在现实世界中更快、更安全地学习。论文指出，这种方法可能是具身智能（Embodied AI）迈出的重要一步，使得在无需在真实实验室里撞毁一百万次的情况下训练复杂机器人成为可能。虽然论文并未声称解决了机器人领域的每一个问题，但它为构建我们可以信任的机器人模拟系统提供了一个有力且稳健的进展。

技术摘要：PAVXploreRL

问题陈述

动作条件世界模型（Action-conditioned world models）对于具身智能至关重要，它们作为可扩展的策略评估器，能够减少对高昂现实世界展开（rollouts）的依赖。然而，现有方法面临两个主要局限性：

PAV 目标优化不足： 当前模型过度依赖像素级重建损失或未经适配的视觉语言模型（VLM）评分。它们未能显式地优化三个关键目标：物理合理性（Physical Plassibility，即遵循物体恒常性和接触等现实世界动力学）、动作依从性（Action Adherence，即忠实遵循控制信号）以及视觉保真度（Visual Fidelity，即保持高质量、可解释的输出）。
对分布外（OOD）动作的泛化能力差： 大多数模型仅在来自人类专家（成功轨迹）的分布内（ID）动作-视频对上进行训练。因此，它们在处理分布外（OOD）动作（次优或未见过的策略）时表现挣扎，并且由于在训练期间缺乏相应的地面真值（ground-truth）视频监督，往往会高估这些动作的成功率。

方法论

作者提出了 PAVXploreRL，这是一个旨在通过动作探索来增强动作条件世界模型的强化学习（RL）框架，通过显式优化 PAV 目标来实现。

1. 模型架构与预训练

该框架构建在最先进的视频扩散模型（Wan2.2-TI2V-5B）之上，并进行了以下增强：

动作条件化： 通过自适应层归一化（AdaLN）将动作嵌入注入时间路径。
长程上下文： 采用“帧包”（Framepack）策略，以不均匀的方式采样并压缩历史帧，从而高效捕捉长程时间依赖关系。
监督微调（SFT）： 模型首先在机器人数据集（Agibot 和 Droid）上进行训练，使用重建 MSE 损失来建立预训练基准。

2. 奖励函数设计

其核心创新是一个在 ID 和 OOD 轨迹上均可运行的统一奖励函数 $R$ 。它结合了五个组件来针对 PAV 目标：

像素级奖励 ( $r_{pixel}$ )： 使用 MSE、SSIM 和 LPIPS 来衡量低级图像相似度（仅适用于具有地面真值的 ID 数据）。
VJEPA 编码器奖励 ( $r_{VJEPA-E}$ )： 利用预训练的 VJEPA-2 编码器来衡量预测帧与地面真值帧之间的高级物理一致性（仅限 ID）。
VJEPA 预测器奖励 ( $r_{VJEPA-P}$ )： 使用动作条件的 VJEPA-2 预测器，根据起始帧和动作来估计未来的潜在表示。这使得在没有地面真值视频的情况下也能进行 OOD 评估，通过将世界模型的输出与 VJEPA 预测器的潜在预测进行比较来实现。此外，还添加了一个静态运动正则化项，以防止模型倾向于选择静态的高质量预测。
聚焦具身性的奖励 ( $r_{emb}$ )： 在原始帧和“聚焦具身性”帧（通过分割仅保留机器人特定区域）上计算 VJEPA 奖励，以更好地评估动作依从性和机器人运动的一致性。
视觉保真度奖励 ( $r_{VF}$ )： 一种集成感知、统计和时间一致性度量（如 NIQE、SSIM、时间一致性）的无参考指标，用以确保视觉质量，这对于缺乏配对视频的 OOD 分支尤为重要。

最终奖励是这些组件的加权组合，根据采样概率 $\alpha_{OOD}$ 在 ID 分支（使用地面真值指标）和 OOD 分支（使用基于预测器的指标）之间进行切换。

3. 强化学习流水线

该框架采用了 Diffusion-NFT 方法进行高效微调：

轨迹生成： 在展开过程中，模型根据历史帧和动作生成未来的帧。
奖励加权： 计算标量轨迹级奖励。训练目标是一个奖励加权的去噪损失，它构建隐式的正向（奖励对齐）和负向（次优）目标，以引导策略更新。
参数更新： 在 RL 阶段仅更新动作编码器和 LoRA 参数，以在适应新奖励信号的同时保留预训练模型的能力。

4. VJEPA-2 适配

为了作为奖励评估器，VJEPA-2 在机器人数据上进行了重训练，并进行了特定修改：

双输入： 它同时处理原始图像和聚焦具身性的（分割后的）图像。
多步预测： 训练分为两个阶段。阶段 1 进行单步预测。阶段 2 引入整个动作块（action chunk）的自回归展开及累积损失，使模型能够仅凭起始帧和一系列动作来预测未来帧，从而提高长程一致性。

主要贡献

统一的奖励函数： 提出了一种显式优化物理合理性、动作依从性和视觉保真度的奖励函数，超越了简单的像素重建。
具备 OOD 探索能力的 RL 框架： 开发了一个能够共同利用 ID 动作-视频对和噪声驱动的 OOD 动作探索的 RL 框架，且无需为 OOD 分支提供配对的视频监督。
改进的策略评估： 证明了 PAVXploreRL 能持续改进预训练世界模型，实现更可靠的策略评估，并相比仅基于专家的基准模型，有效降低了高估偏差。

实验结果

实验在 Agibot（双手）和 Droid（单手）数据集上进行。

定量性能： PAVXploreRL 在所有基准测试中均一致优于预训练基准，实现了平均 5.6% 的增益。
- 在 Agibot 验证集上，RL 模型实现了 21.20 的 PSNR（对比预训练模型的 20.52）、0.812 的 SSIM，并将 LPIPS 降低至 0.127。
- 在 Droid 验证集上，RL 模型实现了 21.71 的 PSNR 和 0.828 的 SSIM。
定性改进： 视觉结果表明，在长程展开中，物理合理性、动作依从性和视觉真实感均得到了增强。
消融研究： 实验证实了每个奖励组件（VJEPA 编码器、VJEPA 预测器、静态正则化、具身聚焦、视觉保真度）的必要性，全组合方案取得了最佳性能。

意义与主张

本文声称 PAVXploreRL 解决了当前世界模型在处理多样化、未见动作时维持物理和视觉完整性方面的关键差距。通过使用领域适配的潜在世界模型（VJEPA-2）取代像素/VLM 奖励来进行直接的 PAV 目标评估，该方法实现了对 OOD 动作的鲁棒探索。这使得世界模型不仅能生成更真实的模拟，还能作为更可靠的策略评估器，缓解了像 Ctrl-World 这样以往仅基于专家的模型中常见的过高估计偏差。这项工作表明，通过奖励驱动的 RL 来显式优化 PAV 目标，是通往更具扩展性和更可靠的具身智能系统的可行路径。