🤖 AI

WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL

本文提出了 WoVR 框架，通过可控动作条件视频世界模型、关键帧初始化滚动及模型 - 策略协同演化等机制，有效抑制了想象 rollout 中的幻觉与误差累积，从而在 LIBERO 基准和真实机器人上实现了显著优于传统方法的强化学习后训练效果。

原作者： Zhennan Jiang, Shangqing Zhou, Yutong Jiang, Zefang Huang, Mingjie Wei, Yuhui Chen, Tianxing Zhou, Zhen Guo, Hao Lin, Quanlu Zhang, Yu Wang, Haoran Li, Chao Yu, Dongbin Zhao

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhennan Jiang, Shangqing Zhou, Yutong Jiang, Zefang Huang, Mingjie Wei, Yuhui Chen, Tianxing Zhou, Zhen Guo, Hao Lin, Quanlu Zhang, Yu Wang, Haoran Li, Chao Yu, Dongbin Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 WoVR 的新方法，它的核心目标是：让机器人学会在“做梦”中变强，而不是非要靠无数次真实的“试错”来学习。

为了让你更容易理解，我们可以把机器人学习新技能的过程，想象成一个新手厨师在学做一道复杂的菜（比如“把香蕉摆盘”）。

1. 传统方法的困境：要么太慢，要么太贵

模仿学习（Imitation Learning）： 就像厨师看着大师傅做一遍，然后照着做。这很稳，但上限很低。如果大师傅没教过“香蕉皮滑了怎么办”，厨师就束手无策了。
强化学习（RL）： 就像厨师自己不断尝试。做成功了给奖励，失败了就重来。这能学会很多新招数，但代价巨大：
- 现实世界太贵： 机器人每动一次手，都要消耗电力、磨损零件，甚至可能把真香蕉弄坏。
- 速度太慢： 机器人动一下要几秒，而人类思考一下只要几毫秒。要在现实世界里练够几百万次，可能需要几百年。

2. 以前的“做梦”方案：容易做“噩梦”

为了解决现实世界太慢的问题，科学家们想：“不如让机器人在虚拟世界（也就是“做梦”）里练习吧！”

以前的做法： 训练一个 AI 模型来模拟世界。机器人醒来（在虚拟世界里）做动作，AI 模型就生成下一帧画面。
致命问题（幻觉 Hallucination）： 这个 AI 模型并不完美。
- 比喻： 想象你在梦里练习切菜。刚开始梦很清晰，但如果你连续切了 100 刀，梦里的刀可能会突然变成香蕉，或者盘子突然消失了。
- 后果： 机器人如果在梦里“切到了香蕉”（其实是梦里的幻觉），它以为成功了，就给自己奖励。结果它学会了一堆在梦里管用、但在现实里完全行不通的“花架子”。这就是论文里说的**“幻觉”**。

3. WoVR 的解决方案：如何做一个“靠谱的造梦师”？

WoVR 的核心思想是：承认梦境（世界模型）是不完美的，但我们要通过三个“防幻觉”机制，让梦境变得足够可靠，足以用来训练。

机制一：给梦境装个“锚点”（Stabilized World Model）

问题： 梦做得越久，画面越容易崩坏（比如背景变模糊，物体乱飞）。
WoVR 的做法： 就像拍电影时，无论镜头怎么转，第一帧画面（初始场景）必须死死地钉在那里。
比喻： 想象你在画一幅长卷画。以前是画完一格，下一格接着上一格画，画到后面可能连自己都忘了前面画的是啥。WoVR 的做法是：每一笔都回头看看最开始的那张底图。这样无论画多长，桌子还是那张桌子，香蕉还是那个香蕉，不会乱跑。

机制二：只练“关键时刻”（Keyframe-Initialized Rollouts）

问题： 如果从“起床”开始一直梦到“吃完饭”，中间大部分时间都在做无意义的重复，而且错误会越积越多。
WoVR 的做法： 不要每次都从“起床”开始梦。直接跳到最关键的时刻（比如“手刚碰到香蕉”或者“香蕉快掉地上了”）开始练习。
比喻： 就像练篮球，你不需要每次都从“系鞋带”开始练到“投进篮筐”。你直接让教练把球传到你手里，让你专门练习“投篮”和“防守”这几个关键动作。这样既省时间，又避免了前面系鞋带时可能出现的各种意外干扰。

机制三：教练和学员“共同进化”（Co-Evolution）

问题： 机器人（学员）越来越聪明，动作越来越花哨，但梦境模型（教练）还是用旧数据训练的，跟不上学员的新招数了。
WoVR 的做法： 当机器人练了一段时间后，暂停一下，把机器人新学会的动作数据喂给梦境模型，让梦境模型也升级一下，重新适应机器人现在的水平。
比喻： 就像教练和运动员一起训练。运动员练出了新招式，教练不能还按老黄历教，得赶紧更新自己的战术板，确保教练的“模拟训练”依然能跟上运动员的节奏。

4. 结果如何？

论文在实验室和真实机器人上做了测试：

在虚拟世界（LIBERO 基准）： 成功率从 40% 提升到了 69%。
在真实世界（真机器人）： 成功率从 61% 提升到了 91%。

总结

WoVR 就像是一个**“防幻觉梦境训练系统”。
它不再天真地认为“梦境”和“现实”一模一样，而是通过锁定初始画面**、只练关键动作、定期更新梦境模型这三招，把原本容易“做噩梦”的虚拟训练，变成了机器人提升技能的高效加速器。

这意味着，未来的机器人不需要在现实世界里摔坏几万个零件才能学会新技能，它们可以在一个被精心设计的“靠谱梦境”里，快速进化，然后自信满满地来到现实世界完成任务。

这篇论文提出了一种名为 WoVR (World Models as Reliable Simulators for Post-Training VLA Policies with RL) 的新框架，旨在解决在视觉 - 语言 - 动作（VLA）模型的后训练阶段，利用强化学习（RL）进行策略优化时面临的现实世界交互成本高昂以及世界模型（World Model）存在“幻觉”的问题。

以下是该论文的详细技术总结：

1. 研究背景与核心问题 (Problem)

VLA 模型的局限性： 现有的 VLA 模型主要依赖模仿学习（Imitation Learning），其性能上限受限于演示数据的质量和覆盖范围。强化学习（RL）虽然能突破这一限制，但直接在物理机器人上进行大规模在线 RL 训练成本极高、速度慢且需要大量人工监督。
基于世界模型的 RL 挑战： 为了替代真实交互，研究者尝试使用学习到的世界模型作为模拟器。然而，现有的方法通常假设世界模型是“忠实”的，忽略了**闭环想象推演（Closed-loop Imagined Rollouts）中的幻觉（Hallucination）**问题。
- 幻觉的定义： 世界模型在闭环交互中产生的想象结果与真实物理结果之间的系统性不匹配。
- 后果： 随着推演步数增加，自回归生成的误差会累积（Autoregressive feedback），且随着策略进化，策略的动作分布会偏离世界模型的训练数据分布（Distribution shift）。这导致 RL 算法倾向于利用模型的错误（例如，模型错误地预测任务成功），而不是真正优化任务进度，从而破坏优化信号。

2. 方法论：WoVR 框架 (Methodology)

WoVR 不假设世界模型是完美的，而是通过三个相互关联的层面显式地控制 RL 与不完美想象动力学的交互，以构建一个可靠的 RL 框架：

2.1 稳定的动作条件世界模型 (Stabilized Action-Conditioned World Model)

为了构建一个可用作模拟器的生成式世界模型，WoVR 设计了以下机制：

双通道动作注入（Dual-channel Action Injection）： 基于 Wan2.2-TI2V 视频扩散骨干网络，通过两种互补路径将动作嵌入注入模型：
1. 与扩散时间步嵌入融合，通过 AdaLN-Zero 风格调制直接影响去噪动力学的特征层。
2. 替换原有的文本嵌入，利用交叉注意力机制让动作全局地条件化网络。
首帧锚定上下文（First-frame Anchoring）： 为了解决长程推演中的空间漂移和背景崩塌，模型在每一步自回归生成时，不仅依赖最近的记忆帧，还始终将**初始参考帧（ $o_0$ ）**作为上下文的一部分。这利用了自注意力机制自然关注首帧的特性，强制保持全局场景一致性和布局稳定。
噪声上下文训练： 在训练时向非参考的上下文潜变量注入扩散噪声，防止模型过度依赖精确的上下文输入，缩小训练与推理（自生成帧）之间的差距。
奖励模型： 训练一个轻量级的分类器，根据预测的下一帧观察值输出任务成功的二值奖励信号。

2.2 想象中的幻觉感知策略优化 (Hallucination-Aware Policy Optimization)

为了减少有效误差深度并防止在幻觉的成功信号上进行优化：

关键帧初始化推演（Keyframe-Initialized Rollouts, KIR）： 传统的 RL 总是从初始状态开始推演，导致早期误差累积。KIR 策略将部分推演初始化为靠近任务关键状态（特别是当前策略遇到的失败状态）的关键帧。这使得模型只需预测较短的局部轨迹即可到达关键决策点，减少了长程误差累积的影响。
掩码 GRPO（Masked GRPO）： 在组相对策略优化（GRPO）中，对推演中成功之后的步骤进行掩码（Masking）。因为一旦在想象中达到成功，后续的推演往往充满幻觉。通过按有效长度归一化，梯度主要由短小且关键的任务片段主导，而非长程漂移的连续体。

2.3 策略对齐的协同进化策略 (PACE: Policy-Aligned Co-Evolution)

为了解决策略优化过程中动作分布漂移导致的世界模型失配问题：

低频协同进化： 不同于传统模型基 RL 的高频动态更新，PACE 采用低频更新策略。
1. 首先使用基础 VLA 策略收集数据训练初始世界模型（ $WM_{Base}$ ）。
2. 在 $WM_{Base}$ 中进行一轮策略优化。
3. 收集优化后策略的少量新轨迹，用于微调世界模型得到 $WM_{Evo}$ 。
4. 在 $WM_{Evo}$ 中继续优化策略。
这种方法在不增加在线监督成本的前提下，使世界模型与不断进化的策略分布保持对齐，缓解了分布偏移带来的误差累积。

3. 主要贡献 (Key Contributions)

问题定义： 首次明确将闭环想象交互中的“幻觉”定义为 VLA 基于世界模型进行 RL 训练的根本可靠性挑战，指出自回归误差累积和策略诱导的分布偏移会系统性破坏优化信号。
WoVR 框架： 提出了一个幻觉感知的 RL 框架，通过可控的模拟器设计、可靠的交互协议（KIR）和策略对齐的协同进化（PACE），实现了完全在想象中进行稳定的在线策略优化。
性能突破： 在 LIBERO 基准测试和真实机器人操作中取得了显著成果，证明了显式控制幻觉后，学习到的世界模型可以作为实用的 RL 模拟器。

4. 实验结果 (Results)

世界模型质量：
- 在 LIBERO 环境下的长程（512 帧）动作条件视频生成任务中，WoVR 在 LPIPS、FID、FVD 和 FloLPIPS 等指标上均优于现有基线（如 EVAC, Cosmos-Predict2, OpenSora/WMPO）。
- 推理速度达到 23 FPS，满足实时性要求。
策略优化性能 (LIBERO 基准)：
- 在 LIBERO 的四个任务套件（Spatial, Object, Goal, Long）中，WoVR 将平均任务成功率从基线模仿学习的 39.95% 提升至 69.2%（提升 +29.3 个百分点）。
- 相比之下，在线 GRPO 仅达到 44.6%，WMPO 达到 46.2%。WoVR 在长程任务（Long suite）上表现尤为突出，证明了其抑制误差累积的能力。
真实世界迁移 (Real-World Transfer)：
- 在 Franka Emika Panda 机器人上进行了“拿香蕉”和“拿面包”两个接触密集型任务测试。
- 真实世界成功率从基线的 61.7% 提升至 91.7%（提升 +30.0 个百分点）。
- 证明了 WoVR 优化的策略具有极强的 Sim-to-Real 迁移能力，无需额外的在线交互。

5. 意义与结论 (Significance)

范式转变： 该工作表明，基于世界模型的强化学习不再是单纯的建模问题，而是一个可靠性问题。通过显式设计（模拟器稳定性）、交互协议（KIR）和对齐策略（PACE），可以克服世界模型的固有缺陷。
实际应用价值： WoVR 提供了一种无需昂贵物理交互即可高效训练高性能 VLA 策略的可行方案，显著降低了机器人学习的数据成本和硬件损耗。
未来方向： 尽管 WoVR 大幅减少了幻觉，但在极长程或高接触敏感场景中仍无法完全消除。未来的工作可进一步探索更广泛的可靠性保证机制。

总结： WoVR 通过构建一个“防幻觉”的闭环系统，成功地将学习到的世界模型转化为可靠的强化学习模拟器，实现了从模仿学习到高效强化学习的跨越，并在仿真和真实机器人上均取得了 SOTA 性能。