💻 computer science

Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning

该论文提出了一种结合对比强化学习与多视角视觉保真度奖励的 RL 后训练方案，通过让机器人世界模型在自身自回归滚装上学习，有效解决了多步预测中的误差累积问题，并在 DROID 数据集上实现了当前最优的滚动保真度。

原作者： Jai Bardhan, Patrik Drozdik, Josef Sivic, Vladimir Petrik

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Jai Bardhan, Patrik Drozdik, Josef Sivic, Vladimir Petrik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**让机器人“学会做梦”并且“不做噩梦”**的故事。

想象一下，你正在教一个机器人如何像人类一样思考未来。为了做到这一点，我们给机器人装了一个“世界模型”（World Model）。你可以把这个模型想象成机器人的**“想象力引擎”**。

1. 核心问题：为什么机器人的“想象力”会崩塌？

在传统的训练方法中，我们教机器人看视频。

训练时（老师强迫）： 老师给机器人看一段真实的视频，然后问：“接下来会发生什么？”机器人回答后，老师立刻把真实的答案（Ground Truth）塞给它，说：“看，这才是对的，继续猜下一段。”
结果： 机器人很聪明，因为它总是看着“标准答案”来猜。

但是，当机器人真正去执行任务时（测试时）：

现实情况： 没有老师，没有标准答案。机器人必须根据自己刚才猜出来的画面，去猜再下一段画面。
灾难发生： 就像“传话游戏”（Telephone Game）。
- 机器人猜第一段画面时，稍微歪了一点点（比如把碗画得有点扁）。
- 它把这段“有点扁的碗”当作真实画面，去猜第二段。
- 因为输入已经是歪的，它猜出的第二段就更歪了（碗可能变成了方块）。
- 猜第三段时，碗可能直接融化成一团浆糊，或者机器人手臂突然消失了。
- 这就是论文里说的“误差累积”（Error Compounding）。 机器人的想象力在几秒钟内就会彻底崩溃，画面变得乱七八糟。

2. 解决方案：让机器人“自我反省”（强化学习）

作者们想出了一个绝妙的主意：别光听老师的话，让机器人在自己的“梦境”里练习。

他们给机器人装了一个**“强化学习”（RL）的模块，这就像是一个严厉的体育教练**。

新的训练方式：
1. 让机器人自己从头到尾生成一段很长的视频（就像它自己在做梦）。
2. 在这个过程中，机器人可能会犯错（比如碗变扁了）。
3. 教练（奖励机制）出场： 教练拿着真实的视频做对比，给机器人的“梦境”打分。
  - 如果机器人生成的画面清晰、物体没变形，给高分（奖励）。
  - 如果画面开始崩坏，给低分（惩罚）。
4. 关键创新： 教练不是直接告诉机器人“正确答案是什么”，而是让机器人对比它生成的几个不同版本的“梦境”。
  - “嘿，你看，版本 A 里的碗还像个碗，但版本 B 里的碗已经化成水了。你要向版本 A 学习，远离版本 B。”

3. 具体是怎么做的？（三个聪明的技巧）

为了让这个“自我反省”的过程更有效，作者用了三个巧妙的比喻：

技巧一：对比学习（Contrastive RL）
- 比喻： 就像在选美比赛中，不是给每个模特打分，而是让模特两两 PK。
- 机器人一次生成 16 个不同的未来视频片段。教练挑出最好的那个（比如物体最稳的）和最差的那个（物体最烂的）。
- 告诉模型：“你要努力变成那个最好的，坚决不要变成那个最差的。”这种**“比烂”和“比好”**的对比，比单纯告诉它“正确答案”更能让它学会如何保持长期稳定。
技巧二：随机打断（Variable-length Prefix）
- 比喻： 就像练长跑，不能只练起跑，也不能只练最后冲刺。
- 训练时，有时候让机器人从第 1 秒开始猜，有时候让它从第 9 秒（已经有点累了、有点晕了）开始猜。
- 这样机器人就学会了：无论我是刚醒来（状态好），还是已经晕头转向（状态差），我都要努力保持画面不崩塌。
技巧三：多视角打分（Multi-view Rewards）
- 比喻： 就像拍电影，不能只看一个机位。
- 机器人有三个摄像头（两个看全景，一个看手腕）。教练会同时检查这三个角度的画面。
- 如果机器人只把背景画得很清楚，但手里的杯子画崩了，教练会扣分。这迫使机器人必须关注真正重要的东西（比如被操作的物体和机械臂），而不是只画背景。

4. 结果如何？

经过这种“自我反省”的训练，机器人的“想象力”发生了质的飞跃：

以前： 猜 3 秒钟，碗就融化成一团浆糊（如图 1 所示，Baseline 模型）。
现在： 猜 10 秒钟，碗依然稳稳当当，形状完整，甚至能看清上面的纹理（如图 1 所示，Ours 模型）。
人类评价： 让真人看视频，80% 的人觉得新模型生成的视频更真实、更连贯。

总结

这篇论文的核心思想就是：不要只教机器人“背诵标准答案”，要教它“在犯错中自我修正”。

通过让机器人自己在生成的视频里“试错”，并用强化学习告诉它“哪种未来是好的，哪种是坏的”，我们成功解决了机器人长期预测中画面崩塌的难题。这让机器人拥有了更持久、更可靠的“想象力”，未来可以用来在虚拟世界里更安全、更高效地练习各种复杂的任务（比如做饭、组装零件），而不用担心它在模拟中把自己“玩坏”了。

这是一篇关于利用强化学习（RL）解决机器人世界模型在自回归推理中误差累积问题的论文总结。

论文标题

Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning
（持久机器人世界模型：通过强化学习稳定多步推演）

1. 研究背景与问题 (Problem)

背景：基于动作条件的视频扩散世界模型（World Models, WM）能够根据机器人动作序列生成未来的视频帧，为模拟复杂的人机交互任务提供了替代传统物理引擎的方案。
核心痛点：现有的世界模型通常针对短期预测进行优化（即使用真实历史帧作为条件）。然而，在部署时，模型需要进行自回归（Autoregressive）推演，即生成的每一帧视频片段都会作为下一帧生成的上下文。
暴露偏差（Exposure Bias）：由于训练时使用的是真实历史，而推理时使用模型自身生成的（有误差的）历史，导致训练/测试分布不匹配。
后果：在自回归生成过程中，微小的误差会迅速累积（误差传播），导致几秒内生成的视频出现严重的视觉退化：物体结构崩塌（如碗变成模糊的团块）、机械臂轨迹漂移、场景一致性丧失。这使得世界模型难以用于长周期的任务规划和评估。

2. 方法论 (Methodology)

作者提出了一种名为 PersistWorld 的强化学习后训练（Post-Training）框架，旨在让模型在训练阶段就适应其自身的自回归生成过程。

核心组件：

基于对比的强化学习后训练 (Contrastive RL Post-Training)：
- 原理：不再依赖真实历史进行监督学习，而是直接在模型生成的自回归推演上进行训练。
- 算法适配：将最近提出的针对扩散模型的对比 RL 方法（DiffusionNFT）适配到机器人世界模型。
- 关键创新：原方法针对的是预测中间噪声的流匹配模型，而本文针对的是直接预测干净帧（ $x_0$ -prediction）的扩散模型（如 Ctrl-World）。作者证明了在 $x_0$ 预测参数化下，对比目标的收敛性保证依然成立，且无需额外的修正项。
- 机制：对于高奖励的生成样本，强化其预测方向；对于低奖励样本，通过构造“负分支”来惩罚其预测方向。
自回归视频训练协议 (Training Protocol for Autoregressive Video)：
- 挑战：图像生成有固定的提示词（Prompt）来生成多个候选，但视频生成是动态演变的，没有固定提示词。
- 解决方案：利用共享的历史缓冲区状态作为“提示词”。
  - S1 (共享前缀)：从真实初始状态开始，自回归生成一个随机长度的前缀（Prefix），模拟推理时的误差累积状态。
  - S2 (分支候选)：冻结该前缀状态，从中独立分支出 $K$ 个（如 16 个）不同的未来候选片段。
  - S3 (评分与排序)：使用多视角视觉奖励对这些候选进行评分和排序。
  - S4 (模型更新)：利用相对奖励权重更新模型。
多视角视觉奖励 (Multi-View Visual Rewards)：
- 设计了基于片段（Clip-level）的奖励函数，结合三个相机视角（手腕相机 + 两个外部相机）的感知指标。
- 指标组合：结合 LPIPS（感知相似性）、SSIM（结构相似性）和 PSNR（信噪比），以覆盖不同的失效模式（如结构扭曲、局部细节丢失、全局漂移）。
- 组归一化：对同一组候选的奖励进行 Z-score 归一化，使训练信号关注相对质量差异，消除不同推演阶段绝对奖励值波动的干扰。

3. 主要贡献 (Key Contributions)

首个针对机器人世界模型的 RL 后训练方案：直接在模型自身的自回归推演上优化，解决了训练/推理分布不匹配的问题。
理论适配：成功将对比 RL 目标从流匹配模型迁移到 $x_0$ 预测的扩散模型，并保留了理论收敛保证。
创新的训练协议：提出了一种基于“共享前缀 + 独立分支”的机制，解决了自回归视频生成中缺乏固定提示词以生成可比候选项的难题。
高效的多视角奖励设计：设计了结合多视角感知指标的奖励函数，并引入了针对物体和机器人的掩码评估，确保模型关注任务相关的动态而非背景。

4. 实验结果 (Results)

在 DROID 数据集（大规模机器人操作数据集）上进行了评估：

SOTA 性能：在所有视觉质量指标上均超越了最强的基线模型（Ctrl-World, WPE, IRASim）。
- 外部相机：LPIPS 降低了 14%，PSNR 提升了 1.40 dB。
- 手腕相机（对精细操作至关重要）：SSIM 提升了 9.1%，PSNR 提升了 1.59 dB。
配对比较：在 14 步（约 11 秒）的自回归推演中，该模型在约 98% 的验证样本中优于基线。
人类偏好：在盲测中，人类评估者 80% 的时间选择了该模型生成的视频，认为其更真实且与地面真值动态更一致。
长程稳定性：随着推演时间延长，误差累积显著减缓，物体结构保持完整，而基线模型在短时间内即发生解体。
策略评估相关性：该世界模型在模拟环境中对策略性能的评估与真实世界表现具有更高的相关性（Pearson 相关系数 0.822 vs 基线 0.796）。

5. 意义与影响 (Significance)

解决“崩溃”问题：成功解决了扩散世界模型在长程自回归推理中常见的“视频崩塌”问题，使其能够生成稳定、持久的多步视频。
虚拟环境构建：为机器人学习提供了高保真、可扩展的虚拟环境，使得基于世界模型的策略评估和强化学习成为可能。
通用性：该方法不仅提升了视觉质量，还通过关注任务相关动态（物体交互、机械臂运动），显著提升了模型在下游机器人控制任务中的实用性。
未来方向：展示了 RL 后训练作为提升生成式世界模型鲁棒性的强大工具，未来可结合物理约束和几何感知奖励进一步探索。

总结：这篇论文通过引入强化学习后训练机制，巧妙地解决了机器人世界模型在自回归推理中的误差累积难题，显著提升了长程视频生成的稳定性和保真度，为机器人领域的模拟与规划奠定了坚实基础。