World Action Models are Zero-shot Policies

本文提出了基于预训练视频扩散骨干网络的 DreamZero 世界动作模型，通过联合建模视频与动作来学习物理动力学，在无需重复演示的情况下实现了比现有视觉 - 语言 - 动作模型更强的零样本泛化能力、实时闭环控制以及高效的跨具身迁移。

要点

这篇论文介绍了一个名为 DreamZero 的机器人新大脑，它由 NVIDIA 的研究团队开发。为了让你轻松理解，我们可以把现在的机器人和 DreamZero 做一个生动的对比。

🤖 以前的机器人：只会背书的“优等生”

想象一下，以前的机器人（论文中称为 VLA 模型）就像是一个死记硬背的优等生。

• 它怎么学？ 老师（人类）教它：“把苹果放进篮子里”，它就背下来。教它“把杯子放在桌上”，它也背下来。
• 它的弱点： 如果老师没教过它“把香蕉放进南瓜里”，或者把桌子换成了红色的，这个优等生就懵了。它虽然懂语言（知道“放”是什么意思），但不懂物理世界的变化规律。它不知道物体怎么动、怎么碰撞，一旦遇到没背过的动作或环境，它就彻底“死机”了。

🌟 DreamZero：会“做梦”的“生活家”

DreamZero 则完全不同，它像是一个充满想象力的生活家，甚至可以说是一个会做“白日梦”的导演。

1. 核心魔法：先“做梦”，再“行动”

DreamZero 的核心是一个世界动作模型（World Action Model）。

• 普通机器人：看到指令 -> 直接查数据库找动作 -> 执行。
• DreamZero：看到指令 -> 先在脑海里“演”一遍电影（预测未来几秒会发生什么画面） -> 根据电影里的画面，推导出自己该怎么动。

比喻：
想象你要去厨房拿一个高处的杯子。

• 旧机器人：如果没练过，它可能直接伸手乱抓，或者因为不知道杯子会掉下来而不敢动。
• DreamZero：它先在脑子里“播放”了一段视频：“我的手伸过去，抓住杯子，杯子稳稳地拿下来，没有打碎。” 既然它在“梦”里看到了成功的画面，它就知道手该怎么动才能达成这个画面。

2. 为什么它这么强？（三大超能力）

• 超能力一：举一反三（零样本泛化）
  因为它是在海量的互联网视频上“看”过无数次的，它学会了物理世界的通用规律（比如重力、摩擦力、物体怎么堆叠）。

  • 例子：哪怕它从来没练过“解鞋带”，但因为它在视频里看过人怎么解蝴蝶结，它就能把这种逻辑迁移到机器人身上，直接上手解鞋带。论文显示，它在没见过的任务上，成功率是旧机器人的 2 倍以上。

• 超能力二：看视频就能学（跨具身迁移）
  这是最惊人的地方。以前机器人学新技能，必须有人拿着它的胳膊手把手教几百次。

  • DreamZero 的玩法：只要给它看 10-20 分钟 别人（或者是人类）做这个任务的视频（甚至不需要告诉它手怎么动，只看画面），它就能学会！
  • 比喻：就像你看了一个“如何打包行李”的 YouTube 视频，虽然你没亲手包过，但你看懂了动作逻辑，下次自己就能包。DreamZero 甚至能看人类视频，然后让机器人模仿，效果提升了 42%。

• 超能力三：反应快如闪电（实时控制）
  通常这种会“做梦”（生成视频）的模型很慢，算一下要好几秒，机器人早就撞墙了。

  • 突破：NVIDIA 团队通过一系列黑科技（比如让视频和动作的“噪音”分开处理、利用显卡并行计算），把它的速度提升了 38 倍。现在它能以 每秒 7 次 的速度思考并行动，就像人走路一样流畅，不再是慢动作了。

3. 它是如何训练的？

以前的机器人训练需要成千上万次重复的练习（比如把杯子放桌上重复 1000 次）。
DreamZero 的训练数据是多样化的：它在 22 个不同的真实场景（家里、餐厅、办公室）里，收集了机器人做各种杂事的视频。它不追求重复，而追求见识广。就像一个人如果只在一个房间待过，他可能不懂外面的世界；但 DreamZero 去过各种地方，所以它什么都能应付。

🚀 总结：这意味着什么？

这篇论文告诉我们，机器人进化的方向变了：

• 过去：靠堆数据量，靠重复练习，像训练马戏团动物。
• 现在 (DreamZero)：靠理解世界。通过“预测未来画面”来指导行动，让机器人像人类一样，看一眼就会，换个地方也能用。

一句话总结：
DreamZero 让机器人不再是一个只会执行死命令的机器，而是一个看过世界、懂得物理规律、能边想边做、甚至能看视频自学的新物种。这离真正的“通用机器人”（能帮你做家务、收拾房间、甚至照顾老人的机器人）又近了一大步。

技术摘要

DreamZero: 世界动作模型（World Action Models）作为零样本策略的技术总结

1. 研究背景与问题 (Problem)

当前的机器人基础模型，特别是视觉 - 语言 - 动作模型（Vision-Language-Action models, VLAs），虽然在语义泛化（如理解复杂的语言指令和识别物体）方面表现出色，但在物理运动泛化上存在显著局限：

• 新环境与新动作的泛化能力差：VLAs 难以处理训练数据中未出现过的物理环境或全新的动作技能（例如“解开鞋带”或“熨烫衣物”）。
• 缺乏物理动力学先验：VLAs 通常基于静态的图像 - 文本数据预训练，缺乏对世界物理动态（spatiotemporal priors）的深刻理解，导致其难以将语义知识转化为精确的空间感知和运动控制。
• 数据依赖性强：传统方法通常依赖大量重复的、特定任务的专家演示数据，难以利用多样化、非重复性的真实世界数据。
• 推理延迟高：基于视频扩散模型的策略通常计算量大，难以满足机器人实时闭环控制（如 7Hz 以上）的需求。

2. 方法论 (Methodology)

作者提出了 DreamZero，一种基于预训练视频扩散骨干网络的世界动作模型（World Action Model, WAM）。其核心思想是通过联合预测未来的视觉状态（视频）和机器人动作，将动作学习从“状态 - 动作模仿”转变为“逆动力学（Inverse Dynamics）”学习。

2.1 核心架构设计

• 联合预测（Joint Prediction）：DreamZero 是一个端到端的 14B 参数模型，基于预训练的图像到视频（I2V）扩散模型（Wan2.1-I2V-14B）。它同时输出未来的视频帧和对应的动作序列。
  • 公式化表达：$\pi(o_{l:l+H}, a_{l:l+H} | o_{0:l}, c, q_l) = \pi(o_{l:l+H} | \dots) \times \pi(a_{l:l+H} | o_{0:l+H}, q_l)$。
  • 视频预测充当了隐式的视觉规划器，指导动作生成。
• 自回归架构（Autoregressive Architecture）：
  • 采用自回归方式生成视频块（Chunks），利用 KV Cache 机制。
  • 优势：支持任意长度的上下文，保持原生帧率（Native FPS），避免了双向模型中因视频下采样导致的帧率失真和模态对齐问题。
  • 闭环控制：在推理时，执行动作后，将真实观测（Ground Truth）替换 KV Cache 中的预测帧，消除自回归生成中的误差累积问题。
• 训练目标：使用流匹配（Flow Matching）作为训练目标，联合去噪视频潜变量和动作。采用 Teacher Forcing 策略，基于干净的上下文块预测当前噪声块。

2.2 实时执行优化 (Real-time Execution)

为了解决视频扩散模型推理慢的问题，DreamZero 引入了三层优化，实现了 38 倍 的推理加速，达到 7Hz 的闭环控制频率：

1. 系统级优化：
   • CFG 并行化：将分类器自由引导（CFG）的条件和无条件前向传播分配到两个 GPU 上并行执行。
   • DiT 缓存：利用流匹配中速度向量的一致性，当连续速度向量的余弦相似度超过阈值时，复用缓存的速度，将有效扩散步数从 16 步减少到 4 步。
2. 实现级优化：
   • 使用 torch.compile 和 CUDA Graphs 消除 CPU 开销并融合算子。
   • 后训练量化：在 Blackwell 架构上使用 NVFP4 量化权重，关键算子保留 FP8/FP16。
   • 内核优化：将调度器操作迁移到 GPU，消除 CPU-GPU 同步停顿。
3. 模型级优化 (DreamZero-Flash)：
   • 解耦噪声调度：在训练时，将视频的时间步偏向高噪声状态（Beta 分布），而动作保持均匀分布。这使得模型学会在视频仍含噪声的情况下预测干净的动作，从而在推理时仅需 1 步去噪即可生成高质量动作，大幅降低延迟。

3. 关键贡献 (Key Contributions)

1. 提出 DreamZero (14B WAM)：首个能够利用多样化、非重复性机器人数据有效学习的模型，通过联合预测视频和动作，实现了从异构数据到通用策略的迁移。
2. 卓越的零样本泛化能力：
   • 在未见过的任务和环境中，DreamZero 的表现比最先进（SOTA）的 VLA 模型高出 2 倍以上。
   • 即使经过特定任务的后训练，其环境泛化能力依然得以保留。
3. 高效的跨本体迁移（Cross-Embodiment Transfer）：
   • 视频即数据：仅需其他机器人（YAM）或人类（10-20 分钟视频数据）的纯视频演示（无需动作标签），即可在未见任务上提升 42% 的性能。
   • 少样本本体适应：在 AgiBot G1 上预训练的模型，仅需 30 分钟 的新机器人（YAM）玩耍数据，即可适应新本体并保持零样本泛化能力。
4. 实时闭环控制：通过系统级和模型级优化，成功将 14B 视频扩散模型的推理速度提升至 7Hz，使其能够用于实时机器人控制。
5. 开源：开源了模型权重、推理代码以及在真实世界（RoboArena）和仿真（PolaRiS, Genie Sim 3.0）基准上的测试代码。

4. 实验结果 (Results)

实验在 AgiBot G1（双臂移动机器人）和 Franka（单臂机器人）上进行，对比了 GR00T N1.6 和 $\pi_0.5$ 等 SOTA VLA 模型。

• 未见任务泛化（Zero-shot to Unseen Tasks）：
  • 在 10 个完全未见过训练的任务（如解鞋带、熨烫、握手）中，DreamZero 的平均任务进度达到 39.5%，而从头训练的 VLA 接近 0%，预训练 VLA 仅为 16.3%。
  • 在 DROID-Franka 设置下，DreamZero 的任务进度为 49%，显著优于其他预训练基线（31%-33%）。
• 多样化数据学习：
  • 使用 500 小时多样化数据训练的 DreamZero，在简单抓取任务上的表现（50%）远高于使用重复数据训练的模型（33%）。
  • 证明了 WAM 能从非重复、长尾分布的真实世界数据中有效学习，而 VLA 难以做到。
• 跨本体迁移：
  • 仅使用 12 分钟人类视频或 20 分钟 YAM 机器人视频进行微调，未见任务性能提升超过 42%。
  • 30 分钟的新本体（YAM）玩耍数据即可实现少样本适应，且保留了零样本泛化能力。
• 推理速度：
  • 通过 DreamZero-Flash 和量化，在 GB200 上实现了 38 倍加速，推理延迟从 5.7 秒降至 150 毫秒（约 7Hz）。单步去噪（1-step）下，DreamZero-Flash 的任务进度（74%）仅比 4 步基线（83%）低 9%，但速度快 2 倍。

5. 意义与展望 (Significance)

• 范式转变：DreamZero 证明了将视频生成模型作为机器人策略骨干的可行性。通过“预测未来视觉”来指导“动作执行”，模型能够隐式地学习物理动力学，从而获得比传统 VLA 更强的泛化能力。
• 数据效率的革命：该方法打破了“通用机器人策略需要大量重复演示”的传统观念，展示了利用互联网规模视频数据（包括人类视频）进行机器人学习的新路径。
• 跨本体学习的突破：仅通过视频数据即可实现机器人间的技能迁移，甚至实现少样本的新机器人适应，这为利用海量人类视频数据训练通用机器人提供了理论依据和实证支持。
• 实时性突破：解决了视频扩散模型在机器人控制中延迟过高的问题，使其能够真正应用于实时闭环控制场景。

局限性：目前模型在需要亚厘米级精度的任务（如插钥匙）上仍有局限，且长程推理（Long-horizon reasoning）能力仍需结合 System 2 规划器或扩展上下文窗口来进一步提升。

---

总结：DreamZero 代表了机器人基础模型从“语义理解”向“物理世界建模”的重要跨越。它利用视频扩散模型的强大生成能力，结合自回归架构和系统优化，成功实现了在多样化数据上的高效学习、跨本体的零样本/少样本迁移以及实时闭环控制，为通用机器人（Generalist Robots）的发展奠定了坚实基础。