💻 computer science

MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation

MotionWAM 是一个实时基础世界动作模型，它通过利用中间视频去噪特征来预测协调的运动标记，从而统一了人形机器人的全身位移与操作控制，克服了传统分层策略在速度和一致性方面的局限性，并在复杂任务中显著优于视觉-语言-动作（VLA）基准模型。

原作者： Jia Zheng, Teli Ma, Yudong Fan, Zifan Wang, Shuo Yang, Junwei Liang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jia Zheng, Teli Ma, Yudong Fan, Zifan Wang, Shuo Yang, Junwei Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人成为一名像人类一样的助手。通常，我们教机器人的方式分为两个独立的步骤：首先，我们教它们的“大脑”（上半身）如何抓取物体；然后，我们教它们的“腿”（下半身）如何行走并保持平衡。问题在于，这两个部分之间的沟通并不顺畅。大脑说：“去抓那个杯子”，而腿部只会说：“好的，我会向前走以防止你摔倒。”它们无法完成像踢足球或踩踏板这样的动作，因为腿部被仅限于执行“平衡相关的工作”。

MotionWAM 是一个全新的机器人大脑，它通过将整个身体视为一个单一的、协调的整体来解决了这个问题。以下是它的工作原理，我们使用了一些简单的类比：

1. “电影导演” vs. “剧本作家”

大多数机器人大脑就像是剧本作家。它们观察一张图片和一句话（例如“拿起盒子”），然后根据以前见过的经验来猜测下一步的动作。它们并不真正理解物理规律或物体如何随时间运动。

MotionWAM 则不同。它就像是一位看过数千小时电影的电影导演。在告诉机器人该做什么之前，它会对接下来几秒钟的电影画面进行快速的“脑内模拟”。

诀窍： 它并没有等待整个电影场景被完全绘制出来（那太慢了），而是在场景正在被绘制的过程中捕捉其“草图”。它从这个草图中抓取未来运动的“神韵”，并立即告诉机器人如何移动。这就是为什么它能思考得足够快，从而实现实时运行。

2. “统一遥控器”

在旧系统中，机器人有两个遥控器：一个控制手臂，一个控制腿部。腿部遥控器非常简单，只知道如何直行或转弯。

MotionWAM 的创新： 它为整个身体使用一个单一的遥控器。当机器人需要踢足球时，“踢”这个指令不仅仅针对腿部，而是一个单一的指令，它同时告诉手臂如何平衡、躯干如何倾斜以及脚部如何摆动。这使得机器人能够完成像踩踏板或踢球这样的动作，而旧有的“双遥控器”系统无法做到这一点，因为那些系统并不理解腿部也可以成为“任务”的一部分，而不只是为了“平衡”。

3. “三阶段训练营”

以这种方式教导机器人是很困难的，因此研究人员使用了三个阶段的训练营：

第一阶段（电影发烧友）： 他们向机器人展示了数千小时从人类视角（类似于头戴式 GoPro）拍摄的视频。机器人此时还没有学习如何移动，它只是学习了当你移动时世界看起来是什么样子的。它学习了“视觉的物理学”。
第二阶段（翻译官）： 他们教会了机器人如何将这些电影技能转化为实际的机器人动作。他们使用了来自不同类型机器人身体的数据，以确保机器人理解“移动”的通用概念，而不仅仅局限于某一种特定的身体形状。
第三阶段（特种部队）： 最后，他们通过人类操作员利用 VR 眼镜引导，让机器人进行特定的实践任务（如装载推车或擦拭黑板）。在这里，机器人学会了如何将其电影知识应用于真实的、棘手的任务中。

结果

当他们在九项困难任务（如踢足球、装载推车或洗衣服）上测试 MotionWMA 时，取得了巨大的成功：

速度： 它的思考速度足以实现实时运行（大约每秒 5 次），这对于机器人保持直立而不摔倒至关重要。
成功率： 它的成功率达到了 76%，而此前最优秀的机器人大脑成功率仅为 44% 左右。
“踢球”因素： 最大的进步在于需要足部交互的任务。旧机器人会试图绕过球走，而 MotionWAM 真的会去踢球。

核心结论

MotionWAM 证明了，如果你给机器人一个理解世界如何运动的“电影导演”大脑，并且允许它用一个统一的计划来控制全身，那么它完成复杂、类人工作的能力会比那些将行走和抓取视为独立问题的机器人强得多。

局限性： 论文指出，这项测试是在一款特定的机器人型号（Unitree G1）上进行的。如果机器人失去了对所持物体的视野（因为摄像头位于头部），它可能会产生混乱并停止工作。目前尚未在其他机器人身体上进行测试。

技术摘要：MotionWAM

问题陈述

目前的自主人形机器人运动操纵系统主要依赖于一种将上肢与下肢解耦的分层范式。在这种设置中，高层操纵策略为手臂生成细粒度的关节目标，而底层控制器则追踪粗粒度的基座指令（速度、高度、朝向）以控制腿部。这种架构迫使机器人处于不一致的动作空间中，限制了腿部仅能进行被动平衡维持，从而无法实现任务驱动的足部交互（例如：踩踏踏板或踢球）。

虽然世界动作模型（World Action Models, WAMs）通过将视频动力学先验与策略耦合，在桌面操纵领域展现出了潜力，但现有的实现方式对于实时控制而言过于缓慢。它们依赖于在高维视频-动作潜空间上的迭代去噪，这造成了计算瓶颈，阻碍了其在动态平衡的人形机器人上的闭环部署。核心挑战在于如何在保持实时推理速度的同时，在统一的潜空间中部署 WAMs 丰富的动力学先验，以实现全身人形机器人的控制。

方法论：MotionWAM

MotionWAM 是一种端到端的世界动作模型，旨在通过单视角第一人称相机驱动自主人形机器人的运动操纵。它通过一个**统一的运动潜空间（unified motion latent）**取代了分层的上下肢拆分，该潜空间能够同时预测涵盖移动、躯干运动、高度调节、足部交互以及手部操纵的全身运动 Token。

1. 模型架构

MotionWAM 采用了**双扩散 Transformer（Dual-DiT）**框架：

视频 DiT (Video DiT)： 初始化自 Cosmos-Predict2.5-2B，该分支将第一人称视角下的条件帧和未来帧压缩为潜变量。至关重要的是，该模型并不等待完整的去噪过程，而是在流时间步（flow timestep）接近纯噪声（ $\tau_f \approx 1$ ）的固定位置拦截速度网络的隐藏状态（ $h^{\tau_f}_t$ ）。这种“单次想象”（one-shot imagination）机制在不产生迭代去噪计算成本的情况下，编码了场景的发展趋势。
运动 DiT (Motion DiT)： 该分支接收来自视频 DiT 的中间特征，连同本体感受状态和带噪声的运动 Token，来预测运动潜空间的速率场（velocity field）。
统一潜空间 ( $m_t$ )： 输出是一个统一的运动潜空间，包含：
- 用于灵巧手/夹持器指令的连续向量（ $m^{cont}_t$ ）。
- 从标量槽位（scalar slot, $\tilde{k}_t$ ）导出的离散化 Token 索引（ $k_t$ ），该索引总结了移动、躯干、高度和足部交互的意图。该 Token 由 SONIC（一种通用全身控制器）解码为关节指令。

2. 三阶段训练框架

为了使视频世界模型适应第一人称视角动力学及特定的机器人本体，作者提出了一个渐进式训练方案：

阶段 1：第一人称视频预训练： 视频 DiT 单独在约 2,136 小时的人类及人形机器人第一人称视频上进行训练。这使得世界模型的分布向第一人称视觉动力学偏移，且不会受到动作标注数据稀缺性的限制。
阶段 2：跨具身动作后训练： 接入并协同训练 Motion DiT，使用包含 Unitree G1 数据（具有不同的末端执行器和标注格式）的异构混合数据集。视频目标作为正则项被保留，以防止动力学先验被覆盖，从而在不同具身之间实现动作信号的对齐。
阶段 3：全身微调： 在目标机型 Unitree G1 上收集的遥操作全身演示数据上对完整模型进行微调。动作输出切换为统一的全身运动 Token，从而实现端到端控制。

核心贡献

MotionWAM 架构： 一种实时 WAM，通过将策略建立在视频世界模型的中间去噪特征之上，实现了统一动作空间下的全身控制。
统一运动潜空间： 用统一的运动 Token 取代了解耦的上下肢策略，使下肢能够积极参与任务（如踢球、踩踏），而非仅仅维持基座稳定。
三阶段学习： 一个将视频世界模型从通用的第一人称动力学逐步适配到特定具身动作对齐，再到特定任务微调的框架。
实时全身控制： 首个能够驱动实时人形机器人运动操纵的闭环端到端 WAM 策略，支持包括任务驱动型足部行为在内的复杂动作。

实验结果

作者在 9 项真实的 Unitree G1 任务上评估了 MotionWAM，这些任务涉及腰部控制、高度调节、蹲姿移动、足部交互以及躯干-手部协调。

性能对比基线： MotionWAM 与五种基线模型进行了对比，包括最先进的视觉-语言-动作（VLA）模型（GR00T-N1.7, $\pi_0.5$ ）及自定义消融模型。MotionWAM 达到了 76.1% 的总成功率，显著优于最强的基线模型（76.1% 对比 GR00T-N1.7 的 43.9%），实现了 >30% 的绝对增益。
特定任务表现： 在需要全身协调的任务中，性能差距最为显著，例如 踢足球 (Kick Soccer) (+40%)、推载货车 (Load Cart) (+40%) 和 擦黑板 (Wipe Board) (+45%)。仅基于 VLA 的基线模型在重度移动任务中表现崩溃，表明仅靠语义先验不足以实现闭环物理控制。
消融研究： 移除阶段 1（第一人称预训练）或阶段 2（跨具身对齐）会导致性能大幅下降（分别为 11% 和 28%），验证了渐进式训练策略的必要性。
实时推理： MotionWAM 在 NVIDIA A100 上运行速度为 4.9 Hz。由于避免了迭代去噪，它比其他基于世界模型的策略（例如 Cosmos Policy 为 0.7 Hz）快得多，使其适用于闭环人形机器人的平衡控制。

重要性与主张

本文声称 MotionWAM 证明了视频预训练的 WAM 可以从桌面操纵扩展到协调的、类人全身人形控制。通过利用中间去噪特征，该模型成功弥合了大规模视频模型的丰富动力学先验与平衡人形机器人实时、安全性要求之间的鸿沟。这项工作表明，以视频世界动力学为条件的统一动作空间，是实现能够主动利用全身（包括足部）与环境交互的自主机器人的可行路径，而非仅仅局限于上肢操纵。

局限性

作者承认阶段 3 微调仅在 Unitree G1 这一具身上进行了验证，该方案对其他硬件平台的迁移性尚未得到证实。此外，评估未包含针对新物体泛化能力的受控研究，因为训练对象与测试对象在视觉上具有相似性。该系统还依赖于单个第一人称相机，当操作物体离开视野或视角相对于训练分布发生显著漂移时，会出现失效模式。