💻 computer science

Masked Visual Actions for Unified World Modeling

本文介绍了掩码视觉动作（Masked Visual Actions），这是一种统一的像素空间控制接口，它利用视频模型，通过将动作表示为视觉场景内实体部分揭示的轨迹，来执行机器人操控中的前向动力学预测和逆向规划。

原作者： Hadi Alzayer, Wenlong Huang, Haonan Chen, Christopher Luey, Lvmin Zhang, Maneesh Agrawala, Gordon Wetzstein, Li Fei-Fei, Yilun Du, Jiajun Wu, Jia-Bin Huang

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hadi Alzayer, Wenlong Huang, Haonan Chen, Christopher Luey, Lvmin Zhang, Maneesh Agrawala, Gordon Wetzstein, Li Fei-Fei, Yilun Du, Jiajun Wu, Jia-Bin Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人完成一项新任务，比如做三明治或打开冰箱。在过去，科学家们必须使用机器人的语言，那通常是一串令人困惑的数字，告诉它的关节如何移动。这就像是只能通过向演员发送坐标表来指导一部电影。但最近，一种新型的“超级观察者”出现了：视频模型。这些 AI 系统在数百万小时的视频上进行了训练，因此它们拥有一种惊人的、近乎魔幻的直觉，了解世界是如何运作的。它们知道如果你推一下杯子，它会滑动；如果你掉下一个鸡蛋，它会破碎；如果你挥动手臂，空气会移动。它们对我们视觉世界的物理规律理解得比几乎任何其他工具都要深刻。研究人员一直在问的一个大问题是：我们能否利用这个“超级观察者”不仅是观察世界，而且是控制世界？我们能否用图像而不是数字与它对话，让它想象未来并告诉我们该怎么做？

这正是论文《用于统一世界建模的掩码视觉动作》（Masked Visual Actions for Unified World Modeling）所探讨的内容。研究人员——来自斯坦福大学和哈佛大学等顶尖大学的一个团队——开发了一种巧妙的方法，通过一种被称为“掩码视觉动作”（Masked Visual Actions）的方法来与这些视频模型进行对话。你可以把它想象成一场“填空游戏”或一副扑克牌的魔术。通常，当你想要视频模型展示接下来的画面时，你会给它一张起始图片并问：“接下来会发生什么？”但在这里，研究人员给了模型一个特殊的指令：“这是起始图片，这里有一个机器人手臂移动的、半透明的幽灵轮廓。现在，请你补全剩下的场景。”

这种魔力之所以发生，是因为该模型非常擅长理解事物之间的相互作用，以至于它可以利用同一个大脑扮演两种不同的角色。首先，它充当一个前向模型（Forward Model）。如果你向它展示机器人的移动，它会精确地预测世界的其余部分将如何反应。这就像向导演展示一个特技演员跳跃的动态分镜，AI 会立即生成汽车撞击发生的视频，因为特技演员撞到了车。这使得机器人在实际行动之前能够“想象”未来，从而帮助它们规划动作，而不损坏现实世界的物体。

其次，或许更令人惊讶的是，它可以作为一个逆向模型（Inverse Model）。这是相反的魔术技巧。与其展示机器人的移动，不如向模型展示你想要的结果——比如一个杯子在桌子上滑动到特定位置。你告诉 AI，“我希望杯子最终停在这里，”然后模型就会计算出实现这一目标所需的机器人动作。这就像问一位厨师，“我想要一份完美的牛排，”即使这位厨师从未做过那块特定的牛排，他也会立即写下实现目标的精确食谱和烹饪步骤。

该团队使用了一个惊人之少的样本量来测试这个想法——仅使用了来自真实机器人和计算机模拟的 15 小时视频片段。他们拿取了一个大规模预训练的视频模型，并对其进行了快速的“微调”（一个被称为 LoRA 微调的过程），以学习这种新的沟通方式。结果令人印象深刻。在测试中，该模型能够以极高的准确度预测机器人如何与厨房中的物体互动。它在“想象”未来方面表现得如此出色，以至于当他们使用它来规划机器人动作时，成功率显著提高，有时比单纯靠猜测高出了 26%。

他们发现的最令人兴奋的部分之一是，该方法在它从未见过的机器人身上同样有效。大多数机器人控制器就像定制的钥匙；它们只适配一种特定的锁（一种特定的机器人）。如果你改变了机器人的形状或大小，控制器就会失效。但由于这种新方法使用的是“图像”而非“数字”进行交流，它就像一把万能钥匙。当他们在一个完全不同的机器人（一个名为 R1-Pro 的双臂机器人）上进行测试时（该机器人在其训练数据中并不存在），模型并没有感到困惑或产生幻觉。它优雅地想出了如何移动这个新机器人去打开冰箱或关闭微波炉，而其他方法在面对这种情况时会完全失败。

研究人员还展示了这种“想象”是可靠的。当他们要求模型预测机器人堆叠积木或打开抽屉的结果时，“想象”的成功率与现实世界的成功率几乎完美匹配（相关性高达 0.982）。这意味着该模型是一个值得信赖的模拟器。它可以在机器人甚至还没动一下肌肉之前，就用来评估机器人的计划是否可行，从而节省时间并防止碰撞。

简而言之，这篇论文表明了一种弥合人类直觉与机器人行动之间鸿沟的新方法。通过将机器人运动视为 AI 可以解决的视觉谜题，研究人员创建了一个灵活、高效且对物理世界理解得惊人出色的系统。这不仅仅是关于让机器人移动，更是关于赋予它们一种“梦见”自身行为后果的方式，帮助它们学得更快、更安全。虽然该模型并不完美，并且仍然依赖于其所构建的视频模型的局限性，但它为这样一个未来开启了大门：机器人可以从观看视频和在脑海中规划中学习，就像我们一样。

技术摘要：用于统一世界建模的掩码视觉动作 (Masked Visual Actions)

问题陈述

机器人世界建模需要一个既能支持前向推理（预测智能体动作产生的感官后果），又能支持逆向推理（恢复实现目标状态所需的动作）的框架。虽然近期的规模化视频模型已经积累了关于运动、接触和物理交互的丰富先验知识，但它们目前主要作为被动观察者运行。现有控制这些模型的方法所依赖的信号通常具有稀疏性、特定于具身形态（例如关节角度、末端执行器位姿），或与模型预训练所在的视觉空间不匹配。这种不匹配阻碍了模型向未见过的机器人具身形态的泛化能力，并限制了使用单一模型同时进行前向动力学和逆向规划的能力。

方法论：掩码视觉动作 (Masked Visual Actions)

作者引入了掩码视觉动作，这是一种像素空间的控制接口，将机器人动作重新定义为视频中部分揭示的时空轨迹。

核心机制

该方法利用预训练的视频模型（具体为 Wan-Fun-Control 2.2 14B），并通过微调使其能够以场景内实体的掩码轨迹为条件进行推理。

表示法： 动作不再表示为低维向量，而是作为应用于视频张量的二进制掩码 ( $M$ )。该掩码揭示特定实体（“被调节”实体）的像素，同时隐藏其余部分。
统一的前向/逆向建模： 模型的行为取决于掩码中揭示的是哪个实体：
- 前向模型： 当机器人（主动实体）被揭示时，模型预测场景其余部分（被动实体）的响应，从而模拟机器人运动产生的物理后果。
- 逆向模型： 当物体或期望的物体运动（被动实体）被揭示时，模型预测实现该结果所需的机器人运动（主动实体）。
训练策略： 该模型使用仅包含 15 小时数据的数据集通过 LoRA（低秩自适应）进行微调。该数据集由以下部分组成：
1. 真实世界视频 (DROID)： 使用 SegmentAnything 将机器人手臂隔离为掩码区域。
2. 仿真数据 (Robocasa)： 渲染机器人网格（采用半透明主体和鲜红色的抓取器以避免遮挡问题），并与相机外参对齐，以创建掩码调节信号。
3. 数据构成： 训练内容包括成功和失败的轨迹。模型学习条件分布 $p(\text{未掩码实体} | \text{已掩码实体}, \text{初始帧})$ 。

关键区别

与以往依赖稀疏信号（骨架、关键点）或模态通道（将动作向量与视频分离）的方法不同，掩码视觉动作在同一个像素画布上运行。这使得模型可以将主动实体和被动实体视为对同一交互先验的互补查询，从而实现对未见具身形态的零样本泛化，而无需重新训练。

核心贡献

像素空间控制接口： 引入了掩码视觉动作，一种将机器人动作表达为稠密、图像对齐的掩码轨迹的方法，实现了对预训练视频模型的直接调节。
统一的前向/逆向框架： 证明了通过简单地改变掩码中揭示的实体，同一个模型检查点即可解决前向动力学和逆向动力学问题，消除了对独立架构或输出头的需求。
高效适配： 验证了仅通过 15 小时的混合真实与仿真数据进行微调，单个模型检查点即可在多种场景和多种机器人具身形态下实现强大的视觉保真度和可控性。

实验结果

该框架在仿真（Robocasa）和真实世界中针对三种主要应用进行了评估：

1. 可控视频生成与泛化

保真度： 在 DROID 数据集上，与 Ctrl-World 和 Wan-move 等基线相比，该模型取得了更优的视觉指标（LPIPS: 0.0945, SSIM: 0.887）。
泛化性： 在针对未见具身形态（例如 BEHAVIOR 数据集中的双臂 R1-Pro 机器人或带有自定义 3D 打印末端执行器的 Franka 手臂）进行测试时，依赖骨架或末端执行器位姿的基线模型均告失败，通常会幻觉出训练域的机器人或扭曲场景。掩码视觉动作则表现出优雅的泛化，能够正确模拟与新具身形态的交互。

2. 基于模型的规划

方法： 作者使用该视频模型来模拟由随机策略（Diffusion Policy）生成的多个候选轨迹。一个视觉语言模型（VLM）评判器对这些想象出的展开过程（rollouts）进行评估，以选择最佳动作序列。
结果： 这种“Best-of-N”规划方法相比于仅使用基础策略，在任务成功率上取得了持续的提升（例如，关闭微波炉成功率提升 +24%，打开抽屉成功率提升 +26%），证明了该模型评估反事实未来的能力。

3. 策略评估

相关性： 在视频模型中评估的策略成功率与真实世界的实际执行成功率显示出极强的相关性 ( $r = 0.982$ )。
偏差： 虽然模型表现出轻微的正向偏置（即略微高估了任务进度），但模拟进度的分布与真实情况高度吻合，验证了其作为真实世界测试代理工具的效用。

4. 逆向建模与动作提取

零样本反转： 在没有显式逆向建模微调的情况下，模型能够根据期望的物体运动合成机器人视频。
提取： 通过学习到的逆向动力学模型从这些合成视频中提取可执行的低级动作。
性能： 在 COFFEESERVEMUG 任务中，该流水线达到了 90% 的成功率，尽管视频模型在训练期间从未见过该特定任务的任何示例，其表现优于在 100 个演示数据上训练的标准模仿学习基线（如 Diffusion Policy, ACT, SmolVLA）。

重要性与主张

论文声称，掩码视觉动作提供了一种统一、与具身形态无关且高效的机器人世界建模方法。通过将动作直接表达在视频模型学习先验的视觉空间中，该方法弥合了生成式视频模型与机器人控制之间的鸿沟。

作者强调，这种方法允许单个模型既作为前向模拟器（用于规划和评估），又作为逆向求解器（用于策略合成），从而显著降低了适配的数据需求。他们也承认了局限性，指出模型学习的是相关性而非因果关系，并且受限于基础视频模型的推理速度和表达能力。然而，他们认为该框架通过实现稳健的仿真与规划，降低了开发机器人系统的成本，且无需进行广泛的、特定于具身形态的重新训练。