🤖 AI

Mask2Real-WM: Segmentation Masks as a Sim-to-Real Bridge for Controllable Dexterous World Models

Mask2Real-WM 是一种用于灵巧操作的两阶段动作条件世界模型，它通过将分割空间中的动力学预测与写实渲染解耦，从而弥合了从模拟到现实的差距，并利用大规模合成预训练和极少量的现实世界微调，实现了精确的逐关节控制。

原作者： Riccardo O. Feingold, Davide Liconti, Chenyu Yang, Robert K. Katzschmann

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Riccardo O. Feingold, Davide Liconti, Chenyu Yang, Robert K. Katzschmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

长期以来，机器人一直是工厂车间的专家，在每一个物体都固定不动、每一条路径都预先编程的环境中精准地移动。但一旦机器人步入混乱、不可预测的家庭或杂乱的车间，其自信心往往会瞬间瓦解。为了在现实世界中导航，机器需要的不仅仅是传感器；它需要一种对“接下来会发生什么”的感知能力。这就是“世界模型”（world models）所承诺的前景——这是一种机器人领域的概念，即人工智能学习去想象未来。机器人不再仅仅是对当前所见做出反应，而是构建一个关于当它移动手臂或抓取物体时，世界如何变化的心理模拟。如果机器人能在脑海中可靠地预测其行为的结果，它就可以在不冒险损坏自身或周围环境的情况下测试不同的策略，从而在真正接触物理物体之前，有效地在脑中“梦见”解决问题的最佳方案。

当机器人拥有一只拥有许多运动部件的手（如人类的手），而非简单的两指夹持器时，挑战会呈指数级增加。这些灵巧手提供了惊人的多功能性，能够操纵精细物体或执行复杂任务，但也引入了令人眼花缭乱的变量。一只手可能拥有二十三个可以独立移动的不同关节，创造了一个极其广阔的可能动作空间。预测这样一个复杂的系统将如何与世界互动是非常困难的，因为视觉上的变化是微妙且复杂的。手指的一个微小移动都可能剧烈改变物体的抓握方式，然而标准的视频预测模型往往会模糊这些精细细节，无法捕捉到特定关节运动与物体随之运动之间的精确因果关系。

苏黎世联邦理工学院（ETH Zurich）的研究人员开发了一种应对这一问题的新方法，创建了一个名为 Mask2Real-WM 的系统。他们的目标是构建一个能够准确预测灵巧机器人手与物体交互的未来世界的模型，即使是在仅使用极少量真实世界数据进行训练的情况下。其创新的核心在于他们拆解预测任务的方式。他们并没有试图一次性预测出完整的、写实的未来视频，而是将过程分为两个截然不同的阶段。第一阶段专注于场景的结构，预测手和物体位置的简化地图。第二阶段则利用这张地图，将其绘制成一段真实的视频。

这种分离至关重要，因为它允许研究人员使用大量的模拟数据来教机器人如何运动，同时仅使用极少量的真实世界影像来教它如何呈现外观。在第一阶段，系统学习预测“分割掩码”（segmentation masks），这本质上是显示手、物体和背景的颜色编码轮廓。由于这些轮廓是简单的形状而非复杂的照片，计算机模拟出的样子与真实世界之间的差距大大缩小。这使得研究人员可以在超过五十小时的合成数据上训练系统的运动预测部分。在这个虚拟环境中，机器人可以练习以每一种可能的路径移动手指，涵盖了在真实实验室中收集多年数据也难以企及的运动范围。

一旦系统通过这庞大的模拟库学会了运动物理学，它就会通过仅两点五个小时的真实世界视频进行微调。这就是第二阶段发挥作用的地方。系统获取第一阶段预测的轮廓，并使用专门的渲染模型将其填充为具有真实色彩、纹理和光影的视频。由于理解运动的重任已经在模拟中完成，渲染模型只需要学习真实环境的具体外观，而这是一个可以通过极少数据就能掌握的任务。结果是一个能够观察机器人手部的运动、想象未来几秒钟的动作，并生成写实视频的系统，同时还能保持每个手指的运动清晰且分明。

研究人员在一个涉及拿起并放置日常小物品的基准任务上测试了这个系统。他们发现，这种两阶段方法远优于以往试图一步完成视频预测的方法。旧方法通常只能猜出手的概略路径，但在处理精细细节时却表现不佳，要么将手指模糊在一起，要么无法展示特定关节运动如何改变抓握。相比之下，新系统展示了高度的控制力：当研究人员要求模型仅移动其中一个特定的手指时，模型能准确预测该手指的运动，而不会与其他手指混淆。这种水平的精确度对于机器人真正理解其行为后果而言至关重要。

研究还表明，大规模模拟训练不仅是一个有益的加分项，更是一种必然。当研究人员尝试仅使用少量真实世界数据来训练系统的运动预测部分时，系统无法学会对手指的独立控制。它并没有足够的孤立手指运动案例来理解其运作方式。模拟数据提供了缺失的多样性，让系统接触到了手部所有可能的角度和动作。通过将这种广泛的模拟经验与少量的真实世界视觉训练相结合，研究人员创建了一个能够泛化到新场景（例如不同的光照或从未见过的物体）的模型，其可靠性是以往模型无法比拟的。

最终，这项工作展示了一条教导机器人“先思考后行动”的切实可行之路。通过使用简化的表示形式来弥合模拟与现实之间的鸿沟，研究人员证明了机器人可以在无需数千小时真实世界试错的情况下，学习复杂的物理交互。该系统不仅仅是在猜测下一帧视频看起来像什么；它理解了运动的底层机制，足以自信地预测未来。这种能力为机器人开辟了大门，使其能够在自己的思维中安全地探索新任务，在真正介入物理世界之前，评估不同的策略并从想象中的错误中学习。

技术摘要：Mask2Real-WM

问题陈述

动作条件下的世界模型对于机器人学习至关重要，能够通过预测未来状态来实现策略评估、规划和数据增强，而无需物理交互。然而，为**灵巧操作（dexterous manipulation）**构建此类模型仍然是一个重大挑战。主要障碍包括：

高维动作空间： 灵巧手涉及众多的自由度（在此设置中为 23 维：6 自由度笛卡尔末端执行器位姿 + 17 个手部关节位置）。
数据稀缺性： 大规模、高质量的灵巧操作数据集非常罕见。
预测保真度： 现有的视频模型通常难以准确预测精细的指尖与物体接触，经常会导致这些关键区域模糊。
模拟到现实（Sim-to-Real）差距： 在合成数据上训练往往难以迁移到现实世界，这是由于外观（光照、纹理）和动力学方面的差异造成的。

方法论：Mask2Real-WM

作者提出了 Mask2Real-WM，这是一种两阶段、动作条件下的世界模型，它将像素预测解耦为动力学模型（dynamics model）和渲染模型（rendering model）。这种分解使系统能够利用分割掩码（segmentation masks）固有的较小 sim-to-real 差距，同时仍能生成逼真的输出。

1. 问题形式化

该模型在多视角设置（ $V=2$ ）下运行，具有 $k=5$ 个过去观测值的上下文窗口，并预测未来 $H=5$ 步的视界。目标是在给定过去观测值和动作序列 ( $a$ ) 的情况下，建模未来 RGB 帧 ( $I$ ) 和分割掩码 ( $m$ ) 的联合分布：
$p(I_{t+1:t+H}, m_{t+1:t+H} \mid I_{t-k:t}, m_{t-k:t}, a_{t-k:t+H})$

2. 分解策略

联合分布被分解为两个独立的阶段：
$p(I, m \mid \dots) = \underbrace{p(m_{t+1:t+H} \mid m_{t-k:t}, a_{t-k:t+H})}_{\text{WM1: 动力学}} \cdot \underbrace{p(I_{t+1:t+H} \mid I_{t-k:t}, m_{t-k:t+H}, a_{t-k:t+H})}_{\text{WM2: 渲染}}$

WM1 (动力学模型)： 从过去的掩码和动作序列中预测未来的分割掩码。由于分割掩码比 RGB 图像具有更小的 sim-to-real 差距，因此 WM1 在超过 50 小时的合成模拟数据上进行了中期训练（midtrained），然后并在约 2.5 小时的真实数据上进行了微调。
WM2 (渲染模型)： 将预测的掩码映射为逼真的 RGB 图像。它仅在真实数据（约 2.5 小时）上进行训练，以学习环境的具体外观。

3. 架构细节

骨干网络： 两个模型都利用了 Stable Video Diffusion (SVD) 骨干网络。
WM1 (图 2 左侧)：
- 从 SVD 初始化并通过 LoRA 进行适配。
- 以过去/未来的掩码和动作为输入。
- 动作（6-DoF 位姿 + 17 个关节角度）通过 MLP 进行投影，并通过逐帧交叉注意力（frame-wise cross-attention）注入。
- 在带有地面真值掩码的合成数据（IsaacLab）上进行训练，然后在真实数据上进行微调。
WM2 (图 2 右侧)：
- 以预测的掩码（来自 WM1）、过去的 RGB 帧和动作为条件。
- 使用一个带有轻量级 CNN 编码器的 ControlNet 分支来处理分割掩码。该 CNN 在像素空间运行，以保持 VAE 编码器可能会模糊的锐利边界。
- SVD 骨干网络是冻结的；LoRA 和 ControlNet/CNN 在真实数据上进行训练。
- 通过对掩码和动作条件的独立丢弃（dropout）来实现无分类器指导（classifier-free guidance）。

4. 数据流水线

模拟： 使用 IsaacLab 通过基于 MimicGen 的流水线和探索性正弦关节生成器生成。这涵盖了完整的 17-DoF 关节范围，提供了在有限真实数据中缺失的多样化、富含接触的运动。
真实数据： 约 2.5 小时使用 ORCA 手和 Rokoko 手套进行的遥操作演示。掩码使用 SAM 3 (Segment Anything Model) 作为伪标签自动生成，消除了手动逐帧标注的需求。

核心贡献

分割作为 Sim-to-Real 的桥梁： 作者证明了使用分割掩码作为中间表示可以实现动力学模型的大规模合成中期训练，有效地弥合了 sim-to-real 差距。
两阶段世界模型： 引入了 Mask2Real-WM，它将动力学预测（WM1）与外观渲染（WM2）分离，允许每个组件针对其特定领域（模拟 vs. 现实）进行优化。
提高可控性： 实验表明，对动力学模型进行模拟中期训练，相比仅在真实数据上训练的模型，显著提高了动作可控性。

实验结果

该模型在一个使用 Franka Emika Panda 机械臂和 ORCA 手的灵巧抓取与放置基准测试上进行了评估（23 DoF 动作空间）。

动作可控性

作者通过使用正弦信号扰动单个动作维度并评分视觉响应，测量了“命令-响应可控性”。

全模型 (Sim $\to$ Real WM1 + Real WM2)： 实现的平均可控性得分在分布内 (In-Distribution) 为 0.95，在分布外 (Out-of-Distribution) 为 0.87。
仅真实数据的 WM1： 得分为 0.68 (ID) 和 0.51 (OOD)，这表明如果没有合成中期训练，模型无法捕捉精细的单指动力学。
单体基线 (Ctrl-World)： 得分明显较低（~0.6 ID，~0.44 OOD），虽然能捕捉宏观轨迹，但无法反映精细的、针对单维度的动作效应。

视频预测质量

锐利度： 与倾向于产生模糊、时间平均输出的单体基线相比，全模型产生了更锐利的预测，具有更好的高频细节。
泛化性： 模型在分布偏移（例如，新背景、物体缺失）下比基线更好地保持了结构完整性，尽管原始像素指标（PSPS/SSIM）可能具有误导性，因为它们通常有利于模糊的基线。
消融实验： 移除 WM2 中的掩码条件会导致输出模糊，证实了 ControlNet 分支是空间质量的主要驱动力。

重要性与主张

论文声称 Mask2Real-WM 为未来的想象中策略评估提供了基础，因为它能够实现具有高命令-响应可控性的长程、自回归展开。

模块化： 两阶段设计提供了实用的模块化特性；WM1 可以作为一个轻量级的动力学检查器，而 WM2 可以通过仅更新 ControlNet 权重来针对新场景进行微调。
可扩展性： 该方法通过利用合成模拟进行动力学学习，解决了灵巧操作真实数据稀缺的问题，作者认为这一策略广泛适用于大规模真实数据不可用的场景。
局限性： 作者承认当前的瓶颈在于 WM1 的物体状态预测（例如，物体在遮挡下消失或重复出现）。他们还指出，可控性得分是指示性的（基于单一评估器），并且固定摄像机假设限制了部署的灵活性。

总之，本文认为，通过分割掩码将动力学与渲染解耦，结合模拟中期训练，是实现用于灵巧操作的可控、高保真世界模型的必要且有效的策略。