💻 computer science

MV-WAM: Manifold-Aware World Action Model with Value Augmentation

本文介绍了 MV-WAM，这是一个新颖的端到端框架，通过采用流形感知优化和价值增强，解决了具身机器人中视觉与动作模态之间的结构失配问题，从而在模拟和真实世界的操控任务中实现了显著提升的泛化能力与鲁棒性。

原作者： Jintao Chen, Peidong Jia, Qingpo Wuwu, Jiaming Liu, Mengfei Du, Chun-Kai Fan, Xiaowei Chi, Hao Chen, Chengyu Bai, Zezhong Qian, Hao Wang, Jiajun Cao, Weishi Mi, Xiaozhu Ju, Jian Tang, Shanghang Zhang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jintao Chen, Peidong Jia, Qingpo Wuwu, Jiaming Liu, Mengfei Du, Chun-Kai Fan, Xiaowei Chi, Hao Chen, Chengyu Bai, Zezhong Qian, Hao Wang, Jiajun Cao, Weishi Mi, Xiaozhu Ju, Jian Tang, Shanghang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在教一个机器人做家务，比如折叠一件衬衫或拿起一个杯子。旧的方法是给机器人看一段某人做这项任务的视频，然后说：“模仿这个。”但如果你把机器人放在一个光照不同、桌子不同或杯子略有不同的房间里，机器人往往会感到困惑并失败。这就像一个学生背下了特定数学考试的答案，但如果题目中的数字变了，他就无法解决类似的题目。

这篇论文介绍了一个名为 MV-WAM（具有价值增强的流形感知世界动作模型）的新系统。你可以把它想象成赋予了机器人一种“超级直觉”，这种直觉将视觉、动作和对进度的判断同时结合在一起。

以下是其工作原理的拆解，使用了简单的类比：

1. 问题所在：“两种不同语言”的问题

作者注意到目前机器人学习方式中存在一个根本性的不匹配。

视觉（看）： 这就像一部高清电影。它很复杂，充满了细节，并且不断变化（光照、阴影、纹理）。
动作（做）： 这就像一套精确的舞蹈动作。它是低层级的、具体的，并且需要非常精准。

在之前的机器人模型中，计算机试图使用完全相同的脑回路来同时学习“电影”和“舞蹈动作”。论文认为，这就像试图让一名画家和一名外科医生使用同一把画笔。那个“画家”部分（视觉）是如此嘈赶且复杂，以至于淹没了“外科医生”的部分（动作）。当环境发生变化（分布外 - OOD）时，机器人会感到困惑，因为“画家”对变化过于敏感，导致“外科医生”掉落了手术刀。

2. 解决方案：一支专业化团队 (MV-WAM)

MV-WAM 通过在机器人的大脑中创建一个由两名专业专家组成的团队来解决这个问题，他们互相交流但各司其职：

视觉专家（梦想家）： 这部分是在数百万小时的“无动作”视频（仅仅是观察世界的运动）上进行训练的。它学习物体如何相互作用、光线如何变化以及物体如何落下。它就像一位知道场景“应该”呈现何种样貌的电影导演。
动作-价值专家（执行者与评判者）： 这部分学习实际的机器人运动。至关重要的是，它不仅预测动作，还预测一个**“价值得分”**（进度计）。

神奇的技巧：
MV-WAL 并没有强迫它们使用相同的学习规则，而是对它们进行了差异化处理。

它教视觉专家去预测“电影的流动”（即场景从一帧到下一帧是如何变化的）。
它教动作专家去预测“精确的目的地”（即手需要位于何处）。
它们通过一个“因果掩码”（causal mask）联系在一起，这意味着动作专家可以观察视觉专家“认为”接下来会发生什么，但视觉专家不会被动作专家的噪声所干扰。这就像飞行员（动作）通过查看天气预报（视觉）来决定飞行路径，但天气预报员并不会尝试驾驶飞机。

3. 安全网：“价值引导的回溯”

这是该论文最独特的功能。想象你在走钢丝。如果你感觉到自己在摇晃，你不会只是继续走下去并祈祷，而是会退回到上一个安全点并重新尝试。

MV-WAM 内置了一个“进度计”（价值标记/Value Token）。

当机器人移动时，它不断检查：“我是否正在接近目标？”
如果机器人犯了错误（例如，它抓起了一个杯子，但杯子开始滑动），“进度计”会突然下降。
系统会立即发出警报：“等等！出问题了！”并回溯机器人的状态，回到它表现良好的最后一个时刻。
然后，它会从那个安全点尝试一组新的动作。这一切都是自动完成的，不需要人类按下“停止”按钮。

4. 结果：它奏效了吗？

研究人员在双臂机器人（RoboTwin 2.0）上通过两种方式测试了它：

在模拟器中（电子游戏）： 他们测试了 50 种不同的任务。
- 当环境是“干净的”（与训练时一致）时，所有机器人表现都不错。
- 当他们让环境变得“随机”（杂乱的光线、不同的背景）时，旧的机器人表现惨淡（成功率降至 ~6-26%）。
- MV-WAM 保持了冷静，在混乱的环境中实现了 55.7% 的成功率，大幅领先于次优的机器人（领先了 29.3%）。
在现实世界中（物理机器人）： 他们在真实的机器人手臂上测试了任务，如拿起咖啡袋、放下布料、拿起布料和折叠布料。
- 旧的机器人表现挣扎，尤其是在折叠衣服（一项非常棘手的任务）方面。
- MV-WAM 实现了 77.5% 的平均成功率，在放下和拿起布料的任务上获得了完美分数，并在困难的折叠任务上显著超越了竞争对手。

总结

MV-WAM 是一个意识到“看”和“做”是两种不同技能的机器人大脑。它为它们提供了独立的训练方法，因此它们不会互相干扰。它还赋予了机器人一种“直觉”（价值标记），使其能够知道自己是否偏离了轨道，从而允许它立即倒带并重试。这使得机器人在面对混乱、不可预测的现实世界时更加稳健。

技术摘要：MV-WAM：具有价值增强的流形感知世界动作模型

1. 问题定义与动机

本文解决了在多样化、未见环境中实现鲁棒且泛化机器人操控的基本挑战。虽然近期的视觉-语言-动作（VLA）模型在语义和任务级泛化方面取得了进展，但它们往往在面对视觉和环境变化（如光照、纹理、物体配置）时表现不佳。

世界动作模型（World Action Models, WAMs）试图通过引入大规模、无动作的视频数据来学习视觉动力学，以弥补这一差距。然而，作者观察到现有的 WAM 架构——无论是解耦式的、完全统一的，还是基于混合专家 Transformer（MoTs）的——都无法将视频先验转化为在分布偏移下成比例的动作鲁棒性增益。

识别出的核心问题是结构性流形失配（structural manifold mismatch）。视觉观测存在于由空间和光度正则性支配的高维、密集结构化流形中，而机器人动作则存在于低维、时间结构化、对精度要求极高的流形中。现有的统一模型使用单一目标优化这两种模态，迫使动作分支去符合复杂的视觉流形几何结构。这种“流形无关”的优化导致了动作的泛化界限松散，导致在视觉条件发生变化时，动作性能显著下降。

2. 方法论：MV-WAM

作者提出了 MV-WAM（具有价值增强的流形感知世界动作模型），这是一个端到端的框架，在一个统一的基于 Transformer 的扩散骨干网络中集成了视觉预测、动作生成和价值估计。

2.1 架构：流形感知 MoTs

MV-WAM 构建在具有两个模态特定专家的 混合专家 Transformer（MoTs） 骨干网络之上：

视频专家（Video Expert）： 从大规模预训练视频生成模型（WoW-1.3B）初始化，处理视觉 Token。它使用时空 VAE 将帧压缩为潜在表示。
动作-价值专家（Action-Value Expert）： 该分支处理动作 Token 和价值 Token。它以多视图视觉状态（由 SigLIP2 编码）和语言指令作为条件。
跨模态因果掩码（Cross-Modality Causal Mask）： 一个结构化注意力掩码用于调节信息流。视频 Token 被限制在自注意力内，以保持高保真生成。动作 Token 可以关注视频上下文和其他动作，而价值 Token 则共同关注视觉、动作和状态 Token。这确保了动作是在预测的视觉未来基础上进行条件的，同时不会污染视频生成过程。

2.2 流形感知双重预测目标

为了解决几何失配问题，MV-WAM 采用了针对每个流形固有曲率量身定制的截然不同的损失函数：

视觉分支： 使用标准的**流匹配（Flow Matching）**在具有高曲率的视觉流形上预测速度场（ $v_\theta$ ）。
动作分支： 在低曲率的动作流形上使用直接状态回归目标（预测干净的动作潜在变量 $a_0$ ）。
联合优化： 总损失是这两个不同目标的加权和（ $L = \lambda_v L_v + \lambda_a L_a$ ），防止视觉目标主导或破坏动作学习信号。

2.3 基于进度值的调节机制

为了处理推理过程中的执行偏差，模型包含了一个**基于进度值的调节（Progress-Valued Regulation）**机制：

价值估计： 动作-价值专家通过蒙特卡洛（MC）回报进行训练，预测任务价值 Token，用以估计任务进度和完成度。
价值引导的回滚（Value-Guided Rollback）： 在在线执行期间，如果预测的价值显著低于学习到的峰值（ $\hat{c}_t < c_{peak} - \delta$ ），系统会触发回滚与重采样协议。策略会返回到对应于峰值价值的缓存状态，并重新采样一个新的动作块（action chunk）。这使得机器人能够自主检测并从错误中恢复，而无需人工干预或完整的轨迹再生。

2.4 训练策略

MV-WAM 采用两阶段训练程序：

视频预训练： 视频专家在规模化的视觉数据上进行预训练。
联合微调： 全模型（视频专家 + 动作-价值专家）在配对的演示数据上进行微调。

3. 核心贡献

MV-WAM 框架： 一个统一的世界动作模型，能够共同生成视觉预测、机器人动作和价值估计。它引入了流形感知多目标公式和跨模态因果掩码，将动作生成锚定在预测的视觉未来中，同时尊重各模态独特的几何结构。
基于进度的调节： 一种新型机制，用于估计任务完成度并检测视觉-动作失配，从而实现执行过程中的自主偏差检测和价值引导的恢复（回滚）。
最先进的泛化能力： 该框架在域内（in-domain）和分布外（OOD）设置下均展示了卓越的性能，证明了原则性的几何对齐比单纯增加模型规模或深度对于泛化更为关键。

4. 实验结果

4.1 仿真环境 (RoboTwin 2.0)

在涵盖“洁净”（域内）和“随机”（带有扰动光照、背景和物体的 OOD）设置的 50 个操控任务上进行了评估：

性能： MV-WAM 在随机场景下实现了 55.7% 的平均成功率，超过最强的基线模型（HALO）29.3%。
鲁棒性： MV-WAM 从洁净到随机环境的相对下降仅为 33.7%，相比之下，HALO 为 67.2%，Fast-WAM 为 91.2%。
少样本学习： 在零样本设置下，MV-WAM 在随机任务上达到了 54.0% 的成功率，在仅有 10 个样本后提升至 74.6%。

4.2 真实世界部署

在 TienKung 双臂机器人的四个不同难度任务（刚性抓取、布料处理、可变形操控）上进行了评估：

性能： MV-WAM 实现了 77.5% 的平均成功率，显著优于 $\pi_0$ (42.5%) 和 RDT (32.5%)。
特定任务： 它在“丢布料（Drop Cloth）”和“捡布料（Pick Cloth）”任务上达到了完美分数 (100%)，而基线模型在这些任务上的表现低于 70%。在最难的任务“折叠布料（Fold Cloth）”中，MV-WAM 实现了 20% 的成功率，而 RDT 为 0%。

4.3 消融实验

流形感知： 将流形感知目标替换为单一的统一目标（例如，对两者都使用噪声预测）会导致随机场景下的成功率从 55.7% 骤降至 6.0%，验证了不同几何目标的必要性。
去噪步数： 模型即使在较少的去噪步数下仍保持鲁棒（3 步即可恢复 >96% 的 5 步性能）。
价值 Token： 去除价值预测分支会降低性能，证实了进度信号对策略学习的效用。

5. 意义与主张

本文认为，机器人操控中的泛化差距不仅是数据不足或模型规模不够的问题，更是视觉与动作模态之间几何失配的一个基本问题。

核心洞察： 更深的视频-动作耦合并不自动带来更好的动作泛化；相反，流形感知的跨模态对齐至关重要。
效率： MV-WAM 以比竞争对手更少的参数实现了这些增益，这表明架构设计（特别是尊重流形几何）是鲁棒性的主要驱动力。
自主性： 价值引导的回滚机制为机器人自主识别执行偏差并进行恢复提供了一条路径，这是实现非结构化现实环境中可靠部署机器人的关键一步。

作者承认了局限性，指出所提机制向更大模型规模扩展性的测试尚不充分，且蒙特卡洛价值估计在稀疏奖励、长程任务中可能存在噪声。