💻 computer science

MVP-LAM: Learning Action-Centric Latent Action via Cross-Viewpoint Reconstruction

该论文提出了 MVP-LAM，这是一种多视角模型，它通过跨视角重建学习以动作为中心的潜在动作，以改进 VLA 预训练及下游机器人操作性能。

原作者： Jung Min Lee, Dohyeok Lee, Seokhun Ju, Taehyun Cho, Jin Woo Koo, Li Zhao, Sangwoo Hong, Jungwoo Lee

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Jung Min Lee, Dohyeok Lee, Seokhun Ju, Taehyun Cho, Jin Woo Koo, Li Zhao, Sangwoo Hong, Jungwoo Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是 MVP-LAM 论文的通俗解释，辅以日常类比。

核心难题：机器人需要学习，但视频会“撒谎”

想象一下，你想教机器人如何制作三明治。通常，最好的学习方式就是观察人类如何操作。但这里有个陷阱：视频并没有附带“遥控器”。

当你观看某人制作三明治的视频时，你看到的是结果（面包在移动，刀在切割），但你看不到人类所使用的确切肌肉动作（即“动作”）。机器人通常需要这些确切的动作才能学习。

为了解决这个问题，科学家们一直试图通过观察视频从一帧到下一帧的变化，教会计算机去“猜测”动作。他们将这些猜测称为**“潜在动作”（Latent Actions）**。你可以把这些想象成计算机发明的一种“秘密代码”，用来描述“这两张图片之间发生了什么”。

陷阱所在：
问题在于视频充满了噪声。如果一个人伸手去拿杯子，视频会发生变化。但如果相机也移动了，视频同样会发生变化。

错误： 计算机可能会看着视频心想：“啊，杯子移动是因为相机旋转了！”而不是“杯子移动是因为手推了它。”
后果： 机器人学到了错误的教训。它学会的是对相机移动做出反应，而不是对实际的手部移动做出反应。这就像学生为了考试而死记硬背题目的字体大小，而不是去记答案。

解决方案：MVP-LAM（“双视角”技巧）

作者提出了一种名为 MVP-LAM（多视角潜在动作模型）的新方法。他们的秘诀在于使用两台相机（或多个视角）同时记录同一事件。

请看这个类比：
想象你在观看一位魔术师表演戏法。

相机 A 站在左侧。
相机 B 站在右侧。

如果魔术师移动了手，两台相机都会看到手在移动。
如果魔术师没有移动，但相机 A 被碰了一下而晃动，那么只有相机 A 会看到晃动。相机 B 看到的则是一幅静止的画面。

MVP-LAM 如何工作：
MVP-LAM 不再只是盯着一个相机去猜测动作，而是玩起了“交叉验证”的游戏：

它观察来自相机 A 的动作。
它尝试预测相机 B 在下一秒会看到什么。
规则： 如果这个“秘密代码”（潜在动作）仅仅是关于相机 A 的移动，那么它将无法帮助预测相机 B 会看到什么。唯一能让两台相机都达成共识的，是物体的实际移动。

通过迫使计算机利用视角 A 的动作来解释视角 B 的未来，计算机被迫忽略相机的移动，只专注于真实的动作（手移动杯子）。这就像让两个人描述一个秘密；如果他们只在真正属实的部分上达成一致，你就知道你已经找到了真相。

他们的发现

该论文在名为 Bridge V2 的数据集（一组机器人视频集合）上测试了这种方法，并与其他方法进行了比较。

更优质的“秘密代码”： MVP-LAM 发明的代码在描述实际机器人动作方面要出色得多。与以往的方法相比，它们包含了多 62% 的关于真实动作的有用信息。
鲁棒性： 即使相机角度发生轻微变化（例如机器人的头部倾斜），系统仍然知道机器人在做什么。它不会被新的角度搞糊涂。
更好的机器人表现： 当他们使用这些“更优质的代码”来训练机器人执行任务（如堆叠积木或抓取物体）时，机器人学得更快，表现也更好。
- 结果： 使用 MVP-LAM 训练的机器人，在解决复杂谜题（在模拟环境中）时，所需的训练数据比其他机器人少 3 倍。这就像一个学生只需学习 1 小时就能通过考试，而其他人则需要 3 小时。

为什么这很重要（根据论文所述）

论文声称，通过利用多角度的视频，我们可以教会机器人理解“因果关系”（我移动了手 -> 杯子移动了），而无需昂贵的人工标注来确切告知它们该如何移动。

类比： 这就像是一个死记硬背教室特定灯光的学生（一旦灯光改变就考砸了），与一个真正理解课程概念的学生（在任何房间都能通过考试）之间的区别。

总结

问题： 机器人在从视频学习时，会被相机移动搞糊涂。
对策： 使用两台相机，并迫使 AI 利用另一台相机的动作来解释其中一台相机的视角。
结果： AI 学会了“纯粹”的动作，忽略了相机噪声，并教会机器人以更快的速度和更少的数据完成任务。

论文结论认为，这种方法是在创造“通用”机器人大脑方面迈出的重要一步，这些大脑可以从互联网上已有的海量人类视频中学习，而无需人类去标注每一个动作。

技术摘要：MVP-LAM

问题陈述

训练通用机器人策略的瓶颈在于真实世界中带动作标注的演示数据成本高昂且稀缺。虽然大规模人类操作视频为学习可迁移的先验知识提供了有前景的替代方案，但它们缺乏真实动作标签，阻碍了标准的监督模仿学习。最近的方法试图通过训练**潜在动作模型（Latent Action Models, LAMs）**来解决这一问题，这些模型将帧到帧的转换编码为紧凑的表示，用作视觉 - 语言 - 动作（VLA）预训练的伪动作标签。

然而，一个关键挑战依然存在：从单视角视频中学到的潜在动作往往无法保持对底层真实动作的信息量。它们倾向于过拟合外生噪声，特别是视角变化。在人类视频（通常为主观视角）中，相机运动与智能体动作相互纠缠。因此，标准的 LAM 可能会编码特定视角的线索（例如背景运动或相机偏移），而不是智能体的实际控制信号，从而降低了其作为下游控制伪标签的效用。

方法论：MVP-LAM

作者提出了多视角潜在动作模型（Multi-ViewPoint Latent Action Model, MVP-LAM），这是一个无监督框架，旨在利用时间同步的多视角视频来学习以动作中心的潜在动作。

核心目标

目标是最大化潜在动作 $Z_t$ 与真实动作 $A_t$ 之间的互信息 $I(Z_t; A_t)$ ，同时最小化 $Z_t$ 所包含的关于视角 $V_t$ 的信息。理论上，在固定容量的瓶颈（例如向量量化）下，编码视角信息会减少可用于动作相关动态的容量。

架构与训练

MVP-LAM 建立在向量量化变分自编码器（VQ-VAE）架构之上，类似于 UniVLA 等先前的工作，但引入了一种新颖的跨视角重建目标：

输入：时间同步的多视角视频对 $(I^{v_1}_t, I^{v_2}_t)$ 。
特征提取：使用冻结的编码器（DINOv2）提取视觉特征 $o^v_t$ 。
潜在动作推断：编码器 $E_\theta$ 从特定视角 $v$ 的连续特征 $(o^v_t, o^v_{t+1})$ 预测连续潜在变量 $e^v_t$ ，随后将其向量量化为离散 token $z^v_t$ 。
重建损失：模型通过两个互补的目标进行训练：
- 自视角重建（ $L_{self}$ ）：使用当前帧和来自同一视角的潜在 token（ $z^v_t$ ）重建下一帧 $o^v_{t+1}$ 。
- 跨视角重建（ $L_{cross}$ ）：使用当前帧和来自不同但同步视角的潜在 token（ $z^{\tilde{v}}_t$ ，其中 $v \neq \tilde{v}$ ）重建下一帧 $o^v_{t+1}$ 。

以动作中心性的机制：
跨视角目标迫使潜在 token $z^v_t$ 解释不同相机视角的未来状态。由于特定视角的因素（例如相机 $v$ 独有的背景运动）无法解释视角 $\tilde{v}$ 中的转换，模型因此被抑制去编码这些因素。相反， $z^v_t$ 必须捕捉跨视角一致的、由动作驱动的共享动态。这有效地过滤掉了外生噪声，而无需动作标签。

主要贡献

MVP-LAM 框架：引入了一种无监督学习框架，利用多视角视频和跨视角重建目标来学习与真实动作高度对齐的离散潜在动作。
改进的以动作中心性：证明在 Bridge V2 数据集上，与单视角基线（UniVLA、LAPA、Moto）相比，MVP-LAM 与真实动作实现了显著更高的互信息，并具有更好的线性动作预测精度。
对视角扰动的鲁棒性：证据表明，即使从视角扰动的转换中推断，MVP-LAM 潜在动作仍能保留转换相关信息，并在各视角间保持动态一致性。
高效的 VLA 预训练：验证了使用 MVP-LAM 潜在动作预训练的 VLA 在操作基准测试（SIMPLER 和 LIBERO）上优于基线，同时需要大幅更少的预训练数据（例如，数据集规模仅为基于 OXE 的基线的 1/3）。

实验结果

作者在 Bridge V2 数据集上评估了 MVP-LAM 的潜在动作学习性能，并在 SIMPLER 和 LIBERO 套件上评估了下级 VLA 性能。

以动作中心性（Bridge V2）：
- 互信息（MI）：与 UniVLA、LAPA 和 Moto 相比，MVP-LAM 在 KSG、BA 和 MINE 估计器上实现了最高的估计互信息（ $I(Z; A)$ ）。
- 线性探测：一个用于从潜在 token 预测真实动作的简单线性层，在 MVP-LAM 上取得了最低的归一化均方误差（NMSE），表明其具有更优越的动作信息保留能力。
下游操作（SIMPLER & LIBERO）：
- SIMPLER：MVP-LAM 预训练的 VLA 实现了 60.4% 的平均成功率，在所有四项任务中显著优于 UniVLA（39.6%）及其他基线。
- LIBERO：MVP-LAM 实现了 94.1% 的平均成功率，优于 UniVLA（92.5%），并与 $\pi_0$ （94.2%）等最先进模型保持竞争力，尽管其预训练数据集要小得多（仅 Bridge V2， $\le$ 60k 轨迹，而 OXE 为 $\ge$ 970k）。
- 分布外（OOD）：MVP-LAM 在 OOD 任务（空间、物体、目标、长程）上表现出鲁棒性能，特别是在具有挑战性的 LIBERO-Long 套件上表现突出。
鲁棒性与扩展性：
- 视角扰动：在测试新视角合成的转换时，MVP-LAM 保持了高 MI 和低 NMSE，而 UniVLA 等基线在注意力聚焦和预测精度方面显示出显著下降。
- 同步误差：该模型对合成同步延迟（ $\ell \in \{0, 2, 4\}$ 帧）保持鲁棒。
- 扩展性：随着视角数量、数据集比例和模型规模的增加，性能持续改善。

意义与主张

该论文声称，MVP-LAM 代表了迈向通用潜在动作模型的一步，因为它在不依赖动作监督的情况下解决了基于视频的预训练中外生噪声的问题。

数据效率：主要意义在于能够从网络规模的多视角人类视频中学习高质量、以动作中心的表示，从而使得 VLA 预训练所需的数据量比依赖大规模机器人数据集的先前方法减少几个数量级。
泛化能力：通过将动作动态与特定视角的线索解耦，MVP-LAM 生成的表示能更好地泛化到新视角和新环境中。
实用性：该方法利用现有的多视角数据集（例如 EgoExo4D、Open X-Embodiment），并自然地集成到当前的具身智能流水线中，为通用机器人学习提供了一条可扩展的路径。

作者指出了局限性，包括对同步多视角数据的依赖（这比单视角数据更难收集），以及当前评估仅限于仿真环境，尽管他们强调 SIMPLER 与真实世界性能具有相关性。未来的工作建议探索弱同步或伪配对的多视角数据，以进一步放宽对仪器配置的要求。