Mantis: A Versatile Vision-Language-Action Model with Disentangled Visual Foresight

本文提出了 Mantis，一种通过解耦视觉预测与主干网络、利用元查询和扩散 Transformer 头实现视觉前摄能力的新型视觉 - 语言 - 动作模型，在保持语言理解与推理能力的同时，显著提升了机器人策略的学习效率、指令遵循及泛化性能。

要点

这篇论文介绍了一个名为 Mantis（螳螂） 的机器人“大脑”。你可以把它想象成一位既懂语言、又懂视觉，还能“预知未来”的超级机器人管家。

为了让你轻松理解，我们把机器人做任务的过程比作**“在厨房里帮主人做饭”**。

1. 以前的机器人遇到了什么麻烦？

以前的机器人（现有的 VLA 模型）就像是一个刚学会看菜谱的新手厨师：

• 看得懂字，但手跟不上：它能读懂“把杯子拿起来”这句话，也能看到杯子在哪，但让它真正动手时，它往往反应迟钝，或者动作笨拙。
• 顾此失彼：如果强行让它一边看菜谱（语言），一边预测下一秒杯子会怎么动（视觉），它的脑子就会“过载”。要么它忘了菜谱里的意思（不懂人话），要么它算得太慢（动作太慢），要么为了算得快，它把细节都丢了（动作不准）。

2. Mantis 的绝招：把“思考”和“预测”分开（解耦）

Mantis 的核心创新叫做**“解耦的视觉预见”（Disentangled Visual Foresight）。这就像给机器人装了一个“双核处理器”**：

• 核心 A（主脑）：负责“懂人话”和“推理”
  它保留了强大的语言理解能力。当主人说：“我渴了，帮我拿杯水。”它不仅能听懂，还能推理出“水”在哪里，杯子是什么，甚至知道如果杯子满了不能倒。它不需要去计算杯子下一秒会怎么动，所以它的大脑很轻松，理解力满分。

• 核心 B（副脑）：负责“预演未来”
  这是 Mantis 最厉害的地方。它像一个**“时间旅行者”**。

  • 以前的做法：让主脑一边想“拿杯子”，一边在脑子里模拟“手伸过去、抓住、拿起来”的每一个像素变化。这太累了，而且容易算错。
  • Mantis 的做法：它有一个专门的“预演模块”。它看着现在的画面，直接问自己：“如果机器人动了，下一帧画面会是什么样？”
  • 关键点：它不需要把整个画面画得清清楚楚，它只需要捕捉**“变化”（比如手从左边移到了右边）。这种“变化”其实就是“动作”**。
  • 比喻：就像你看电影时，不需要记住每一帧画面，你只需要记住**“剧情是怎么发展的”**。Mantis 通过预测“剧情（画面变化）”，自动推导出了“动作（手该怎么动）”。

3. 它是如何学习的？（循序渐进的食谱）

Mantis 不是生下来就什么都会的，它采用了**“三步走”**的渐进式训练法，就像教孩子学做饭：

1. 第一步：看人类视频（学常识）
   让它看 22 万段人类做家务的视频。这时候不教它具体怎么动，只让它看“人是怎么把东西从 A 放到 B 的”。这让它学会了**“世界是怎么运作的”**（比如杯子是易碎的，水会流动）。
2. 第二步：看机器人演示（学动作）
   给它看 7 万段机器人操作的视频。这时候开始把“画面变化”和“机械臂动作”对应起来。它学会了：“哦，原来画面里那个红点往右移，就是机械臂往右动。”
3. 第三步：听人说话（学指令）
   最后，它开始大量阅读图文数据（38 个数据集）。这时候它把前两步学到的东西和语言结合起来。当主人说“把杯子放桌上”，它能瞬间调用之前的经验，既知道杯子在哪，也知道怎么放，还能听懂“放”这个字的含义。

4. 它的“自适应”技能（智能省力模式）

在真实世界里，Mantis 还有一个**“自适应时间集成”**（ATE）功能。

• 比喻：想象你在走钢丝。
  • 当你走平地（比如只是把空杯子拿起来）时，Mantis 会**“快跑”**，减少计算次数，动作干脆利落，不浪费电。
  • 当你走钢丝（比如要把水倒进一个很细的瓶口）时，Mantis 会**“慢走”**，增加计算次数，反复确认每一步，确保万无一失，不会洒出来。
  • 这种**“该快则快，该慢则慢”**的策略，让它既高效又稳定。

5. 结果怎么样？

• 在模拟考试中（LIBERO 基准）：Mantis 的得分高达 96.7%，打败了几乎所有现有的机器人模型。而且它学得非常快，收敛速度惊人。
• 在真实世界中：
  • 如果你让它做常规任务（比如“把杯子放桌上”），它做得很好。
  • 如果你给它没见过的指令（比如“把杯子放在那个像钢铁侠一样的玩偶上”），它也能通过推理（知道钢铁侠是红色的、有盔甲）成功完成。
  • 相比之下，其他模型（比如 $\pi0.5$）在面对这种需要“动脑筋”的指令时，往往就懵了，或者完全听不懂。

总结

Mantis 就像是一个**“懂事的实习生”：
它不再试图用一颗大脑同时处理所有杂事。它把“理解指令”和“预测动作”**分开了。

• 它听得懂人话（保留了强大的语言理解力）。
• 它能预知未来（通过预测画面变化来指导动作）。
• 它懂得变通（根据任务难度自动调整计算量）。

这篇论文证明了，让机器人学会“预知未来”的画面变化，是让它变得更聪明、更灵活的关键钥匙。

技术摘要

这是一篇关于 Mantis 的论文技术总结，Mantis 是一种具有解耦视觉预见（Disentangled Visual Foresight, DVF） 能力的通用视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型。

以下是对该论文的详细技术总结：

1. 研究背景与核心问题 (Problem)

现有的 VLA 模型在将预训练的视觉 - 语言模型（VLM）迁移到机器人控制任务时面临以下主要挑战：

• 动作信号稀疏与模型容量不匹配：机器人动作信号通常是低维且稀疏的，难以充分监督处理高维感官输入的大型 VLA 模型，导致模型表示能力未被充分利用。
• 视觉预见（Visual Foresight）的权衡困境：
  • 直接预测高维未来视觉状态（如未来帧）虽然能提供丰富信息，但会分散模型对动作预测的注意力，导致训练成本高、收敛慢。
  • 将视觉状态压缩为紧凑信号（如关键点轨迹）虽然降低了维度，但会造成信息瓶颈，丢失细微的运动变化。
• 语言理解能力的退化：现有的 VLA 方法往往忽视语言监督，导致模型在机器人微调过程中丢失了预训练阶段获得的语义理解和推理能力（即“灾难性遗忘”），难以处理复杂的指令或泛化到未见过的指令。

2. 方法论 (Methodology)

Mantis 提出了一种新颖的框架，核心在于解耦视觉预见预测与动作学习，并采用渐进式训练策略。

A. 模型架构

• 骨干网络 (Backbone)：基于强大的 Qwen2.5-VL，负责处理语言指令和视觉输入，保持语义理解能力。
• 解耦视觉预见头 (DVF Head)：
  • 使用 Diffusion Transformer (DiT) 作为预测头，结合 元查询 (Meta Queries) 来预测未来的视觉状态。
  • 关键创新：DVF 头与骨干网络解耦。骨干网络不直接生成未来帧，而是通过残差连接将当前视觉状态输入 DiT。
  • 潜在动作查询 (Latent-Action Queries, [LAT])：DiT 利用当前帧和残差连接，自动捕捉帧间动态（即视觉轨迹），这些动态被 [LAT] 查询提取为“潜在动作”。这些潜在动作作为显式动作预测的辅助信号，引导模型学习更有效的动作策略。
• 动作头 (Action Head)：基于 DiT 的动作预测头，利用因果注意力机制从输入和潜在动作查询中提取信息，输出显式的机器人动作轨迹。
• 多间隙查询 ([GAP])：引入多时间步间隙查询，支持不同时间跨度的未来帧预测，增强训练的多样性。

B. 渐进式训练食谱 (Progressive Training Recipe)

为了避免多模态信号（视觉、语言、动作）在预训练阶段的相互竞争和不稳定收敛，Mantis 采用三阶段训练：

1. 多间隙视觉训练 (Multiple Gap Vision Training)：仅在人类操作视频上训练 DVF 头和 [LAT] 查询，冻结骨干网络。让模型学习通用的操作技能和世界知识，推断潜在动作。
2. 视觉 - 动作联合训练 (Vision-Action Joint Training)：引入机器人演示数据，固定时间步长，联合优化视觉损失和动作损失。冻结骨干网络，解冻动作查询。
3. 语言监督混合训练 (Language Supervised Mix Training)：引入 38 个多模态数据集（如 LLaVA-Instruct, COCO 等）和机器人数据。解冻骨干网络，加入语言交叉熵损失。此阶段确保模型在学会动作的同时，保留强大的语言理解和推理能力。

C. 自适应时间集成 (Adaptive Temporal Ensemble, ATE)

为了解决推理时的计算效率与运动稳定性之间的矛盾，提出了 Mantis-ATE 变体：

• 机制：动态调整时间集成（Temporal Ensemble）的强度。
• 判断逻辑：
  • 目标补丁 (Target Patches)：与语言指令最相关的图像区域。
  • 动态补丁 (Dynamic Patches)：视觉变化显著的区域（如机械臂运动）。
  • 如果两者重叠（意味着正在进行精细操作，如抓取），则激活时间集成以增强稳定性；否则关闭集成以提高推理速度。
• 效果：在保持性能的同时，将推理次数减少了 50%。

3. 主要贡献 (Key Contributions)

1. 提出解耦视觉预见 (DVF)：将视觉预测从骨干网络中解耦，利用元查询和 DiT 头提供简洁、有指导性的前瞻线索，既避免了信息瓶颈，又减轻了骨干网络的负担。
2. 渐进式多模态融合策略：设计了三阶段训练食谱，有效平衡了动作预测、视觉预见和语言理解的学习，避免了模态竞争。
3. 高性能与强泛化：Mantis 在仿真和真实世界实验中均表现出 SOTA 性能，特别是在指令遵循和泛化能力上。
4. 推理效率优化：提出了 ATE 策略，显著降低了推理成本。

4. 实验结果 (Results)

A. 仿真基准 (LIBERO Benchmark)

• 成功率 (Success Rate)：Mantis 在 LIBERO 基准的四个任务套件（Spatial, Object, Goal, Long）中取得了 96.7% 的平均成功率，超越了 OpenVLA (76.5%)、CoT-VLA (81.1%) 以及强大的 π0 (94.2%) 和 UniVLA (95.2%) 等基线。
• 收敛速度：Mantis 的收敛速度显著快于其他视觉预见方法（如 UnifiedVLA），在训练初期即表现出高成功率，证明了 DVF 解耦设计的有效性。

B. 真实世界实验 (Real-World Experiments)

• 平台：在 Agilex 机器人平台上进行测试。
• 指令遵循与泛化：
  • 对比对象：π0.5（当前领先的开源 VLA 模型）。
  • 结果：Mantis 在域内 (ID) 和 域外 (OOD) 指令上均显著优于 π0.5。
  • OOD 案例：Mantis 能成功执行如“把杯子放在铁人（Iron Man）上”（需要世界知识）或“把熊放在数字 8 上”（需要算术推理）等复杂指令，而 π0.5 在 OOD 指令上几乎失败。这证明了语言监督对保留推理能力至关重要。
• 推理效率：Mantis-ATE 变体将推理调用次数减少了约 50%，同时保持了与标准版相当的任务成功率。

C. 消融实验

• DVF 变体：证明了预训练的 DVF 头效果最好，且残差连接对于捕捉潜在动作至关重要。
• 语言监督：移除了语言监督的模型（Mantis-LU）在 OOD 指令上的表现大幅下降，证实了语言监督在保持泛化能力中的核心作用。

5. 意义与总结 (Significance)

Mantis 解决了当前 VLA 模型在动作学习效率、视觉信息利用和语言推理能力保留之间的长期矛盾。

• 理论意义：通过解耦视觉预见，证明了将“预测未来”作为辅助任务而非主任务，可以更有效地引导动作学习，同时保护骨干网络的语义能力。
• 应用价值：Mantis 展示了在真实机器人上执行复杂、需要推理和常识的指令的能力，且通过 ATE 策略实现了高效的推理，为具身智能（Embodied AI）的落地提供了新的技术路径。
• 开源贡献：作者公开了代码和权重，推动了社区在 VLA 模型训练和推理效率方面的研究。

总结：Mantis 通过解耦的视觉预见机制和渐进式训练策略，成功构建了一个既能精准控制机器人动作，又具备强大语言理解和推理能力的通用 VLA 模型，在仿真和真实世界实验中均达到了领先性能。