💻 computer science

InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation

本文提出了 InternVLA-A1，这是一种基于混合 Transformer 架构的统一模型，通过协同场景理解、视觉预测与动作执行专家，在海量多源数据上训练，有效克服了现有 VLA 模型缺乏物理动态推理能力与世界模型语义缺失的缺陷，并在多项真实世界及仿真机器人任务中显著超越了现有最先进模型。

原作者： Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yan

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yang Tian, Bolun Wang, Hanqing Wang, Jiaheng Wang, Tai Wang, Xueyuan Wei, Chao Wu, Yiman Xie, Boyang Xing, Yuqiang Yang, Yuyin Yang, Qiaojun Yu, Feng Yuan, Jia Zeng, Jingjing Zhang, Shenghan Zhang, Shi Zhang, Zhuoma Zhaxi, Bowen Zhou, Yuanzhen Zhou, Yunsong Zhou, Hongrui Zhu, Yangkun Zhu, Yuchen Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 InternVLA-A1 的机器人“大脑”。你可以把它想象成一个既懂道理、又能预知未来、还能动手干活的超级机器人管家。

为了让你更容易理解，我们可以把传统的机器人和 InternVLA-A1 做一个对比，并用几个生活中的比喻来解释它的核心创新。

1. 以前的机器人 vs. 现在的 InternVLA-A1

以前的机器人（像“只会背书的学霸”）：
现在的很多机器人模型（比如基于大语言模型的 VLA）非常聪明，它们能听懂你的指令（“把面包拿给我”），也能看懂图片。但是，它们不懂物理世界的“惯性”和“动态变化”。

比喻：就像是一个只会死记硬背的学霸，他知道“杯子是易碎的”，但如果杯子在传送带上快速移动，他可能会因为无法预判杯子的运动轨迹而打翻杯子。他只能看到“现在”，无法想象“下一秒”。

以前的另一种尝试（像“爱做白日梦的预言家”）：
最近有些模型尝试通过“预测未来视频”来让机器人变聪明（世界模型）。

比喻：这像是一个爱做白日梦的人，他试图在脑海里预演未来。但他经常做梦做得太离谱（预测错误），或者忘了自己是在现实世界（缺乏语义理解），导致机器人动作变形，甚至把东西摔碎。

InternVLA-A1（像“经验丰富的老练厨师”）：
这篇论文提出的新模型，把“懂道理”、“做白日梦（预测未来）”和“动手干活”完美融合在了一起。

比喻：它就像一位经验丰富的老练厨师。
1. 懂道理（理解专家）：他听得懂你的指令，也认得桌上的所有食材。
2. 做白日梦（生成专家）：在动手之前，他会在脑海里快速预演：“如果我伸手去拿那个在传送带上移动的番茄，番茄会往哪滚？我的手该怎么配合？”他能在几秒钟内模拟出未来的画面。
3. 动手干活（行动专家）：基于刚才的预演，他精准地伸出手，稳稳地接住番茄。

2. 它的核心秘密：三位一体的“大脑架构”

InternVLA-A1 不像以前的模型那样把“看”、“想”、“做”分开，它用了一个叫 MoT（混合 Transformer） 的架构，就像是一个三人协作小组，大家共用一个大脑，配合得天衣无缝：

理解专家（The Observer）：负责看图片和听指令，告诉团队“现在发生了什么”。
生成专家（The Dreamer）：负责“脑补”未来。它不看文字，而是直接预测未来的画面。比如，它会预测：“如果我现在推这个箱子，1 秒后箱子会滑到那个角落。”
行动专家（The Doer）：负责指挥手臂。它结合了“现在的观察”和“未来的预测”，计算出最完美的动作。

关键点：这三个专家不是各干各的，它们通过一种特殊的“注意力机制”实时交流。行动专家在做决定时，会直接参考“生成专家”预想出来的未来画面，从而避免犯错。

3. 它是怎么学习的？（混合饮食法）

以前的机器人要么只学真实世界的数据（太贵、太慢），要么只学模拟数据（太假、有差距）。InternVLA-A1 采用了**“混合饮食”**策略，吃了三种不同的“食物”：

真实机器人数据（Real-world Data）：就像实地实习。让机器人看真实人类操作机器人的视频，学习真实的物理摩擦、重力等细节。
模拟合成数据（Synthetic Data）：就像在 VR 游戏里疯狂练习。在电脑里生成数百万种不同的场景（比如传送带速度不同、物体形状不同），让机器人快速见识各种“长尾”情况，而且成本极低。
人类第一视角视频（Human Videos）：就像看人类做饭的纪录片。机器人看人类怎么用手抓东西、怎么翻面，学习人类灵巧的动作直觉。

效果：这种“混合饮食”让机器人既拥有了模拟数据的广度（见过各种奇葩场景），又拥有了真实数据的精度（动作不僵硬），还学会了人类的灵巧度。

4. 它有多强？（实战表现）

论文在 12 个真实的机器人任务中测试了它，结果非常惊人：

静态任务（比如叠衣服、擦桌子）：它比之前的最强模型（ $\pi_{0.5}$ ）表现更好，成功率提升了约 4.4%。
动态任务（比如接住传送带上移动的东西、抓取移动中的食材）：这是它的杀手锏。因为它的“预知未来”能力，它在动态任务上的表现提升了 26.7%！
- 比喻：如果以前的机器人是“接球高手”，那 InternVLA-A1 就是“接飞盘大师”。当物体在快速移动时，它能提前预判落点，稳稳接住。

5. 总结

简单来说，InternVLA-A1 就是给机器人装上了一个**“物理世界模拟器”**。

它不再只是被动地看到什么就做什么，而是学会了**“先想后做”。它能在脑海里预演未来几秒会发生什么，然后基于这个预演来调整自己的动作。这让机器人从“呆板的执行者”变成了“灵活的思考者”，特别是在处理那些会动、会滑、会滚**的复杂场景时，表现得像人类一样自然和稳健。

虽然它现在还有小缺点（比如对未来的预测画面不够高清，或者对极其复杂的指令理解还不够完美），但它已经展示了让机器人真正走进家庭、工厂，处理复杂动态任务的巨大潜力。

InternVLA-A1 技术总结

1. 研究背景与核心问题 (Problem)

现有的视觉 - 语言 - 动作（VLA）模型通常基于多模态大语言模型（MLLMs）构建，虽然在语义理解方面表现出色，但存在两个主要瓶颈：

缺乏物理世界动态推理能力：传统的 VLA 模型将视觉映射到文本特征空间，难以建模物理定律（如动量、惯性、接触动力学），导致在动态环境（如传送带场景）中适应性差。
现有世界模型的局限性：近期尝试引入世界模型（通过视频预测）的方法，往往缺乏语义 grounding（语义落地），且对视频预测误差非常敏感，导致策略脆弱。
数据依赖与泛化难题：单纯依赖真实机器人数据成本高昂且难以覆盖长尾场景；而纯仿真数据存在 Sim-to-Real（仿真到现实）的差距。

核心目标：构建一个能够统一语义理解、视觉预见（生成）和动作执行的框架，使机器人具备在动态环境中进行前瞻性决策的能力。

2. 方法论 (Methodology)

2.1 架构设计：混合专家 Transformer (Mixture-of-Transformers, MoT)

InternVLA-A1 采用统一的 MoT 架构，通过**统一掩码自注意力机制（Unified Masked Self-Attention）**协调三个专家模块，实现信息流的单向传递（理解 $\to$ 生成 $\to$ 动作）：

理解专家 (Understanding Expert)：
- 基于现有的 MLLM（InternVL3 或 Qwen3-VL）。
- 负责处理多模态输入（图像和文本指令），提取场景上下文语义特征。
- 作为共享的上下文记忆，供后续模块通过注意力机制访问。
生成专家 (Generation Expert)：
- 轻量化设计：为了解决实时推理问题，摒弃了传统的自回归视频生成，采用非自回归的并行解码策略。
- 输入处理：输入当前及历史帧（共 6 张图），使用 COSMOS VAE 编码器将图像压缩为潜在向量（Latent Tokens）。
- Token 压缩：通过卷积下采样将序列长度大幅压缩（从 1024 tokens/图降至 16 tokens/图），确保推理效率。
- 功能：预测未来的视觉状态（ $t+15$ ），提供物理动态的“想象”能力，指导动作生成。
动作专家 (Action Expert)：
- 结合理解专家的语义特征、生成专家的预测动态特征以及本体感知状态（Proprioception）。
- 采用**流匹配（Flow Matching）**目标函数，学习从噪声到专家演示的连续变换路径，输出精确的机器人控制指令。

2.2 训练策略：混合数据食谱 (Hybrid Data Recipe)

模型在两个阶段进行训练（预训练 + 后训练），利用三种互补的数据源：

大规模仿真数据 (InternData-A1, RoboTwin)：提供丰富的场景多样性和长尾任务覆盖，解决数据规模问题。
真实机器人数据 (AgiBot-World, RoboMind)：提供高保真的物理动态，缩小 Sim-to-Real 差距。
第一人称人类视频 (EgoDex)：提供丰富的操作先验和多样化的交互模式，增强视觉表征。

优化目标：联合优化两个损失函数：

视觉预见生成损失：预测未来帧的潜在特征。
基于流匹配的动作预测损失：预测动作块。
总损失为两者的加权和，强制模型在语义和动力学之间建立一致性。

3. 关键贡献 (Key Contributions)

统一架构：首次将 MLLM 的语义推理能力与世界模型的动态预测能力在单一 MoT 架构中紧密耦合，实现了“理解 - 生成 - 动作”的端到端统一。
高效生成模块：提出了一种轻量级、非自回归的视觉预见生成模块，在保持实时推理速度（~13Hz）的同时，有效捕捉物理动态趋势。
混合数据训练范式：验证了“仿真 + 真实 + 人类视频”混合训练策略的有效性，既利用了仿真的规模优势，又通过真实数据和人类视频弥补了物理保真度和操作多样性的不足。
动态场景鲁棒性：显著提升了机器人在动态环境（如移动物体抓取、传送带分拣）中的表现，解决了传统 VLA 模型在动态场景下的失效问题。

4. 实验结果 (Results)

4.1 静态操作任务 (Static Manipulation)

在 10 个真实世界静态任务中，InternVLA-A1 (3B) 表现优异：

平均成功率达到 75.1%，比前 SOTA 模型 $\pi0.5$ (70.7%) 高出 +4.4%。
在长程任务（如制作三明治）和精细操作任务上均有显著提升。
即使是较小的 2B 版本（64.7%），也超过了参数量更大的 $\pi0$ (60.6%)。

4.2 动态操作任务 (Dynamic Manipulation)

在极具挑战的动态任务（快递分拣、运动中抓取食材）中，优势最为明显：

In-motion Ingredient Picking：InternVLA-A1 (3B) 达到 93.3% 的成功率，比 $\pi0.5$ (66.7%) 高出 +26.6%，远超 $\pi0$ 和 GR00T N1.5 (均为 20%)。
Express Sorting：达到 80.0%，比 $\pi0.5$ 高出 +26.7%。
这表明模型能够利用视觉预见能力，在动作执行前“想象”未来状态，从而做出适应性决策。

4.3 仿真基准 (Simulation Benchmark)

在 RoboTwin 2.0 基准测试中：

InternVLA-A1 (3B) 在 Hard 设置下达到 89.6%，比 $\pi0.5$ 高出 +2.6%，比 $\pi0$ 高出 10.1%。

4.4 消融实验

预训练的重要性：移除预训练阶段导致平均成功率从 77.0% 暴跌至 25.4%。
数据混合：仅使用仿真数据在真实任务上表现不佳；加入人类视频和真实数据后，泛化能力显著提升。
生成专家：移除生成专家导致动态任务性能大幅下降，验证了视觉预见对动态控制的关键作用。

5. 意义与影响 (Significance)

理论突破：证明了将语义理解与物理动态预测统一在单一架构中的可行性，为通用机器人策略（Generalist Policies）的设计提供了新范式。
技术落地：通过轻量化生成模块和混合数据策略，解决了 VLA 模型在实时性和泛化性上的痛点，使其能够应对工业传送带等复杂动态场景。
数据效率：展示了利用大规模合成数据和人类视频数据预训练，再辅以少量真实数据微调，是构建高性能机器人策略的高效路径。

局限性：当前模型的理解专家未联合大规模多模态 VQA 数据训练，复杂指令遵循能力有待提升；且为了推理效率，生成模块牺牲了部分图像细节精度。未来工作将针对这些点进行优化。