💬 NLP

EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training

该论文提出了 EmbodiedMidtrain 方法，通过构建数据引擎筛选与具身领域高度对齐的视觉语言模型（VLM）数据进行中间训练，从而有效弥合 VLM 与具身视觉语言动作模型（VLA）之间的分布差距，显著提升了机器人操作任务的性能。

原作者： Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 EmbodiedMidtrain 的新方法，旨在解决机器人“大脑”升级中的一个关键难题。

为了让你轻松理解，我们可以把机器人控制模型想象成一位正在学习做菜的学徒厨师。

1. 核心问题：学徒的“食谱”不匹配

现状（VLM）： 现在的机器人模型（叫 VLM，视觉 - 语言模型）就像是一位读过万卷书、看过无数美食图片的理论大师。他懂很多关于“红烧肉”、“切菜”的词汇，也能识别图片里的食材。但是，他没怎么下过厨，不知道手该怎么动，也不知道刀该怎么握。
目标（VLA）： 我们想要的是机器人模型（叫 VLA，视觉 - 语言 - 动作模型），它不仅要懂理论，还要能真正动手把菜做出来。
痛点： 目前的做法通常是直接拿这位“理论大师”去微调，让他学做菜。但问题在于，大师读的书（通用数据）和厨师需要的实操经验（机器人数据）差别太大了。
- 比喻： 这就像让一个只看过《米其林指南》和《世界美食地图》的人，突然去学怎么在拥挤的厨房里切洋葱。虽然他知道洋葱长什么样，但他不知道手该怎么用力，容易切到手或者切得乱七八糟。这就是论文里说的**“分布差距”**。

2. 解决方案：EmbodiedMidtrain（中间训练）

作者没有直接让大师去学做菜，也没有让他重新读一遍所有的书，而是发明了一个聪明的**“选书策略”**，叫 EmbodiedMidtrain。

第一步：建立“试吃员”（Proximity Estimator）

作者训练了一个轻量级的“试吃员”（一个小型的分类器）。

它的工作： 这个试吃员手里拿着“机器人实操手册”（VLA 数据）作为标准。它会去翻阅“理论大师”读过的海量书籍（VLM 数据）。
它的判断： 它会问：“这本书里讲的内容，跟‘切洋葱’、‘拿勺子’这些实操动作有关吗？”
- 如果书里讲的是“如何识别洋葱的产地”或者“洋葱的历史”，试吃员会打低分（因为这对动手操作帮助不大）。
- 如果书里讲的是“如何握刀”、“如何判断食材软硬”、“空间位置关系”，试吃员会打高分。

第二步：精选“特训教材”（Data Selection）

试吃员把所有高分的章节挑出来，剔除那些虽然精彩但跟动手无关的“纯理论”内容。

比喻： 就像是从图书馆里把那些讲“美食哲学”的书先放一边，只把那些讲“烹饪技巧”、“厨房空间布局”、“手部动作指南”的章节挑出来，汇编成一本**《机器人实操特训教材》**。

第三步：中间训练（Mid-training）

让“理论大师”先读这本《特训教材》。

这不是让他直接去炒菜（那是最后的微调），而是让他先转变思维模式。让他从“只会看”转变为“开始思考怎么动”。
读完这本教材后，他的“大脑”已经做好了准备，内部的知识结构更贴近实际操作了。

第四步：最终微调（Fine-tuning）

最后，再用真正的机器人实操数据（VLA 数据）对他进行最后的强化训练。

结果： 因为他的“大脑”已经通过《特训教材》做好了铺垫，现在的学习效率极高，学得非常快，而且做得非常好。

3. 为什么这个方法很厉害？（实验结果）

论文通过三个机器人任务（像 Calvin、SimplerEnv、Libero 等）进行了测试，发现：

小模型也能打大模型： 作者用的模型其实很小（只有 11 亿参数），但经过这个“特训”后，它的表现竟然超过了那些参数巨大（几十亿甚至上百亿）、但没经过这种精选训练的“大胖子”模型。
- 比喻： 一个经过精准特训的小个子厨师，比一个读过所有书但没经过针对性训练的大胖子厨师，切菜更稳、更快。
举一反三： 这套“选书策略”是通用的。用 A 模型选出来的好教材，拿去训练 B 模型，B 模型也能变强。说明这种“实操思维”是通用的。
起步即巅峰： 这种训练带来的好处，从机器人开始学习动作的第一秒就显现出来了，并且随着训练时间越长，优势越大。

4. 总结

这篇论文的核心思想就是：不要盲目地让机器人去读所有的书，要教它读“对”的书。

以前： 给机器人喂海量的通用数据（像大海一样），然后指望它自己悟出怎么干活。
现在（EmbodiedMidtrain）： 先派一个聪明的“选书员”，从海量数据里精准挑出那些最接近实际操作场景的内容，让机器人先“预习”一遍。
效果： 这样不仅省资源（不用读那么多没用的书），而且让机器人学得更扎实、更聪明，最终能更好地完成复杂的物理任务（如抓取物体、组装零件）。

这就好比教孩子学开车，与其让他先背完所有交通法规和历史，不如先让他看一些关于“如何握方向盘”、“如何判断车距”的精选视频，然后再上路练习，效果会好得多。

这是一份关于论文 EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training 的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题： 现有的具身智能模型（Vision-Language-Action Models, VLAs）通常直接利用通用的视觉 - 语言模型（Vision-Language Models, VLMs）作为骨干网络。然而，通用的 VLM 预训练数据（如图像描述、视觉问答、文档理解）与具身任务数据（如机器人操作轨迹、物理交互）之间存在显著的数据分布差异（Distribution Gap）。

具体挑战：

分布不匹配： VLA 数据在特征空间中形成紧凑的簇，与广泛分散的通用 VLM 数据分布 largely 分离。
初始化劣势： 即使 VLM 在语言和视觉理解上表现良好，其内部表征可能并不适合具身推理和行动生成。直接微调（Fine-tuning）往往无法有效弥合这一差距，导致下游 VLA 性能受限。
现有方案不足： 简单的在具身数据上微调 VLM 并不能可靠地转化为更好的 VLA 性能；而现有的具身导向 VLM 改进往往需要大量特定领域的机器人数据，或者未能真正转化为行动能力的提升。

2. 方法论 (Methodology)

作者提出了 EmbodiedMidtrain，一种通过**中间训练（Mid-training）**来弥合 VLM 与 VLA 之间差距的框架。其核心思想是在 VLM 预训练和下游 VLA 微调之间，插入一个基于数据选择的中间训练阶段。

核心组件：

数据分布分析：
- 通过最大均值差异（MMD）和 t-SNE 可视化分析，发现 VLM 和 VLA 数据分布存在显著差异，但 VLM 数据内部存在异质性（部分样本与 VLA 分布更近）。
- 结论：需要针对样本级别（Sample-level）进行选择，而非简单的数据集级别混合。
基于邻近度的数据引擎 (Proximity-Based Data Engine)：
- 邻近度估计器 (Proximity Estimator)： 训练一个轻量级的可学习分类器（基于冻结的 VLM 特征），用于区分 VLA 数据（正样本）和 VLM 数据（负样本）。
- 评分机制： 该分类器的输出分数 $s(x)$ 作为样本与 VLA 域邻近度的度量。理论上，该分数与密度比 $p_{VLA}(x)/p_{VLM}(x)$ 单调相关。
- 数据选择： 从庞大的通用 VLM 候选池中，根据邻近度分数筛选出 Top-K 的样本，构建一个经过策划的（Curated）中间训练数据集。
- 多样性保持： 该方法不仅关注与 VLA 的接近度，还保留了原始 VLM 数据的多样性，避免模型坍缩到狭窄区域。
中间训练流程 (Mid-training Pipeline)：
- 使用筛选出的高邻近度数据对 VLM 进行中间训练（Mid-training）。
- 将训练后的 VLM 作为初始化权重，用于下游的 VLA 微调（Fine-tuning）。
- 整个过程无需改变 VLM 或 VLA 的架构，具有可扩展性。

3. 关键贡献 (Key Contributions)

提出了基于邻近度的中间训练管道 (EmbodiedMidtrain)： 首次系统性地分析了 VLM 与 VLA 的数据分布差距，并设计了一个轻量级的数据引擎，通过可学习的邻近度估计器自动筛选最适配具身任务的 VLM 样本。
跨骨干网络的一致性能提升： 在三个机器人操作基准（Calvin ABC-D, SimplerEnv Bridge, Libero-10）上，该方法显著提升了不同规模 VLM 骨干（如 InternVL3.5-1B, Qwen3VL-2B）的下游 VLA 性能。
揭示了中间训练的有效性机制：
- 更强的初始化： 中间训练模型在微调的最早阶段就表现出优势，且优势随训练持续扩大，证明了其提供了更优的初始化，而非仅仅是暂时的领先。
- 跨架构迁移性： 基于 InternVL 特征筛选的数据，同样能显著提升 Qwen3VL 的性能，表明该方法捕捉到了通用的分布对齐属性。
- 优于手工指标： 学习到的邻近度估计器在数据选择上优于特征空间距离、困惑度（Perplexity）等手工设计的指标。

4. 实验结果 (Results)

基准测试表现：
- 在 Calvin ABC-D 上，经过 EmbodiedMidtrain 微调的 1.1B 参数模型（InternVL3.5-1B），其任务完成长度（Avg. Len.）达到 3.714，超越了 7.7B 参数的 OpenVLA (2.548) 和 3.1B 参数的 $\pi_0$ (3.509)。
- 在 SimplerEnv Bridge 和 Libero-10 上，该模型也取得了与更大规模模型（如 Qwen3-8B）相当甚至更优的性能。
- 效率优势： 该模型仅使用了约 4.1M 的训练样本（Calvin/Simpler/Libero），而对比的专家模型通常使用了 25.6M 样本，证明了数据质量（对齐度）比数据量更重要。
消融实验：
- 随机选择 vs. 邻近度选择： 随机采样进行中间训练的效果显著低于邻近度选择，证明筛选是关键。
- 指标对比： 学习到的估计器在 Calvin、Simpler 和 Libero 上的表现均优于特征距离、VLA 条件困惑度等替代指标。
能力保留： 中间训练后，模型在通用 VLM 基准（如 POPE, VisuLogic）上的能力基本得到保留，同时在空间推理相关任务上有所提升，表明模型并未遗忘原有能力，而是进行了针对性的重定向。

5. 意义与影响 (Significance)

解决具身智能的“冷启动”难题： 为如何有效利用海量通用 VLM 数据来初始化具身智能模型提供了一套可落地的解决方案，减少了对昂贵、稀缺的机器人操作数据的依赖。
数据为中心的策略： 强调了在模型架构不变的情况下，通过优化训练数据的分布（Data-Centric AI）来显著提升下游任务性能。
通用性与可扩展性： 该方法不依赖特定架构，适用于各种规模的 VLM，且筛选出的数据具有跨模型迁移性，为未来构建更强大的具身基础模型提供了新的范式。
开源贡献： 作者承诺开源所有代码、数据和模型，促进社区在具身智能领域的进一步研究。

总结： EmbodiedMidtrain 通过智能筛选与具身任务高度对齐的 VLM 数据进行中间训练，成功弥合了通用视觉语言模型与具身行动模型之间的分布鸿沟，以较小的计算和数据成本实现了媲美甚至超越大规模专家模型的性能。