A Pragmatic VLA Foundation Model

本文提出了名为 LingBot-VLA 的实用型视觉 - 语言 - 动作基础模型，该模型基于 9 种双臂机器人配置的 2 万小时真实世界数据训练，在跨平台任务泛化性、训练效率及实际部署能力上均显著优于现有方案，并开源了代码、模型及基准数据以推动机器人学习领域的发展。

要点

这篇论文介绍了一个名为 LingBot-VLA 的机器人“大脑”。你可以把它想象成给机器人装上了一套超级聪明的“通才”操作系统，让它不仅能听懂人话，还能在现实世界中灵活地动手干活。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这项技术：

1. 核心概念：从“死记硬背”到“举一反三”

以前的机器人就像是一个只会背菜谱的学徒。如果你教它“做三明治”，它只能做三明治；如果你让它“做汉堡”，它可能就傻眼了，因为它没背过。

LingBot-VLA 则像是一个拥有丰富生活经验的“老厨师”。它通过阅读海量的“食谱”（数据），不仅学会了做具体的菜，还理解了“切”、“炒”、“摆盘”这些动作背后的逻辑。所以，当你让它“把花插进花瓶”或者“把积木按大小排序”时，它能迅速理解你的意图，并调用它学过的通用技能来完成新任务，哪怕它以前没做过完全一样的事。

2. 它的“食谱”有多厚？（数据规模）

要培养一个老厨师，光看几本菜谱是不够的。

• 别人的做法：通常用几千小时的机器人操作数据来训练。
• LingBot 的做法：他们收集了20,000 小时的真实世界操作数据！
  • 这相当于让机器人不眠不休地工作了 2 年多。
  • 数据来源非常杂，来自9 种不同型号的双臂机器人（有的像人，有的像机械臂）。
  • 比喻：这就像让一个厨师在 9 家不同风格的餐厅（中餐厅、西餐厅、快餐店等）里，跟着不同的师傅，切了 2 年的菜。所以，无论把它扔到哪家新餐厅，它都能立刻上手。

3. 它的“大脑”怎么工作？（模型架构）

LingBot-VLA 的设计非常巧妙，它把“看懂世界”和“动手操作”分成了两个专家，但又让它们紧密合作：

• 理解专家 (Vision-Language Expert)：负责看摄像头画面，听你说话。它基于一个强大的语言模型（Qwen），能理解“把面包放进烤面包机”这种复杂的指令。
• 动作专家 (Action Expert)：负责控制机器人的手。它像一个肌肉记忆库，知道手该怎么动。
• 混合模式 (MoT)：这两个专家通过一种特殊的“混合架构”连接。就像大脑皮层和运动神经的配合，既保证了理解力，又保证了动作的精准和流畅。
• 深度感知：它还特别引入了“深度信息”（类似人的立体视觉），让它能准确判断物体离手有多远，不会像盲人摸象一样乱抓。

4. 训练速度：从“骑自行车”到“开高铁”

以前训练这种大模型，就像在泥泞的土路上骑自行车，又慢又累，而且容易卡住（计算效率低）。

• 作者开发了一套超级优化的代码库。
• 比喻：他们把训练过程升级成了在高速公路上开高铁。
• 效果：在 8 张显卡上，训练速度比现有的其他系统快了 1.5 到 2.8 倍。这意味着以前需要跑一个月的训练，现在可能两周就跑完了，大大降低了成本。

5. 实战考试：它真的行吗？（评估结果）

为了证明它不是“纸上谈兵”，作者搞了一场超级大考：

• 考场：3 种不同的真实机器人平台。
• 考题：100 道不同的任务（比如叠衣服、倒水、组装乐高、剥柠檬皮等）。
• 考生：LingBot-VLA 和其他 3 个最厉害的竞争对手。
• 结果：
  • LingBot-VLA 在成功率和任务完成度上都碾压了对手。
  • 特别是在那些从未见过的任务上，它的表现依然很稳，证明了它真的学会了“举一反三”，而不是死记硬背。
  • 有趣的是，如果给机器人加上“深度视觉”（就像给盲人装上眼睛），它的表现会进一步提升，就像给厨师配上了更好的灯光和量尺。

6. 为什么要公开？（开源精神）

作者不仅发布了模型，还把代码、数据和测试标准全部免费公开了。

• 比喻：这就像一位大厨不仅做出了绝世好菜，还把菜谱、厨房设计图、甚至食材清单都贴在了网上，让全世界的人都能来学习、改进，甚至做出更棒的菜。
• 他们的目标是推动整个机器人领域的发展，让未来的机器人能更便宜、更聪明地进入我们的家庭和工作场所。

总结

LingBot-VLA 就是一个由海量真实数据喂养长大、拥有超强通用能力、且训练速度极快的机器人基础模型。它证明了：只要给机器人足够多、足够多样的“实战经验”，它们就能真正学会像人一样灵活地处理各种复杂的家务和工作任务。这不仅仅是技术的进步，更是让机器人真正走进现实生活的关键一步。

技术摘要

这篇论文介绍了一个名为 LingBot-VLA 的实用型视觉 - 语言 - 动作（Vision-Language-Action, VLA）基础模型。该模型旨在解决机器人操作任务中的泛化性、数据效率以及训练成本问题，通过大规模真实世界数据预训练和优化的训练代码库，实现了在多种机器人平台上的卓越表现。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管 VLA 模型在机器人控制领域展现出巨大潜力，但当前仍面临以下核心挑战：

• 缺乏大规模实证研究：关于 VLA 模型性能如何随真实世界预训练数据量的增加而扩展（Scaling Law），目前缺乏系统的实证研究。
• 训练效率低下：现有的 VLA 训练代码库在处理海量数据时，往往存在 I/O 瓶颈和通信开销，导致训练周期长、计算成本高，难以进行大规模扩展评估。
• 评估标准不统一：缺乏在多种真实机器人平台上进行大规模、多样化任务评估的基准，导致模型的真实泛化能力难以被准确衡量。
• 核心问题：VLA 模型在海量真实机器人数据下是否真的能实现性能扩展？如何构建高效、通用的 VLA 系统？

2. 方法论 (Methodology)

2.1 数据构建：大规模真实世界数据集

• 数据来源：收集了来自 9 种流行双臂机器人配置（包括 AgiBot G1, AgileX, Galaxea R1Lite/Pro, Realman, Leju KUAVO 等）的 约 20,000 小时 真实世界遥操作数据。
• 数据标注：
  • 视频分段：将多视角视频分解为原子动作片段，去除冗余静态帧。
  • 指令生成：利用 Qwen3-VL 大模型对任务及子任务进行精确的文本指令标注。
  • 动作空间：统一了不同机器人的动作空间，支持连续动作控制。

2.2 模型架构：LingBot-VLA

• 基础架构：采用 Mixture-of-Transformers (MoT) 架构，类似于 BAGEL。
  • 语义骨干：集成预训练的 VLM（Qwen2.5-VL）作为视觉 - 语言编码器。
  • 动作专家 (Action Expert)：一个专门用于生成动作的模块。
  • 交互机制：通过共享的自注意力机制（Self-Attention）将 VLM 和动作专家连接，实现分层级的统一序列建模。VLM 提供高层语义先验，动作专家处理具体控制，两者互不干扰。
• 动作建模：使用 Flow Matching 进行连续动作建模，确保控制的流畅性和平滑性。
• 空间感知增强：
  • 引入可学习的查询（Learnable Queries）对应多视角图像。
  • 通过 知识蒸馏 将深度信息（来自 LingBot-Depth 模型）融入 VLA，增强模型对几何结构和深度的理解能力。
• 训练目标：最小化条件流匹配损失，预测给定观测（多视角图像、任务指令、机器人状态）下的动作块。

2.3 训练效率优化

为了解决大规模训练的效率问题，作者开发了一个高度优化的代码库：

• 分布式策略：采用 FSDP (Fully Sharded Data Parallel) 技术，并针对动作专家模块设计了特定的“分片组”（Shard Groups），以减少通信开销。
• 混合精度：在存储和通信中使用 bfloat16，在归约操作中使用 float32 以保证数值稳定性。
• 算子级优化：利用 FlexAttention 优化稀疏注意力计算，并通过 torch.compile 进行算子融合，减少内核启动开销。
• 性能：在 8 张 GPU 上实现了 261 样本/秒 的吞吐量，比现有 VLA 代码库快 1.5~2.8 倍。

3. 关键贡献 (Key Contributions)

1. LingBot-VLA 模型：一个基于 20,000 小时真实数据训练的基础模型，具备强大的跨任务、跨平台泛化能力。
2. 大规模扩展实证：首次提供了真实世界机器人学习中 VLA 性能随数据量（3,000 小时至 20,000 小时）增加而显著提升的实证证据，且未观察到饱和迹象。
3. 高效训练代码库：开源了一个经过深度优化的训练框架，显著降低了训练成本和周期，为社区探索大规模机器人模型提供了基础设施。
4. 全面评估基准：在 3 种机器人平台 上对 100 个多样化任务（GM-100 基准）进行了系统性评估，每个任务包含 130 次测试集，建立了新的评估标准。
5. 开源生态：公开了代码、基础模型权重和基准数据，推动社区发展。

4. 实验结果 (Results)

4.1 真实世界基准测试 (GM-100)

在 AgileX, AgiBot G1, 和 Galaxea R1Pro 三个平台上，LingBot-VLA 的表现显著优于现有最先进模型（WALL-OSS, GR00T N1.6, $\pi_0.5$）：

• 成功率 (SR)：LingBot-VLA (带深度) 的平均成功率为 17.30%，而 $\pi_0.5$ 为 13.02%，WALL-OSS 仅为 4.05%。
• 进度分 (PS)：LingBot-VLA (带深度) 平均得分为 35.41%，显著高于 $\pi_0.5$ 的 27.65%。
• 深度信息的作用：引入深度信息后，模型在平均 SR 上提升了 4.28%，PS 提升了 7.76%，证明了空间感知对复杂操作的重要性。
• 泛化性：模型在未见过的机器人配置上依然表现优异，证明了其强大的跨平台泛化能力。

4.2 仿真基准测试 (RoboTwin 2.0)

在 50 个仿真任务中（包括清洁场景和随机化场景）：

• 在随机化场景下，LingBot-VLA (带深度) 相比 $\pi_0.5$ 取得了 9.92% 的绝对成功率提升。
• 证明了模型在高度变化的环境（背景、光照、物体位置）下具有极强的鲁棒性。

4.3 训练效率与扩展性

• 吞吐量：在 8-GPU 设置下达到 261 samples/s，是 StarVLA 和 Dexbotic 等现有框架的 1.5~2.8 倍。
• 扩展性：随着 GPU 数量从 8 增加到 256，训练吞吐量几乎呈线性扩展，接近理论极限。
• 数据效率：在少量数据（每任务 80 次演示）的微调实验中，LingBot-VLA 的表现甚至超过了使用全量数据（130 次）微调的 $\pi_0.5$，显示出极高的数据效率。

5. 意义与展望 (Significance)

• 验证了 Scaling Law：论文证实了在真实机器人领域，增加数据量（从 3k 到 20k 小时）能持续带来性能提升，没有明显的饱和点，为未来大规模数据收集提供了理论依据。
• 推动落地应用：通过兼顾高性能、广泛化性和计算效率，LingBot-VLA 展示了将 VLA 模型部署到真实工业和服务机器人场景的可行性。
• 社区贡献：开源的模型、数据和高效代码库将降低研究门槛，促进更多复杂任务的研究和更科学的评估标准的建立。
• 未来方向：作者计划进一步整合单臂和移动机器人数据，以扩展模型在更非结构化环境中的通用操作能力。

总结：LingBot-VLA 不仅是一个性能领先的机器人模型，更是一个系统性的工程解决方案，它通过“大规模真实数据 + 高效训练架构 + 严格基准评估”三位一体的策略，为具身智能（Embodied AI）的发展树立了新的标杆。