💻 computer science

RoboMIND 2.0: A Multimodal, Bimanual Mobile Manipulation Dataset for Generalizable Embodied Intelligence

本文提出了 RoboMIND 2.0，这是一个包含 31 万条真实世界轨迹、触觉增强数据及高保真数字孪生模拟数据的大规模双臂移动操作数据集，并配套推出了基于离线强化学习的分层 MIND-2 系统，旨在提升机器人在非结构化环境中执行长程双手机械臂任务的泛化能力。

原作者： Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, Fei Liao, Guangrun Li, Jingyang He, Qiuxuan Feng, Zhao Jin, Chenyang Gu, Zhuoyang Liu, Nuowei Han, Xiangju Mi, Yaoxu Lv, Yankai Fu, Gaole Dai

发布于 2026-03-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, Fei Liao, Guangrun Li, Jingyang He, Qiuxuan Feng, Zhao Jin, Chenyang Gu, Zhuoyang Liu, Nuowei Han, Xiangju Mi, Yaoxu Lv, Yankai Fu, Gaole Dai, Langzhe Gu, Tao Li, Yuheng Zhang, Yixue Zhang, Xinhua Wang, Shichao Fan, Meng Li, Zhen Zhao, Ning Liu, Zhiyuan Xu, Pei Ren, Junjie Ji, Haonan Liu, Kuan Cheng, Shanghang Zhang, Jian Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 RoboMIND 2.0 的大项目，你可以把它想象成是给机器人世界建造的一座"超级图书馆"和"训练学院"。

为了让你更容易理解，我们可以用几个生动的比喻来拆解它：

1. 核心概念：给机器人一本“百科全书”

以前的机器人学习，就像是一个学生只有一本薄薄的练习册，而且只练过“用左手拿苹果”这一种动作。一旦换个环境（比如去厨房）或者换个工具（比如用右手），机器人就傻眼了。

RoboMIND 2.0 做了什么？

海量的“作业本”：他们收集了 31 万条 机器人操作的双手动作数据。这相当于让机器人看了 31 万遍人类如何熟练地干活。
多样的“老师”：这些数据不是只由一种机器人录制的，而是由 6 种不同长相、不同能力的机器人（有的像固定手臂，有的像带轮子的移动机器人，有的像人形机器人）共同完成的。这就像让机器人同时向 6 位不同风格的教练学习，学会了“举一反三”。
丰富的“场景”：数据涵盖了从家庭（厨房、卧室）到工厂（物流分拣、实验室）的各种场景。机器人不再只会在一个固定的桌子上干活，而是学会了在超市里推车、在工厂里搬运。

2. 独特的“感官”：不仅用眼，还要用手

以前的机器人主要靠“眼睛”（摄像头）看世界，这就像蒙着眼睛去捏豆腐，很容易捏碎或者抓不住。

触觉反馈（Tactile）：RoboMIND 2.0 特别珍贵的一点是，它记录了 1.2 万条带有“触觉”的数据。
- 比喻：想象一下，你戴着手套去摸一个鸡蛋。以前的机器人只能看到鸡蛋是圆的，但不知道它有多软、会不会滑。现在的机器人通过“触觉传感器”，能感觉到鸡蛋表面的摩擦力、压力，就像真的长出了手指神经一样。这让它们能更精细地处理易碎品或进行复杂的组装。

3. 虚拟与现实：在“模拟游戏”里练级

收集真实数据很贵、很慢，而且机器人容易摔坏。

数字孪生（Digital Twin）：作者不仅收集了真实数据，还建立了一个高保真的虚拟世界（就像《模拟人生》或《GTA》那种逼真的游戏引擎）。
比喻：这就像机器人先在飞行模拟器里飞了 2 万个小时（虚拟数据），积累了大量经验，然后再去开真飞机（真实世界）。论文证明，这种“虚实结合”的训练方法，能让机器人在真实世界中表现得更好、更皮实。

4. 大脑与手脚：MIND-2 系统

有了数据，怎么教机器人用呢？作者提出了一个叫 MIND-2 的系统，它把机器人分成了“大脑”和“手脚”两部分：

慢速大脑（MIND-2-VLM）：
- 比喻：这是机器人的指挥官。当你说“去超市买瓶酱油”，它不会直接动手，而是先思考：“第一步，走到货架；第二步，拿起瓶子；第三步，走到收银台。”它负责规划路线和拆解任务。
快速手脚（MIND-2-VLA）：
- 比喻：这是机器人的执行者。它接收指挥官的指令（“拿起瓶子”），然后瞬间计算出肌肉（电机）该怎么动，避开障碍物，稳稳地抓起来。它反应极快，专门处理具体的动作细节。

为什么这样设计？
这就好比一个老练的厨师。

大脑负责想菜谱、安排步骤（先切菜还是先热油）。
手脚负责具体的切、炒、翻锅。
以前的机器人要么只有大脑（会想不会做），要么只有手脚（只会死板地重复动作）。MIND-2 让两者完美结合，能处理很长、很复杂的任务（比如“整理整个厨房”），而不仅仅是“把杯子放桌上”。

5. 总结：这意味着什么？

这篇论文不仅仅是发布了一堆数据，它展示了机器人进化的新方向：

从“单科生”变“全能生”：机器人不再只能做单一动作，而是能跨场景、跨形态（从固定臂到人形）通用。
从“瞎摸”变“巧手”：加入触觉数据，让机器人能像人一样精细操作。
从“笨拙”变“聪明”：通过“大脑规划 + 手脚执行”的双系统，机器人能完成更复杂的长期任务。

一句话总结：
RoboMIND 2.0 就像是为未来的机器人家庭保姆和工厂工人，提供了一套包含 31 万小时实战经验、带有触觉神经、且经过虚拟世界千锤百炼的“超级教材”，让它们真正学会像人类一样灵活、聪明地干活。

RoboMIND 2.0 技术总结

1. 研究背景与问题 (Problem)

尽管数据驱动的模仿学习（Imitation Learning）在机器人操作领域取得了显著进展，但现有的方法仍面临以下核心挑战：

数据稀缺与单一性：缺乏大规模、多样化的真实世界演示数据。现有数据集通常仅在单一维度（如物体种类、任务类型或机器人形态）上具有多样性，缺乏多维度的综合覆盖。
双臂与移动操作缺失：许多主流数据集（如 Open X-Embodiment, DROID）主要集中于单臂固定基座操作，缺乏双臂协调（Bimanual）和移动操作（Mobile Manipulation）的数据，而这两者在现实场景中至关重要。
多模态感知不足：现有数据大多仅包含视觉和基础本体感知状态，缺乏关键的触觉反馈（Tactile Feedback），导致模型难以处理接触丰富（Contact-rich）、易打滑或需要精细操作的任务。
长程任务与泛化能力弱：在长视野（Long-horizon）任务、跨形态（Cross-embodiment）泛化以及非结构化环境中的移动操作方面，现有策略表现不佳。

2. 方法论 (Methodology)

2.1 RoboMIND 2.0 数据集构建

为了填补上述空白，作者构建了 RoboMIND 2.0，这是一个大规模、多模态的双臂移动操作数据集。

规模与多样性：
- 轨迹数量：超过 31 万条 双臂操作轨迹，总时长超过 1000 小时。
- 任务与技能：涵盖 759 种 复杂任务，涉及 129 种 基础机器人技能（如抓取、组装、开关操作、物体传递等）。
- 物体多样性：包含 1,139 种 不同物体。
- 机器人形态：数据来自 6 种 异构机器人平台，包括固定双臂（Franka, UR5e）、移动双臂（AgileX, ARX）和人形机器人（Tien Kung, Tian Yi）。
- 场景分布：平衡覆盖家庭环境（厨房、卧室、超市等）和工业环境（物流分拣、实验室、装配线）。
多模态感知：
- 除了 RGB-D 视觉和机器人本体感知状态外，特别引入了 12,000 条 富含触觉信息的序列（使用 Tashan 触觉传感器，记录法向力、切向力及方向）。
- 包含 20,000 条 移动操作轨迹。
数据采集与质控：
- 采用统一的遥操作协议（Teleoperation）和数据记录流水线，确保数据一致性。
- 建立了严格的多阶段数据质检流程，针对 12 种常见失败模式（如意外接触、运动不流畅、重抓取等）进行标注和过滤。
数字孪生与仿真：
- 发布了所有真实世界环境的高保真数字孪生资产（USD 格式），并在 Isaac Sim 中收集了 20,000 条 与真实任务结构、语言指令完全对齐的仿真轨迹，以支持 Sim-to-Real 迁移。
细粒度标注：
- 利用大语言模型（Gemini 2.5 Pro）对长视野任务进行自动分段，生成细粒度的自然语言描述，将长任务分解为短视野的子任务，支持 VLA 模型训练。

2.2 MIND-2 双系统框架

为了充分利用 RoboMIND 2.0 并解决长视野任务难题，作者提出了 MIND-2 系统，采用“慢 - 快”双系统架构：

慢系统 (MIND-2-VLM)：
- 基于 Vision-Language Model (InternVL3-8B) 微调。
- 作为“大脑”，负责高层任务规划。它接收多视角视觉和状态输入，将抽象的自然语言指令分解为可执行的子目标（Subgoals），并监控任务进度。
快系统 (MIND-2-VLA)：
- 基于 Vision-Language-Action (VLA) 模型。
- 作为“执行器”，接收 VLM 生成的子目标指令，结合本体感知和视觉信息，生成精确的低层控制动作。
- 训练策略：采用 隐式 Q 学习 (Implicit Q-Learning, IQL) 进行离线强化学习。不仅利用成功轨迹，还显式利用失败轨迹（通过奖励函数区分成功与失败），使模型学会识别并避免错误行为，从而提升鲁棒性。

3. 关键贡献 (Key Contributions)

首个大规模多模态双臂移动操作数据集：RoboMIND 2.0 是首个同时支持双臂协调、移动操作、灵巧手操作以及高保真触觉感知的大规模开源数据集。
多维度的多样性覆盖：超越了以往仅在单一维度（如物体或任务）上多样化的数据集，RoboMIND 2.0 在机器人形态、环境、任务语义、失败模式和多模态感知（视觉 + 本体 + 触觉）上实现了全面覆盖。
高保真数字孪生与仿真数据：提供了与真实数据严格对齐的仿真环境和 2 万条仿真轨迹，验证了仿真数据在低成本增强真实世界训练中的有效性。
MIND-2 双系统框架：提出了一种结合高层语义规划（VLM）和底层强化学习执行（VLA）的架构，显著提升了长视野双臂移动操作的成功率。
广泛的实证验证：通过大量实验验证了 3D 感知优于 2D 感知、触觉模态对精细操作的重要性、跨形态泛化能力以及 Sim-to-Real 迁移的有效性。

4. 实验结果 (Results)

模仿学习与 VLA 模型基准测试：
- 在 6 种机器人平台上的 38 项任务中，3D 感知的模仿学习方法（如 DP3）在固定双臂任务上表现优于 2D 方法；而 XR-1 等跨形态 VLA 模型在双臂和移动任务上展现了最强的泛化能力。
- 引入 触觉信号 后，VLA 模型（如 XR-1 和 $\pi0.5$ ）在移动操作任务中的成功率显著提升，证明了触觉在接触丰富任务中的关键作用。
MIND-2 系统性能：
- 在长视野移动操作任务（如超市购物、工业分拣、化学实验室协作）中，MIND-2 系统显著优于传统的单任务模仿学习方法和现有的 VLA 基线。
- 离线强化学习 (IQL) 的引入进一步提升了性能。在包含失败轨迹的训练中，当成功与失败轨迹比例为 1:1 时，MIND-2 在协作任务中取得了最高成功率（例如超市任务达到 100%）。
物体泛化能力：
- 在物体替换实验（改变颜色、形状、材质）中， $\pi0.5$ 和 XR-1 展现了强大的物体级泛化能力，能够处理未见过的物体。
Sim-to-Real 迁移：
- 混合训练（真实数据 + 仿真数据） consistently 提升了真实机器人的执行性能。增加仿真数据比例（如 1:5）并未导致过拟合，反而进一步提升了复杂任务的成功率。

5. 意义与影响 (Significance)

推动具身智能发展：RoboMIND 2.0 为训练通用、可泛化的机器人策略提供了高质量的基础设施，解决了当前数据稀缺和单一的问题。
多模态融合的新范式：通过引入触觉数据，该工作强调了物理交互反馈在机器人精细操作中的必要性，为未来的触觉融合训练范式开辟了道路。
跨形态与长程任务突破：MIND-2 框架证明了“慢思考（规划）+ 快执行（控制）”的双系统架构在处理复杂、长视野、多机器人协作任务中的有效性，为未来具身智能系统的架构设计提供了参考。
开源与生态建设：数据集、仿真资产及代码的公开（ModelScope），将降低研究门槛，促进学术界和工业界在通用机器人操作领域的协作与创新。

总结：RoboMIND 2.0 不仅是一个数据集，更是一个包含数据、仿真、算法框架（MIND-2）和基准测试的完整生态系统，旨在推动机器人从单一任务执行向通用、灵巧、可适应复杂现实环境的具身智能体演进。