💻 computer science

RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation

本文介绍了 RoboCOIN，这是一个包含 18 万余条演示、覆盖 15 种机器人平台和 16 种场景的大规模开源双手机械臂操作数据集，通过创新的层级能力金字塔标注和 CoRobot 数据处理流水线，有效解决了硬件异构性难题并显著提升了多形态双手机械臂模型的性能。

原作者： Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Runtian Xu, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Runtian Xu, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang, Guocai Yao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 RoboCOIN 的大项目，你可以把它想象成是给双手机器人（像人一样有两只手的机器人）准备的一份超级详细的“烹饪食谱”和“训练教材”。

以前，机器人很难学会像人一样灵活地用两只手配合干活（比如一只手拿碗，另一只手倒水）。这是因为：

硬件太杂：市面上的机器人长得都不一样，有的像机械臂，有的像人，很难用同一套方法教它们。
数据太少：缺乏足够多、足够好的“人类示范”视频来教机器人。

RoboCOIN 就是为了解决这些问题而诞生的。以下是它的核心亮点，用大白话和比喻来解释：

1. 一个巨大的“机器人训练学院” (数据集)

想象一下，RoboCOIN 是一个巨大的图书馆，里面收藏了 18 万多条 人类操作机器人的视频记录。

学员多样性：它不是只教一种机器人，而是同时教 15 种 不同长相的机器人（有的像两只机械臂，有的像半个人，有的像完整的人形机器人）。这就像是一个学校，同时教钢琴、小提琴和大提琴的学生，虽然乐器不同，但都在学“音乐”（双手机械操作）。
课程丰富：里面有 421 种 不同的任务，从简单的“把苹果放进篮子”，到复杂的“一只手拿盘子，另一只手切面包”。场景涵盖了厨房、工厂、办公室等 16 种 环境。
物体多样：教机器人处理的东西有硬的（杯子）、有活动的（门把手）、还有软的（毛巾、面团）。

2. “金字塔”式的教学大纲 (分层标注)

以前的数据可能只告诉机器人：“把手移到那里，然后抓起来”。这太粗糙了，机器人学不会“为什么”要这么做。
RoboCOIN 引入了一个 能力金字塔 (Hierarchical Capability Pyramid)，把任务拆解成三个层次，就像教孩子学骑车：

塔尖（任务级）：告诉机器人“我们要去野餐，需要把水果装进篮子”。这是大局观，让机器人知道最终目标是什么。
塔身（步骤级）：把任务拆成小步子，比如“第一步：右手拿篮子；第二步：左手拿苹果；第三步：把苹果放进去”。这是逻辑规划，让机器人知道先做什么后做什么。
塔基（帧级）：精确到每一毫秒，告诉机器人“手臂要快一点，手腕要转 30 度，手指要捏紧”。这是肌肉记忆，让动作精准流畅。

比喻：以前教机器人是只给个终点坐标；现在 RoboCOIN 是给了它一张带导航、分步骤、甚至包含路况提示的地图。

3. 智能“质检员” (CoRobot 与 RTML)

人类教机器人时，难免会犯错（比如手抖、动作太猛）。如果把这些错误数据也教给机器人，机器人就会学坏。
为此，作者开发了一套叫 CoRobot 的工具，里面有一个核心叫 RTML（机器人轨迹标记语言）。

比喻：这就好比一个严格的体育教练。当人类示范动作时，教练会拿着秒表和尺子（RTML 规则）在旁边看：
- “刚才那个动作太快了，容易撞坏东西，删掉！”
- “这个动作太慢了，效率太低，删掉！”
- “这个动作很稳，保留！”
结果：这套系统自动过滤掉了 35% 的劣质数据，只把最精华的“金牌动作”留给机器人学习。

4. 效果如何？(实验结果)

作者用这套数据去训练了现有的机器人模型，效果非常惊人：

跨物种学习：用 RoboCOIN 的数据训练后，机器人即使换了一种没见过的“身体”（比如从机械臂换到人形机器人），也能立刻上手干活，成功率提升了 75% 到 212%！
抗干扰能力：如果环境变了（比如灯光变暗、背景变了），用了这套“金字塔”教学法的机器人，依然能稳稳完成任务，而普通机器人则会“迷路”。

总结

RoboCOIN 就像是给机器人界开了一家全能的“双手机械操作特训营”。
它不仅仅提供了海量的教材（18 万条数据），还制定了科学的教学大纲（金字塔分层），并配备了严格的质检员（RTML 过滤）。

它的目标是让未来的机器人不再只是笨拙地执行单一指令，而是能像人类一样，灵活、聪明、协调地用两只手完成复杂的日常任务，无论是帮你做饭、整理房间，还是在工厂里组装精密零件。而且，这个“特训营”的所有资料都是免费公开的，全世界的科学家都可以拿来用，加速机器人技术的进步。

RoboCOIN 论文技术总结

1. 研究背景与问题 (Problem)

尽管双臂操作（Bimanual Manipulation）对于赋予机器人类人的灵巧性至关重要，但现有的大规模、多样化数据集严重匮乏。主要面临以下挑战：

硬件异构性阻碍数据收集：不同的双臂机器人平台（如双臂机械臂、半人形、人形机器人）在硬件结构、自由度、夹持器类型（平行夹爪 vs. 灵巧手）上存在巨大差异，导致难以构建统一的大规模数据集。
数据结构与标注缺失：现有数据集（如 Open X-Embodiment）多侧重于单臂任务，或缺乏对双臂协作过程的结构性学习。大多数数据仅包含低层动作轨迹，缺乏从高层概念到具体子任务再到帧级运动学的分层标注，限制了模型在复杂场景下的推理和泛化能力。
数据质量参差不齐：人类遥操作采集的数据中常包含低质量轨迹（如速度突变、姿态不一致），缺乏有效的自动化过滤机制。

2. 方法论 (Methodology)

2.1 RoboCOIN 数据集

RoboCOIN 是一个大规模、多具身（Multi-embodiment）的双臂操作数据集，旨在解决上述问题：

规模与多样性：
- 15 种机器人平台：涵盖双臂机器人（如 AgileX Cobot Magic）、半人形机器人（如 Realman RMC-AIDA-L）和人形机器人（如 Unitree G1edu-u3）。
- 180,000+ 条轨迹：包含 421 个结构化双臂任务和 16 种多样化交互场景（家庭、工业、商业等）。
- 硬件配置：包含平行夹爪和灵巧手，配备多视角相机（头视、腕视、第三视角等）。
任务分类体系：
- 协作维度：分为低协作（58.9%，双臂顺序操作）和高协作（41.1%，双臂同步操作）任务。
- 物体维度：涵盖刚性物体（83.9%）、铰接物体（4.2%）和可变形物体（11.9%）。
分层能力金字塔 (Hierarchical Capability Pyramid)：
这是数据集的核心创新，提供三个层级的结构化标注：
1. 轨迹级 (Trajectory-level)：描述全局场景配置、物体布局及任务目标，支持全局空间推理。
2. 片段级 (Segment-level)：将任务分解为可执行的子任务（Subtasks），包含时间对齐的指令和异常处理（如抓取失败），支持时序推理。
3. 帧级 (Frame-level)：提供稠密的运动学细节，包括双臂末端执行器的运动参数（方向、速度、加速度）及夹持器状态，支持精确控制。

2.2 CoRobot 数据处理流水线

为了高效构建和管理数据，作者开发了 CoRobot 流水线，包含三个核心组件：

RTML (Robot Trajectory Markup Language)：一种领域特定语言，用于定义轨迹的质量约束（如运动稳定性、姿态一致性、执行效率）。RTML 评估器可自动过滤低质量轨迹（实验显示过滤了 35.3% 的低质数据）。
分层标注流水线：结合开放词汇检测器、规则引擎和人类微调，自动生成从场景描述到运动学标签的多级标注。
统一机器人接口：基于 LeRobot 框架扩展，提供统一的机器人控制抽象、数据管理和部署能力，支持“一键安装” (pip install robocoin)。

3. 主要贡献 (Key Contributions)

大规模多具身数据集：发布了 RoboCOIN，包含 15 种平台、18 万 + 轨迹、421 个任务，填补了高质量双臂协作数据的空白。
结构化分层标注：提出了“分层能力金字塔”，实现了从高层概念到低层控制的细粒度标注，促进了结构化学习。
高效数据工程工具：开发了 CoRobot 流水线和 RTML 标准，解决了多平台数据质量评估、自动化标注和统一管理的问题。
全面评估验证：在仿真和真实世界中进行了广泛实验，证明了数据对模型性能的提升作用。

4. 实验结果 (Results)

4.1 跨具身泛化能力 (Simulation)

在 RoboTwin 2.0 仿真环境中，使用未见过的机器人（ARX-X5 和 Franka Emika Panda）进行测试：

整体提升：基于 RoboCOIN 微调的模型（ $\pi_0$ -RoboCOIN）相比基线模型，在 ARX-X5 上相对提升 75.7%，在 Franka Panda 上相对提升 212.9%。
高协作任务：高协作任务的性能提升尤为显著（ARX-X5 提升 94.1%），表明多具身数据能有效学习复杂的协作先验。
难任务突破：对于原本成功率为 0% 的任务（如“放置双鞋”），模型成功实现了 3%-9% 的成功率。

4.2 分层金字塔的有效性 (Real-world)

在 Realman RMC-AIDA-L 平台上测试：

分布内 (In-Distribution)：引入分层金字塔后，平均成功率从 28% 提升至 43%（相对提升 53.6%）。复杂任务（如“桃子抽屉”）成功率从 20% 跃升至 70%。
分布外 (Out-of-Distribution)：在光照、背景、物体外观变化的 OOD 测试中，分层模型成功率从 22.5% 提升至 57.5%（相对提升 155.6%），且性能下降幅度远小于基线模型，证明了其鲁棒性。

4.3 RTML 数据质量过滤的影响

在 Unitree G1edu-u3 平台上测试：

过滤效果：RTML 过滤掉了 35.3% 的低质量轨迹。
性能提升：经过 RTML 精细过滤（全局 + 阶段级约束）的数据微调模型（GR00T-Fine），相比原始数据微调模型，成功率提升了 22.2%。
失败分析：指出抓取阶段（52.7%）和速度违规（46.2%）是主要失败原因，RTML 有效解决了这些问题。

5. 意义与影响 (Significance)

推动双臂操作研究：RoboCOIN 提供了目前最大规模、最多样化的开源双臂数据集，打破了硬件异构带来的数据壁垒。
促进结构化学习：分层能力金字塔为机器人学习提供了从“做什么”到“怎么做”再到“如何精确做”的完整知识链条，显著提升了模型的推理能力和泛化性。
标准化与工具化：RTML 和 CoRobot 流水线为机器人数据工程提供了新的标准范式，降低了多具身学习的研究门槛。
开源生态：完全开源的数据集、代码和工具链（pip install robocoin）将加速社区在双臂协作、人形机器人及通用具身智能领域的创新。

总结：RoboCOIN 不仅是一个数据集，更是一套完整的解决方案，通过解决数据多样性、结构化和质量评估三大痛点，显著提升了双臂机器人在复杂真实环境中的操作能力和泛化水平。