💻 computer science

DexVerse: A Modular Benchmark for Multi-Task, Multi-Embodiment Dexterous Manipulation

该论文介绍了 DexVerse，这是一个大规模、模块化的基准测试，包含 100 个多样化任务、多种机器人具身形态以及可配置的视觉变化，旨在系统地评估并推进通用型灵巧操作策略的发展。

原作者： Yunchao Yao, Zhuxiu Xu, Tianqi Zhang, Zixian Liu, Sikai Li, Zhenyu Wei, Feng Chen, Dihong Huang, Kechang Wan, Chenyang Ma, Shuqi Zhao, Shenghua Gao, Masayoshi Tomizuka, Yi Ma, Mingyu Ding

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yunchao Yao, Zhuxiu Xu, Tianqi Zhang, Zixian Liu, Sikai Li, Zhenyu Wei, Feng Chen, Dihong Huang, Kechang Wan, Chenyang Ma, Shuqi Zhao, Shenghua Gao, Masayoshi Tomizuka, Yi Ma, Mingyu Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人同时成为顶级的厨房助手、大师级机械师和细腻的艺术家。你会希望它能抓起一个湿滑的杯子、拧开一个罐子、翻转一个煎饼，甚至可能在玩纸牌游戏时连一片牌都不会掉落。但问题在于，大多数机器人训练程序就像是在教一个孩子在完美平坦、空旷的人行道上骑自行车，然后期望他们能立即在充满坑洼、雨天且车流拥挤的城市街道上穿行。

这正是 DexVerse 背后的研究人员正在解决的问题。他们构建了一个庞大的、模块化的“训练场”，让机器人学习灵巧操控（dexterous manipulation）——这只是一个高级说法，意思就是“使用手和手臂来完成复杂的、涉及大量接触的任务”。

终极机器人障碍赛

把 DexVerse 想象成一个拥有 100 种不同挑战 的巨大数字游乐场。它不仅仅是关于拿起一个积木；它还包括：

基础操作： 抓取并移动简单的物体。
工具使用： 使用锤子或倒水（这需要你知道物体的“用法”，而不仅仅是它的外观）。
解谜任务： 打开笔记本电脑、挤压剪刀或穿针引线（这些需要精确的接触和运动部件）。
团队协作： 同时使用双手来托举托盘或传递物体。
马拉松任务： 制作咖啡或烘焙食物，这涉及一系列长链条的步骤。

最酷的部分是？这个训练场并不局限于一种类型的机器人。它支持 3 种不同的机器人手臂 和 6 种不同的灵巧手（例如 Shadow Hand 或 LEAP Hand）。这就像是一款电子游戏，你可以随时更换角色的手套和手臂，看看他们是否仍能赢得关卡。此外，研究人员可以即时更改光照、背景、物体的纹理甚至摄像机角度。这测试了机器人是真的在“学习”，还是仅仅在死记硬背某张特定的图片。

人类导师（以及数据大礼包）

为了教这些机器人，团队并没有仅仅编写代码；他们使用了虚拟现实（VR）技术。他们戴上头显，用自己的双手在模拟环境中执行任务，充当“导师”。他们收集了 3,180 次任务演示。每次记录都包含了所有细节：机器人的关节是如何运动的、摄像头看到了什么（RGB 图像、深度信息和点云）以及世界的各种状态。这是一个巨大的“如何做”视频库，通过完美的同步，让机器人能够从人类的精确动作中学习。

大揭秘：机器人仍在学习走路

这是最后的结论，也带有一点现实的警示。研究人员选取了当今最聪明、最先进的四个机器人“大脑”（包括 Diffusion Policy、DP3、OpenVLA 和 π0.5），并将它们投入到 DexVerse 训练场中。

他们运行了 19 种不同的任务，并让机器人尝试解决它们。结果如何？这可不是好对付的观众。

得分情况： 即便是表现最好的机器人大脑，平均成功率也仅为 34%。这意味着它们失败了超过三分之二的次数。
没有单一英雄： 并没有出现一个“冠军”机器人。一种类型擅长简单的举起，另一种擅长使用工具，第三种在精确接触方面表现尚可，但没有一个能全方位胜任。
残酷的真相： 研究人员发现，仅仅在海量互联网数据上进行训练（即那些“预训练”模型）并不会自动让机器人在这些棘手的动手任务中变得更好。来自互联网的“知识”并不能很好地转化为机器人手部的复杂物理特性。
零成功区域： 对于某些任务，比如将一个小球推上斜坡或滑动美工刀，每一个机器人全部失败（成功率为 0%）。这些任务需要精细的力量控制和亚厘米级的精度，而目前的机器人还无法达到这种水平。

这意味着什么

DexVerse 并不是一份宣布“机器人已经获胜！”的报告。它是一份报告，在说：“这是一个巨大的、诚实的测试，目前机器人仍然在挣扎。”

该论文表明，虽然我们取得了进展，但机器人所能胜任的受控简单世界，与它们在混乱现实世界中所需要做的事情之间，仍然存在巨大的鸿沟。研究人员在模拟中测量了这些失败，结果显示，那些需要紧密接触、双手协作和精确工具使用的任务，正是当前技术尚未攻克的“最终 Boss”。

因此，尽管我们拥有一个极佳的新训练场（DexVerse）和庞大的人类演示库，但实现一个能毫不费力处理任何灵巧任务的机器人梦想，仍是一个正在进行中的工程。未来的路径在于，如何让机器人去应对那些即便最聪明的 AI 大脑目前也会被难住的、具有“零成功率”的棘手任务。

技术总结：DexVerse

问题陈述

构建通用机器人需要超越简单的夹持器抓取与到达（reaching and grasping）的灵巧操作能力。真正的灵活性涉及对高自由度（DoF）手部和手臂的协调控制，且这种控制必须基于物体几何形状、视觉示能（visual affordances）以及长程任务结构，并伴随间歇性的接触密集型交互。

推动该领域发展的关键瓶颈在于缺乏能够共同评估灵巧泛化能力主要维度的基准测试。现有的基准测试通常在以下一个或多个方面存在局限性：

任务多样性： 许多基准侧重于基于夹持器的操作（如 CALVIN, LIBERO），或缺乏专家演示的狭窄灵巧设置。
具身覆盖范围： 很少有基准支持多种“臂-手”组合，从而阻碍了具身迁移的研究。
视觉与数据变异性： 对可控视觉变化（纹理、光照、视角）以及同步多模态演示数据的支持有限。
评估范围： 难以同时在不同的接触机制、视觉条件和具身形态下比较策略的表现。

因此，目前尚不清楚当前的通用机器人策略在从孤立技能扩展到功能多样、长程且接触丰富的跨具身、跨环境灵巧操作方面的表现如何。

方法论：DexVerse 基准测试

作者提出了 DexVerse，这是一个大规模、模块化的基准测试套件，旨在统一广泛的灵巧任务覆盖、多具身控制以及视觉运动泛化评估。

1. 任务套件与分类法

DexVerse 包含 100 个不同的灵巧操作任务，根据交互模式和操作挑战分为八个类别：

基础类 (Primitive) (9 个任务)： 与简单目标进行直接交互（如 PickCube）。
功能类 (Functional) (11 个任务)： 基于示能的交互（如 HammerStrike, PourCan）。
关节类 (Articulation) (18 个任务)： 控制物体部件和关节（如 OpenLaptop, SqueezeScissors）。
非抓取类 (Non-prehensile) (5 个任务)： 在不抓取的情况下进行推、滑或旋转（Pushing, sliding, or pivoting）。
接触密集类 (Contact-rich) (8 个任务)： 在持续接触下的精确对齐（如 InsertPeg, NutThread）。
双臂协作类 (Bimanual Coordination) (5 个任务)： 跨双手/双臂的协作操作。
多目标类 (Multi-goal) (39 个任务)： 满足多个或复合目标。
长程类 (Long-horizon) (5 个任务)： 时间跨度较长的多阶段程序（如 MakeCoffee, OvenBake）。

2. 模块化环境设计

基于 Isaac Lab 构建，该环境采用配置驱动架构：

模块化： 任务由结构化组件定义（场景布局、资产、机器人具身、观测/动作接口、初始化、成功条件）。
可扩展性： 通过基础环境（主基座、任务族基座、任务环境）的层级结构，实现可重用的模板，并允许在不重写核心逻辑的情况下轻松实例化新的任务、资产或机器人配置。
具身支持： 该基准支持 3 种机械臂（Franka Research 3, UR10e, xArm 7）和 6 种灵巧手（Sharpa Wave, WUJI, Shadow, Inspire, Allegro, LEAP）。它支持固定腕部和浮动腕部变体。
视觉变异性： 集成了可配置的视觉随机化，允许改变物体/场景的纹理、光照、天空盒、曝光度和摄像机视角，以测试视觉运动的鲁棒性。

3. 数据集与遥操作

为了解决高质量灵巧演示稀缺的问题，作者开发了一个 基于 VR 的遥操作流水线：

接口： 使用 Apple Vision Pro 配合 Isaac Lab 的 CloudXR 接口实现沉浸式控制。
重定向 (Retargeting)： 人类腕部姿态通过逆运动学驱动机器人末端执行器。人类手部动作通过基于优化的灵巧重定向技术被映射到各种灵巧手上。
数据收集： 数据集包含 3,180 条演示轨迹。
- 56 个单目标任务：每个任务 55 条演示（其中 50 条使用 Shadow Hand，其余 5 种手各 1 条）。
- 5 个长程任务：每个任务 20 条演示。
多模态观测： 每条演示都包含同步的本体感受、RGB、深度、点云以及模拟器状态观测。
回放机制： 提供一种工具用于状态回放以在本地重新生成观测数据，确保了可移植性，并避免了不同硬件之间的物理模拟漂移。

4. 策略评估

作者在 19 个任务的基准拆分集（共 950 个回合）上对四类代表性策略家族进行了基准测试：

$\pi_{0.5}$ ： 视觉-语言-动作 (VLA) Transformer。
OpenVLA： VLA Transformer。
扩散策略 (Diffusion Policy, DP)： 从零开始的扩散策略。
3D 扩散策略 (DP3)： 利用点云从零开始的扩散策略。

关键结果

对 19 个任务的评估揭示了当前方法的重大挑战：

整体性能： 表现最好的基准模型的平均在线成功率仅为 34%。没有哪种方法能在所有任务类别中始终占据主导地位。
特定方法的优势：
- 扩散策略 (DP)： 在简单的“拾取并抬起”（Pick-and-Lift）任务中表现最好（均值 0.51），在这些任务中，2D 图像和低维状态已足够。
- 3D 扩散策略 (DP3)： 在“功能性工具使用”（Functional Tool Use）中表现出色（均值 0.35），在此类任务中，点云几何信息有助于定位工具尖端。
- $\pi_{0.5}$ ： 在“关节物体操作”（Articulated-object Manipulation, 0.35）和“精密接触”（Precision Contact, 0.29）中领先，受益于语言条件化和用于处理多阶段子目标的流匹配（flow-matching）专家。
- OpenVLA： 落后于扩散基准（均值 0.19），这表明互联网规模的预训练先验尚未能有效地转化为高自由度灵巧控制流形。
失败模式：
- 接触密集型任务： 需要亚厘米级对齐和持续力调节的任务（如 PushT, InsertPen, SlideUtilityKnife）导致所有基准模型的成功率为 0%。
- 泛化能力： 在没有显式重定向或具身感知表示的情况下，策略在不同视觉条件和具身形态间的泛化能力较弱。

重要性与贡献

本文声称有三个主要贡献：

统一的基准测试： DexVerse 提供了第一个统一了 100 个多样化灵巧任务、多种臂-手具身、可控视觉变异以及统一评估框架的模块化基准测试。它填补了夹持器基准与狭窄灵巧研究之间的空白。
多模态数据集： 发布了 3,180 条通过 VR 遥操作收集的专家演示，这些演示在本体感受、RGB、深度、点云和状态模态上是同步的，使得在一致条件下评估基于状态、基于图像和基于 3D 的策略学习方法成为可能。
经验基准： 通过对最先进策略进行基准测试，作者证明了当前的方法距离解决通用灵巧操作仍有很大差距。结果强调了特定的开放性挑战，特别是细粒度视觉运动控制、接触密集型推理以及具身迁移。

作者将 DexVerse 定位为并非一个已解决的问题，而是一个具有挑战性且可扩展的测试平台，对于开发鲁棒、通用的灵巧操作策略至关重要。该基准暴露了当前模仿学习和 VLA 方法的局限性，特别是它们在缺乏显式力反馈或闭环修正的情况下，无法处理紧凑公差接触任务和复杂的阶段性协调任务。