💻 computer science

BiDexGrasp: Coordinated Bimanual Dexterous Grasps across Object Geometries and Sizes

本文提出了 BiDexGrasp，包含一个通过新颖两阶段合成管线构建的、涵盖 6351 种物体与 970 万条标注数据的大规模双手灵巧抓取数据集，以及一个基于该数据集的、具备双手协调与几何尺寸自适应能力的生成框架，显著提升了未见物体上的双手抓取性能。

原作者： Mu Lin, Yi-Lin Wei, Jiaxuan Chen, Yuhao Lin, Shuoyu Chen, Jiangran Lyu, Jiayi Chen, Yansong Tang, He Wang, Wei-Shi Zheng

发布于 2026-04-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mu Lin, Yi-Lin Wei, Jiaxuan Chen, Yuhao Lin, Shuoyu Chen, Jiangran Lyu, Jiayi Chen, Yansong Tang, He Wang, Wei-Shi Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人像人类一样灵活地拿东西。如果只有一只手，拿个小苹果很容易，但如果要搬一个大西瓜，或者拿起一个形状怪异的台灯，单靠一只手往往力不从心，甚至根本拿不稳。这时候，就需要两只手配合（双手协作）来完成了。

这篇论文介绍了一个名为 BiDexGrasp 的新系统，它就像是为机器人双手配备了一位“超级教练”和一本“万能操作手册”，让机器人能轻松搞定各种大小、形状千奇百怪的物体。

我们可以把这篇论文的核心内容拆解成三个有趣的比喻：

1. 制造“超级教材”：从大海捞针到精准捕鱼

（对应论文中的：数据集构建与合成流水线）

以前的难题：以前教机器人双手拿东西，就像是在大海里捞针。因为两只手配合的可能性太多了（左手放哪、右手放哪、手指怎么弯曲），如果随机尝试，大部分尝试都会失败（比如两只手撞在一起，或者根本抓不住）。而且，现有的“教材”（数据集）里的物体大多很小，机器人没练过拿大东西。
BiDexGrasp 的妙招：
- 第一步：划定“捕鱼区”（区域约束初始化）。他们不再让机器人随机乱抓，而是先像侦探一样分析物体，找出那些“最容易抓稳”的区域。这就好比在钓鱼前，先通过声呐找到鱼群聚集的地方，而不是盲目撒网。
- 第二步：分头行动，最后汇合（解耦优化）。以前是两只手一起算怎么抓，计算量太大，容易算错。他们把任务拆开：先让左手单独算怎么抓稳，再让右手单独算怎么抓稳，最后把两个方案拼起来。这就像让两个厨师分别做好自己的菜，最后再端上桌，既快又好。
成果：通过这套方法，他们制造了一本超级厚的“操作手册”（数据集），里面包含了 6351 种 不同大小（从 30 厘米到 80 厘米，相当于从一个大西瓜到一个大行李箱）的物体，以及 970 万 种成功的抓取姿势。这比以前的教材多了几十倍，而且质量极高。

2. 训练“超级大脑”：学会看人下菜碟

（对应论文中的：生成框架与模型设计）

有了这本厚厚的“操作手册”，接下来就是训练机器人的大脑（AI 模型），让它学会举一反三。

挑战：物体大小不一，形状各异。如果机器人死记硬背，换个新物体就傻了。
BiDexGrasp 的绝招：
- 双手“眼神交流”（双手协调模块）：在拿东西前，机器人的两只手会先“商量”一下。模型会预测：“左手最好从这个角度看，右手最好配合那个角度”，确保两只手不会打架，而是完美配合。这就像两个人抬一张桌子，必须眼神对视，步调一致。
- 自带“伸缩尺”（几何 - 尺寸自适应策略）：不管物体是大是小，模型都能自动调整。它不是去猜绝对位置，而是先找一个“基准点”（比如物体的中心），然后告诉手：“相对于这个中心，你往左移多少，手指弯曲多少”。这就像用一把可伸缩的尺子，不管量大房子还是小盒子，都能量得准。
效果：训练出来的机器人，面对没见过的奇怪物体，也能迅速找到最稳的抓法。

3. 实战演练：从虚拟世界到真实世界

（对应论文中的：实验与真实部署）

在虚拟世界里：他们在电脑里模拟了成千上万次抓取，结果证明，这套方法的成功率是以前方法的 2.8 倍，而且速度快了 30 多倍。以前算一个抓取姿势可能要很久，现在瞬间就能搞定。
在真实世界里：他们把这套系统装到了真实的机器人手臂和灵巧手上（比如像人手一样的机械手）。面对真实的、大小不一的物体，机器人不仅能稳稳抓住，还能成功提起来。实验显示，在真实环境中，成功率非常高（很多物体达到了 100% 成功）。

总结

简单来说，BiDexGrasp 做了一件大事：
它先发明了一套高效的方法，制造了海量的高质量训练数据（解决了“没教材”的问题）；然后设计了一个聪明的 AI 模型，教会机器人如何双手配合以及适应不同大小的物体（解决了“不会学”的问题）。

这就好比给机器人双手请了一位金牌教练，不仅给了它一本包罗万象的百科全书，还教会了它灵活变通的本领，让它从此能像人类一样，轻松自如地拿起各种各样的东西，无论是小玩具还是大箱子。这对未来机器人进入家庭帮忙做家务、在工厂搬运货物具有非常重要的意义。

1. 研究背景与问题定义 (Problem)

核心挑战：
双手机器人灵巧抓取（Bimanual Dexterous Grasping）对于处理大尺寸、重型或形状复杂的物体至关重要，但目前该领域的发展受到以下两个主要瓶颈的制约：

缺乏高质量的大规模数据集： 现有的双手机器人抓取数据集规模小、物体尺寸和几何形状多样性不足，且合成效率低。
生成模型的局限性： 现有的数据驱动方法难以在未见过的物体上实现良好的泛化能力，特别是在面对多样化的物体尺寸和巨大的双手机器人搜索空间时。
- 搜索空间爆炸： 直接扩展单手机器人方法会导致初始化候选项呈二次方增长，且力封闭（Force-Closure）优化在高维空间中效率极低。
- 协调性差： 现有方法难以同时保证双手的协调配合（避免碰撞、共同维持稳定）以及对不同尺寸物体的自适应能力。

目标：
构建一个大规模、高质量的生物手灵巧抓取数据集，并基于此提出一个能够生成物理可行、协调且适应不同几何形状和尺寸的抓取生成框架。

2. 方法论 (Methodology)

BiDexGrasp 由两个核心部分组成：大规模数据合成流水线 和 基于学习的抓取生成框架。

A. 大规模数据合成流水线 (Data Synthesis Pipeline)

为了解决高维搜索空间导致的效率低下问题，作者提出了一种两阶段合成策略：

基于区域的抓取初始化 (Region-based Grasp Initialization)：
- 问题： 均匀采样导致大量无效候选。
- 方案： 利用抓取力空间 (Grasp Wrench Space, GWS) 能量来筛选物体上具有稳定潜力的“抓取区域”。
- 流程： 通过最远点采样 (FPS) 选择锚点 -> 排除凹区域 -> 评估区域对的稳定性（基于 GWS 边界）-> 保留最稳定的 40 对区域作为初始化候选。
- 优势： 显著减少了搜索空间，提高了初始化的物理可行性。
解耦的力封闭优化 (Decoupled Force-Closure Optimization)：
- 问题： 双手联合优化目标函数耦合紧密，易陷入局部最优，导致一只手主导而另一只手贡献微弱。
- 方案： 将双手机器人优化问题解耦为两个单手机器人的能量项。
- 优化目标： 最小化 QP-Energy（基于力封闭的度量），同时加入距离项（ $E_{dis}$ ）和区域一致性项（ $E_{region}$ ），确保接触点靠近物体表面且位于初始化选定的区域内。
- 优势： 降低了优化复杂度，确保双手都能形成高质量的局部抓取，提高了收敛稳定性。
运动学感知配置合成：
- 包含机械臂逆运动学 (IK) 求解，生成从预抓取 (Pre-grasp) 到挤压 (Squeeze) 再到抬起 (Lift) 的完整轨迹，确保物理可执行性。

B. BiDexGrasp 生成框架 (Learning-based Framework)

基于上述数据集，提出了一种数据驱动的生成模型，包含两个关键设计：

双手机器人协调模块 (Bimanual Coordination Module)：
- 功能： 显式建模双手关系，预测协调的抓取视角 (Coordinated Views)。
- 机制： 首先预测主抓取视角，然后预测与主视角最兼容的次级视角。通过交叉注意力机制提取视角特征，并训练概率回归模型来指导后续的特征提取和姿态生成。
几何 - 尺寸自适应抓取策略 (Geometry-Size-Adaptive Strategy)：
- 尺寸自适应 (Scale-Adaptive)： 引入自适应抓取锚点 (Grasp Anchor)。抓取姿态不再是绝对坐标预测，而是相对于锚点的相对姿态 ( $\Delta t, \Delta r$ )。锚点由物体包围球与预测视角的交点动态确定。这极大地缩小了动作空间，提高了对不同尺寸物体的泛化能力。
- 几何自适应 (Geometry-Adaptive)： 提取局部几何特征（基于 KNN 的近邻点云），避免全局特征被无关结构主导，使模型能关注接触区域的精细几何结构。
- 生成模型： 采用相对灵巧抓取扩散模型 (Relative Dexterous Grasp Diffusion)，基于锚点和特征生成相对手腕姿态和手指关节角度。

3. 关键贡献 (Key Contributions)

BiDexGrasp 数据集：
- 构建了包含 6,351 个 多样化物体（尺寸范围 30cm - 80cm）的大规模数据集。
- 包含 970 万 个标注的双手机器人灵巧抓取数据。
- 相比现有数据集（如 DexGraspNet, BODex 等），在物体数量、尺寸范围和抓取数量上均有显著提升。
高效的数据合成流水线：
- 提出的“区域约束初始化 + 解耦优化”策略，相比之前的双手机器人合成方法，成功率提高了 2.8 倍，合成速度快了 30 倍以上。
先进的生成框架：
- 提出了显式建模双手协调和适应几何/尺寸变化的生成框架。
- 在未见物体上实现了高成功率的物理可行抓取。
实机验证：
- 在多种真实机器人平台（BrainCo 手+Piper 臂，Inspire 手+Unitree G1 机器人）上进行了验证，证明了方法的泛化性和实用性。

4. 实验结果 (Results)

A. 数据合成性能

成功率 (SUC)： 在 DexGraspNet 和 Objaverse 数据集上，BiDexGrasp 流水线的抓取成功率（SUC-L 和 SUC-A）比基线方法（BimanGrasp）高出约 2.8 倍。
速度 (SGS)： 合成速度提升了 40 倍（从基线的 0.16 grasps/s 提升至 6.73 grasps/s）。
消融实验： 证明了区域初始化 (R)、解耦优化 (Dc) 和预抓取策略 (Ps) 对提升成功率和速度均有关键作用。

B. 生成框架性能

对比 SOTA： 在仿真测试中，BiDexGrasp 的抓取成功率 (SUC-L) 达到 66.78%，显著优于 SceneDiffuser (15.17%) 和 DGTR (41.45%)。
物理质量： 物体穿透深度 (PD) 和自穿透深度 (SPD) 最低，表明抓取姿态更精确、更稳定。
消融实验： 移除协调模块 (BCM)、几何自适应特征 (GAF) 或尺寸自适应锚点 (SAGA) 均会导致成功率下降，证明了各组件的必要性。

C. 真实世界实验

在真实机器人平台上，对未见过的物体进行了测试。
成功率： 在多种物体和不同机械臂配置下，抓取成功率普遍较高（部分场景达到 100%，平均表现优异），验证了从仿真到现实的迁移能力 (Sim-to-Real)。

5. 意义与影响 (Significance)

填补数据空白： 提供了目前最大规模、最多样化的双手机器人灵巧抓取数据集，为后续研究提供了宝贵的资源。
解决效率与质量矛盾： 提出的合成流水线解决了双手机器人优化中“高维搜索空间导致效率低”的痛点，使得大规模高质量数据生成成为可能。
提升泛化能力： 通过“相对姿态 + 自适应锚点”的设计，有效解决了机器人抓取中常见的尺寸和几何形状泛化难题。
推动实际应用： 实机实验的成功表明该方法不仅停留在仿真层面，具备在真实服务机器人、工业装配等场景中处理复杂物体的潜力。

总结： BiDexGrasp 通过“高质量数据合成”与“自适应生成模型”的闭环，显著推动了双手机器人灵巧抓取技术的发展，使其能够更可靠、高效地处理现实世界中多样化的物体。