HOGraspFlow: Taxonomy-Aware Hand-Object Retargeting for Multi-Modal SE(3) Grasp Generation

HOGraspFlow 技术摘要

问题陈述
本文解决了将人手 - 物体交互（HOI）演示重定向至机器人平行夹爪（PJ）末端执行器的挑战。现有方法通常依赖简化的“拇指 - 食指”代理，这压缩了人类抓取分类的多样性，并忽视了依赖接触力的力封闭性，使其局限于捏取类抓取。相反，近期的多具身抓取生成方法通常以物体为中心，需要可靠的 3D 几何先验（如 SDF、点云）以及在测试时的姿态估计。这些几何依赖性使它们对感知伪影（如缺失的深度、镜面反射）变得脆弱，且无法直接利用物体几何未知或不可靠的“野外”视频数据。核心问题在于开发一种基于视觉的框架，能够从单张 RGB 帧生成多模态、可执行的 6 自由度平行夹爪抓取，而无需显式的物体模型，同时保留人类抓取意图的多样性和接触语义。

方法论
作者提出了HOGraspFlow，这是一个以功能为中心的重定向框架，利用去噪流匹配（FM）合成 SE(3) 抓取姿态。其流程如下：

1. 感知与特征提取：

   • 系统接收单张 HOI 演示的 RGB 图像。
   • 它利用WiLoR（一种基础手部重建器）提取 MANO 参数（姿态和形状）以及手部边界框。
   • 该方法不依赖物体网格，而是使用DINOv2（一种视觉基础模型）从手 - 物体裁剪区域中提取视觉语义，获得对物体外观和类别不变的图像块令牌。
   • 这些视觉特征通过自注意力机制与手部参数融合，创建一个紧凑的 HOI 感知描述符。

2. 条件线索：
   生成过程基于从描述符导出的三个互补线索进行条件控制：

   • 视觉语义： DINOv2 特征提供关于交互的上下文。
   • 接触重建： 一个轻量级解码器在手部网格上预测每个顶点的接触对数，在无需显式接触输入的情况下回答“在哪里抓取”。
   • 分类感知先验： 一个在 GRASP 分类法上训练的抓取类型分类器输出 33 种抓取类型的概率分布。这被映射到一个可学习的代码本，以提供类别先验，回答“如何抓取”并正则化重定向姿态的分布。

3. 生成合成（SE(3)）：

   • 该框架引入了两个生成模型：HOGraspDiff（基于基于分数的扩散）和HOGraspFlow（基于流匹配）。
   • 两个模型均在 SE(3) 流形上运行，以生成多样化的多模态平行夹爪抓取姿态。
   • HOGraspFlow因其稳定性而受到强调。与在方差爆炸扰动下学习分数函数（导致尺度漂移）的基于分数的模型不同，流匹配学习确定性的速度场。这将平移和旋转解耦，减少了优化不稳定性并提高了样本效率。
   • 引导： 生成过程结合了软引导，使夹爪的接近轴与手掌轴对齐，并使用无分类器引导来引导分布。

4. 部署：

   • 生成的姿态最初位于手部腕部坐标系中。
   • 为了映射到世界坐标系，系统使用来自 WiLoR 的全局手部姿态。
   • 应用"Z 轴仅 ICP"（迭代最近点）细化来校正沿相机光线的平移偏差，补偿单目深度估计误差，而无需多视图设置。

主要贡献

1. 基于视觉的功能中心框架： 一种新颖的方法，能够从单张 RGB 帧生成多模态 6 自由度平行夹爪抓取，无需显式的 3D 物体几何或姿态估计，而是依赖基础视觉特征和手部重建。
2. 双重生成架构： 引入了用于基于视觉的 SE(3) 重定向的HOGraspDiff和HOGraspFlow。本文证明，在此背景下，流匹配在分布保真度和优化稳定性方面优于基于分数的扩散。
3. 分类与接触集成： 该方法明确将抓取分类识别和接触重建作为条件信号集成，使系统能够识别多样化的抓取类型，并在推理过程中无需真实接触输入即可保持高接触精度。
4. 现实世界验证： 在配备 Robotiq 2F-85 夹爪的 UR10e 机器人上成功部署，展示了向多样化物体（包括分布外物品）的鲁棒迁移，并具有高成功率。

结果

• 仿真（HOGraspNet 数据集）：
  • HOGraspFlow的表现优于HOGraspDiff和其他基线。结合 DINOv2 和分类代码本，HOGraspFlow 实现了**92.5%的分类准确率（TA）和88.1%**的接触准确率（CA）。
  • HOGraspFlow 的推土机距离（EMD）为0.67，显著低于（优于）基于分数的变体（0.80）和无视觉特征的基线（0.81）。
  • 消融研究证实，视觉语义（DINOv2）对于语义理解至关重要，在抓取类型分类方面优于“接触预言机”（使用真实接触标签），表明视觉线索在分类法方面比单独接触更具判别力。
• 现实世界实验：
  • 该系统在各种物体（包括工具和家居用品）上的整体抓取成功率为83.8%（80 次试验中的 67 次）。
  • 它显著优于标准的拇指 - 食指模板方法（33/80）和基于点云的 GraspNet-1B 基线（53/80），特别是在处理具有挑战性几何形状或感知伪影的物体时。
  • 该方法对遮挡和镜面反射表现出鲁棒性，而这些正是以几何为中心的方法失败的地方。

意义
本文声称，HOGraspFlow 代表了从以物体为中心到以意图为中心的抓取生成的转变。通过利用高物体变异性与受限的人类抓取意图之间的不对称性，该方法实现了可靠的重新定向，克服了几何先验的脆弱性。作者强调，与传统的扩散模型相比，流匹配为 SE(3) 姿态生成提供了更稳定、更高效的优化路径。这项工作表明，高保真、多模态的抓取合成可以直接从单目视频中实现，使机器人能够从多样化的野外人类演示中学习，而无需对目标物体进行精确的 3D 重建。