💻 computer science

Human Universal Grasping

本文介绍了 HUG，这是一种基于包含 100 万帧第一视角人类抓取海量数据集训练的流匹配模型，能够从单张 RGB-D 图像中生成多样化且可重定向的抓取动作，在各种具身智能形态和环境中实现了零样本机器人抓取的先进性能。

原作者： Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何拿起咖啡杯。通常情况下，工程师必须花费数月时间来为机器人编程，向它展示成千上万个关于那个特定机器人应该如何移动手指的示例。这就像是在教一个孩子系鞋带时，只向他们展示自己的手是如何系鞋带的，然后期望他们能学会用另一双手系鞋带。

这篇名为**“人类通用抓取”（Human Universal Grasping，简称 HUG）**的论文提出了一种更简单、更自然的解决方案：直接观察人类是如何做的。

以下是他们实现这一目标的历程，用通俗易懂的方式进行了解释。

1. 问题所在：机器人是笨拙的学生

机器人在工厂执行重复性任务时表现出色，但在混乱、不可预测的家庭环境中却显得力不从心。如果你给机器人一个形状奇特的物体（比如菠萝或发刷），它往往不知道该如何抓取而不至于将其撞倒。大多数机器人都是通过“模拟”数据（计算机游戏）或由人类手动控制来训练的，这既缓慢又乏味。

2. 解决方案：“智能眼镜”实地考察

研究人员意识到，人类已经是抓取物品的专家了。我们每天都在不假思索地拿起成千上万种物体。与其从零开始教机器人，他们决定模仿人类的剧本。

数据收集： 他们给人们配备了一副智能眼镜（称为 Aria Gen 2），这种眼镜看起来像普通的眼镜，但带有摄像头和传感器。
任务： 人们戴着这些眼镜，在 41 个不同的建筑（住宅、办公室等）中过着日常活动。他们抓取了 6,707 种不同的物体。
结果： 他们创建了一个庞大的库，名为 1M-HUGS。它包含了 100 万张人类抓取物体的图像。这就像是人类抓取的“YouTube”，但带有 3D 深度信息，因此计算机能够准确知道手距离有多远。

3. 大脑：一个“流”模型

有了数据之后，他们需要一种方法来教机器人利用这些数据。他们构建了一个名为 HUG 的模型。

把 HUG 想象成一只变色龙或一个通用翻译官：

输入： 你向它展示一张物体的单张照片（带有深度信息），比如台面上的烤面包机。你用鼠标点击烤面包机。
处理： 模型会查看它的 100 万个抓取库。它会问：“如果人类看到这个烤面包机，会如何抓取它？”
输出： 它不仅仅是说“抓取它”。它会计算出抓取该特定物体所需的精确位置、旋转角度和手指形状。

神奇之处在于，这个模型学习的是人类如何移动，而不是特定机器人的移动方式。它学习的是抓取的概念。

4. 转换：从人手到机器手

这是最巧妙的部分。模型预测抓取时使用的是标准的真人手部形状（称为 MANO）。但机器人的手各不相同——有的有三根手指，有的有四根，有的大，有的小。

研究人员构建了一个重定向系统（retargeting system）。想象你是一名舞者。你学习了一段舞步（人类的抓取动作）。现在，你必须在不同的舞台布局上，或者与一个比你更高的搭档一起表演这段舞步。你不需要学习新的舞蹈；你只需要调整你的步伐以适应你的新搭档。

HUG 可以瞬间完成这一点。它获取它所预测的人类手部姿态，并从数学上将其“重定向”以适应机器人的特定手指。

无需重新训练： 你不需要再次教机器人。你只需接入新的机器人，它就能工作。
零样本学习（Zero-shot）： 这意味着它能处理机器人从未见过的物体，以及它从未去过的房间。

5. 测试：“HUG-BENCH”挑战

为了证明其有效性，他们并没有仅仅测试球或盒子这类简单的东西。他们构建了一个名为 HUG-BENCH 的“期末考试”：

他们收集了 90 种棘手的物体：带有手柄的东西、形状怪异的东西、微小的物品以及大型且笨重的物品。
他们通过两种方式测试了该系统：
1. 在模拟器中： 一个可以快速进行成千上万次测试的计算机世界。
2. 在现实世界中： 他们带着一个真实的机器人进入真实的房屋，尝试拿起这 90 种物体。

测试结果：

HUG 在桌面操作中的成功率为 66.7%，在真实环境（凌乱的房屋）中的成功率为 62%。
它以巨大的优势击败了目前的最佳机器人方法（高出 23% 到 34%）。
当其他机器人面对像野餐篮或喷雾瓶这样棘手的物品而失败时，HUG 却能搞定它们，因为它之前“见过”人类进行类似的动作。

总结

该论文声称，通过使用智能眼镜收集 100 万个真实的抓取动作，他们创建了一个系统，使机器人能够通过模仿人类的直觉，抓取任何地方的任何物体，并使用任何手部。它弥合了人类灵巧度与机器人笨拙感之间的鸿沟，而无需为每一个新物体单独编写程序。

他们没有声称的内容：

他们并未声称这适用于医疗手术或精细的临床任务。
他们并未声称机器人可以规划复杂的、多步骤的任务（如制作三明治）；它仅解决“我现在如何抓取这一个物体”的具体问题。
他们也指出了局限性：该系统目前仅模拟右手抓取，并且在处理极小的物体或完全被遮挡的物体时会遇到困难。

技术摘要：HUG (Human Universal Grasping，人类通用抓取)

问题陈述

虽然人类可以毫不费力地抓取任意物体，但多指机器人手仍缺乏类似的通用性。一个主要的瓶颈是缺乏多样化的、现实世界的机器人抓取数据。现有方法面临显著局限：

合成数据： 依赖于仿真（优化力封闭或使用强化学习）的方法受限于“模拟到现实”（sim-to-real）的差距，并且通常需要针对每个新的机器人形态进行重新训练。
遥操作： 虽然能提供真实的抓取动作，但遥操作过程繁琐，无法扩展到开放世界，且难以针对灵巧手进行大规模采集。
数据稀缺： 机器人缺乏人类每天积累的数以千计的抓取经验，这阻碍了学习自然且可执行的抓取分布。

本文认为，机器人抓取最自然的来源是人类自身。然而，利用这一点需要克服数据采集规模、精确 3D 注释以及人类手与机器人手之间形态差异等挑战。

方法论：HUG 框架

作者提出了 HUG (Human Universal Grasping)，一个纯粹从野外人类数据中学习灵巧抓取的框架，能够实现向各种机器人手的零样本迁移（zero-shot transfer）。该流水线由三个主要部分组成：

1. 数据集：1M-HUGS

作者收集了 1M-HUGS，这是一个包含 100 万个图像-抓取对的自我中心（egocentric）数据集。

采集： 数据使用 Aria Gen 2 智能眼镜 在 41 栋建筑中进行记录，捕捉了 6,707 个物体实例，共计 27.8 小时的视频。
协议： 佩戴者在用右手伸手抓取物体之前，先记录不同视角下的静态场景。通过相机位姿将抓取姿态传播回之前的帧（即手部不可见的帧），从而为每一次物理抓取生成数百个（仅含物体的图像，抓取）对。
处理： 处理流水线使用视觉语言模型和 SAM3 进行物体遮罩（masking）。根据深度置信度和手-物相交情况对帧进行过滤。
标签： 由于 Aria 仅提供 21 个手部关键点，作者将完整的关节连接 MANO 手部模型 拟合到这些关键点上。MANO 形态参数 ( $\beta$ ) 固定为标准值以消除不同人之间的尺寸差异，而姿态参数 ( $\theta$ ) 则捕捉抓取动作。数据集包含同步的 RGB、灰度图、度量深度、物体遮罩和 MANO 姿态。

2. 模型架构：流匹配 Transformer (Flow-Matching Transformer)

HUG 是一个流匹配模型，它根据单张 RGB-D 图像和用户指定的物体上 2.D 查询点来预测 MANO 抓取状态。

输入： 一张 RGB-D 图像和一个 2D 像素点击 $(u, v)$ ，该点击通过深度和内参提升为 3D 查询点 $p_q$ 。
编码器：
- RGB： 使用带有寄存器标记（register tokens）的冻结 DINOv2-Base ViT 进行编码。
- 点云 (PC)： 深度图像被反投影为度量点云，并裁剪至 $p_q$ 周围 0.3m 半径的范围，随后由可训练的 PointNeXt U-Net 进行处理。
融合： 模型采用**点绘画（point painting）**技术，将点云质心投影到 RGB 图像上以采样 DINO 特征，这些特征与 PC token 拼接并通过 MLP 进行融合。
流 Transformer (Flow Transformer)： 抓取状态被分解为腕部平移 ( $t$ )、腕部旋转 ( $R_{6d}$ ) 和手指姿态 ( $\theta_{6d}$ )。这些由一个 DiT (Diffusion Transformer) 模块处理，该模块通过交叉注意力机制关注融合后的场景 token。模型通过 AdaLN-Zero 调制进行时间步长调节。
输出： 模型预测一个 99 维的抓取状态，通过流匹配 ODE 进行集成，生成最终的 MANO 姿态。

3. 重定向 (Retargeting)

预测的人类抓取（MANO 姿态）通过学习到的重定向方法被重定向到各种机器人手（如 Ability, WUJI）。至关重要的是，不需要针对特定形态进行训练；该模型可以跨不同的机器人形态实现零样本泛化。

核心贡献

首个纯人类驱动框架： HUG 是第一个纯粹基于人类数据训练、且可部署于多种机器人形态的抓取框架。
1M-HUGS 数据集： 一个大规模、自我中心的 100 万帧自然人类抓取数据集，包含度量深度和拟合 MANO 的手部姿态，涵盖了多样的环境和物体实例。
HUG-BENCH： 一个全新的评估基准，包含 9 个未见过的物体类别（其中 30 个用于现实世界测试），涵盖五种几何类别和三个尺寸区间。它包含用于配对仿真和现实世界评估的度量尺度 3D 网格（meshes）。
方法论： 一种点条件流匹配模型，通过融合 RGB 和深度来预测多样化、自然的抓取，无需针对特定手部进行训练。

实验结果

仿真评估 (HUG-BENCH)

在 MuJoCo 中对 30 个未见测试物体进行评估：

性能： HUG 实现了 73.0% 的成功率 (SR) 和 14.6 mm 的指尖接触 (FC) 误差。
基线： 优于“人类抓取先知 (Human Grasp Oracle)”（94.0% SR），其差距与仿真器本身的限制（跟踪误差、开环执行）一致。
消融实验：
- 去除 3D 几何损失后，SR 降至 32.7%，凸显了其对于准确指尖放置的必要性。
- 去除 0.3m 裁剪或点绘画会导致性能下降约 10-15 个 SR 点。
- 模态： 仅使用 RGB 会导致性能大幅下降（29.7% SR），而仅使用 PC 虽然表现强劲（70.7% SR）但缺乏语义基础。双模态 RGB+PC 方法对于解决歧义情况（例如：抓取刷子的柄还是刷毛）至关重要。
缩放： 性能从 25K 帧到 1M 帧呈现单调提升，表明该模型仍受数据驱动而非容量驱动。

现实世界评估

在两种设置下对 30 个物体进行评估：

桌面环境 (xArm + Ability 手)： HUG 实现了 66.7% 的 SR，分别超过了 Dex1B (43.7%) 和 CAP (32.7%) 达 23% 和 34%。HUG 成功抓取了 30 个物体中的 28 个。
野外环境 (YOR 移动操作平台 + WUJI 手 + Aria 眼镜)： 在不受控的家庭环境中，HUG 实现了 62.0% 的 SR，且无需任何现场微调或针对特定形态的重训练。

失败模式： 大多数失败发生在从预抓取到抓取的过渡阶段（撞击物体或桌面）或提升阶段（滑动）。这些归因于开环执行和缺乏力反馈，而非抓取预测错误。
泛化性： HUG 在不同物体尺寸（从小橡皮到大箱子）、几何形状（无定形、带附件物体）和环境中均展示了鲁棒性。

意义与主张

论文声称，HUG 证明了可以通过直接学习人类的自然行为来学习灵巧机器人抓取，从而绕过昂贵的机器人特定数据采集或重度依赖仿真的训练。

通用性： 通过建模自然人类抓取的分布而非所有物理有效的抓取，该系统能产生可靠且可执行的抓取，并能零样本迁移到新的相机、机器人手和未见的家庭环境。
可扩展性： 使用轻量化智能眼镜使得采集大规模数据集（100 万帧）成为可能，这在以前是难以实现的。
基准测试： 引入 HUG-BENCH 为评估灵巧抓取（在仿真和现实世界中）提供了一个标准化的、具有挑战性的、度量尺度的基准，解决了该领域缺乏严格评估标准的现状。

作者总结道，尽管存在局限性（如仅限右手、开环执行、遮挡处理），但该框架代表了迈向实现人类抓取通用性这一目标的重大一步。