🤖 AI

UniDexTok: A Unified Dexterous Hand Tokenizer from Real Data

该论文介绍了 UniDexTok，这是一种统一的标记器，它将多样化的真实世界灵巧手状态映射到一个共享的 22 自由度语义接口中，无需重定向或仿真，即可实现亚毫米级的重建精度，并实现有效的跨具身学习，具备强大的零样本和少样本能力。

原作者： Dong Fang, Youjun Wu, Yuanxin Zhong, Rui Zhang, Yunlong Wang, Xiaosong Jia, Yu-Gang Jiang

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Dong Fang, Youjun Wu, Yuanxin Zhong, Rui Zhang, Yunlong Wang, Xiaosong Jia, Yu-Gang Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一群机器人如何拿起一个杯子。问题在于，每个机器人的“手”都不一样：一个机器人有四根手指，另一个有五根；有的关节像人类一样弯曲，而有的关节像螺钉一样旋转。它们说着不同的运动“语言”。如果你试图同时教它们，就像是在尝试给一群说着不同语言的人提供一套统一的指令，而不使用翻译器。最终你会得到一团乱麻，或者你不得不为每个机器人手动翻译每一条指令，这既慢又容易出错。

这篇论文介绍了一个名为 UniDexTok 的解决方案，它充当了所有不同机器人手的通用翻译器和共享词典。

以下是其工作原理的拆解，通过简单的概念进行说明：

1. 问题所在：过多的方言

目前，如果研究人员想要训练一个机器人手，他们必须处理各种“方言”。一个数据集可能以角度为单位测量手指关节，另一个可能使用弧度，第三个可能以完全不同的顺序列出关节。为了让它们协同工作，以往的方法试图将人类手的动作（例如模仿人类的手势）“重定向”（retargeting）到机器人身上。但这就像是试图把方榫头塞进圆孔里；这往往会扭曲动作，或者导致机器人“应该做”的操作与它“能够做”的操作之间出现偏差。

2. 解决方案：通用“手部蓝图” (UDHM)

作者首先创建了一个标准蓝图，称为 UDHM（统一灵巧手模型）。

类比： 想象所有不同的机器人手就像不同型号的汽车（轿车、卡车、跑车）。它们都有轮子、引擎和方向盘，但排列方式不同。UDHM 就像是一个标准的“驾驶座”界面。它规定：“无论你是什么车型，我们都使用完全相同的名称和位置来讨论方向盘、油门踏板和刹车。”
它的作用： 它将来自人类手或任何机器人手的杂乱、独特的数据，转换为一种所有人都能理解的干净、标准的 22 关节“语言”。

3. 神奇的工具：分词器 (UniDexTok)

一旦数据进入这种标准语言，他们就会使用 Uni-DexTok。你可以把这看作是一个将复杂的运动转化为一组简单的、离散的“标记”（tokens）或“代码”的翻译器。

类比： 想象你有一个巨大的图书馆，里面有各种语言编写的书籍。与其逐一翻译每本书，不如创建一个通用的编码系统（类似于摩斯电码），其中每一个特定的手部动作都被分配了一个唯一的数字。
“共享词典”： 大多数之前的系统是为每个机器人构建一个单独的词典。而 UniDexTok 构建了一个单一的词典供所有机器人使用。它学习到，“闭合食指”这个动作在大型机器人手上看起来略有不同，但在较小的手上也略有不同，但它在记忆中存储的是“闭合食指”这个概念本身。
结果： 因为它们共享同一个词典，如果你引入一个该系统从未见过的全新机器人手，系统也可以立即理解其运动，而无需从头开始重新训练。这就像是你遇到一个说着你从未听过的方言的新人，但因为你们拥有相同的语系，你可以瞬间理解对方。

4. 结果：从“模糊”到“精准”

论文将此方法与当前最先进的方法 (UniHM) 进行了对比测试。

旧方法： 之前的方法就像是用粗且模糊的记号笔画画。误差很大（大约 15 度的角度误差或 18 毫米的位置误差）。这就像是试图穿针引线，却偏离了整整一英寸。
新方法： UniDexTok 就像是使用激光笔。它将误差降低到了几乎为零（0.16 度和 0.18 毫米）。这实现了 99% 的改进。这意味着机器人现在可以以亚毫米级的精度重建手部姿态，其精确度极高。

5. 为什么这很重要（根据论文所述）

论文声称，这是第一个直接从现实世界数据中学习的系统，涵盖了许多不同的机器人，而无需使用模拟数据或强行拟合人类动作来伪造数据。

零样本学习 (Zero-Shot) 的魔力： 如果你给系统一个它从未见过的机器人手，它仍然可以立即理解它（Zero-Shot）。
少样本学习 (Few-Shot) 的魔力： 如果你只给系统一点关于新机器人的数据（比如几秒钟的视频），它就能完美地掌握处理该特定机器人的方法（Few-Shot）。

总结： 作者构建了一个通用翻译器和一个共享词典，允许不同的机器人手相互学习彼此的经验。他们不再将每个机器人手视为一个独特的、孤立的问题，而是标准化了数据，使得机器人可以向人类、其他机器人或从未见过的机器人学习，从而实现近乎完美的理解手部动作的准确度。

技术摘要：UniDexTok：一种基于真实数据的统一灵巧手分词器

1. 问题陈述

灵巧手对于精细操作至关重要，但这些系统的学习进展受到硬件设计高度异构性的阻碍。与平行夹持器不同，灵巧手的运动学、关节定义、控制约定和自由度（DoF）存在显著差异。这些不一致性阻碍了共享状态表示的创建，导致数据集碎片化，难以进行联合训练。

现有的统一数据方法通常依赖于：

重定向（Retargeting）： 将人类运动（例如来自 MANO）转换为机器人手。这会引入几何失配并改变机器人的原生状态。
仿真（Simulation）： 大规模合成数据（例如在 Isaac Gym 中）。这面临模拟与现实（sim-to-real）的差距问题，且无法解决现有真实世界机器人日志的标准规范化问题。
特定手型的分词器（Hand-Specific Tokenizers）： 为每个机器人手训练独立的编码器和解码器（例如 UniHM），这无法利用不同具身形态之间的共享结构先验，也无法实现向新手的零样本迁移。

此外，现有的真实世界数据集在关节顺序、维度和单位（弧度、角度、离散化区间）方面各不相同，这造成了超越单纯数据量问题的可用性瓶颈。

2. 方法论

所提出的框架由两个核心组件组成：统一的状态表示（UDHM）和统一的分词器（UniDexTok）。

2.1 统一灵巧手模型 (UDHM)

UDHM 是一个标准化的 22 自由度语义接口，它将人类手部和多种机器人手状态映射到一个共享的活性关节空间中，同时保留具身特定的运动学信息。

运动学参数化： 该模型将人类手视为另一种灵巧具身。它基于解剖学约束定义了一个掌平面和局部运动轴。
- 手指（食指、中指、无名指）： 每个手指建模为 4 个 DoF（MCP 掌指关节外展/内收、MCP 掌指关节屈曲/伸展、PIP 指间关节屈曲/伸展、DIP 指间关节屈曲/伸展）。
- 小指： 增加了一个围绕掌骨方向的扭转 DoF，以解释侧向姿态变化。
- 拇指： 建模为 5 个 DoF（CMC 腕指关节屈曲、CMC 腕指关节展宽、MCP 掌指关节屈曲、MCP 掌指关节外展、IP 指间关节屈曲）。
标准化流水线： 异构数据集被映射到这个 22 维的顺序中。关节值被转换为弧度并按 $\pi$ 进行归一化。缺失的关节进行零填充，而可用的关节则被插入到其语义对应的 UDHM 坐标中（“语义插入”）。

2.2 UniDexTok 架构

UniDexTok 是一个无需重定向的状态分词器，它从标准化的真实关节状态中学习离散标记（tokens）。与为每种手训练独立分词器的基线不同，UniDexTok 在所有具身形态之间共享单个编码器、码本（codebook）和解码器。

条件 Transformer 编码器： 将归一化后的手部状态 ( $x \in \mathbb{R}^{22}$ ) 映射到潜在标记。它通过自适应层归一化（AdaLN）引入手型标签 ( $h$ )，以调节 Transformer 块的缩放和偏移，从而允许共享空间考虑到形态特定的运动学约定。
分解向量量化 (Factorized VQ)： 为了在不导致参数量爆炸的情况下增加词表容量，码本采用了分解设计。512 维的潜在空间被分为 $K=8$ 个通道组。每个组由一个包含 32 个条目的子码本进行量化。这使得单个标记可以使用仅 256 个学习到的向量来表达 $32^8$ 种组合。
条件解码器： 根据手型条件，从量化后的标记重建连续状态。
训练目标： 模型在跨越多个数据集（人类和机器人）的真实数据上进行训练，其重建损失结合了均方误差（MSE）和 SmoothL1 项，以及标准的 VQ 承诺损失（commitment loss）。

3. 核心贡献

UDHM： 一种统一的手部模型，将人类手和多种机器人手映射到共享的 22 自由度关节空间中，保留了具身特定的运动学，并实现了在异构真实数据上的联合训练。
UniDexTok： 一种统一的跨具身分词器，共享单个编码器、码本和解码器。这种设计通过学习通用的离散标记空间，促进了向未见手的零样本迁移和高效的少样本适配。
无需重定向的流水线： 首个直接在跨多个数据集的标准化的真实机器人手数据上训练状态分词器的流水线，消除了对 MANO-to-robot 重定向或仿真的需求。

4. 实验结果

4.1 重建精度

与最近的基线 UniHM（使用重定向数据和针对每种手单独的分词器）相比，UniDexTok 展示了卓越的重建精度：

MPJAE（平均每关节角度误差）： 从 15.63° (UniHM) 降低到 0.16° (UniDexTok)，降幅达 98.98%。
MPJPE（平均每关节位置误差）： 从 18.51 mm 降低到 0.18 mm，降幅达 99.03%。
这些改进在 LinkerHand L6, L10, L20 和 Robotera XHand1 上均保持一致。

4.2 零样本与少样本泛化

模型在 Inspire hand (RH5E2) 上进行了测试，该手部的运动学结构与训练集明显不同。

零样本（Zero-Shot）： 在没有微调的情况下，模型实现的关节角度误差在 4.14° 到 7.85° 之间。
少样本（Few-Shot）： 仅在目标数据的 6.2%（4,528 帧）上进行 2 个 epoch 的微调，即可显著降低误差（例如，Index MCP pitch 误差降低了 78.6%）。
这证明了共享编码器提供了一个表示基础，能够将未见的手映射到现有的标记空间中。

4.3 消融研究

人类数据： 将经过 UDHM 处理的人类手作为一种训练具身（而非仅仅作为重定向源）提高了一切机器人手的重建精度。
语义插入： 将机器人关节映射到其特定的 UDHM 维度（语义插入）的表现优于简单的“追加并填充（append-and-pad）”方法，证实了模型学习的是关节级的语义对齐，而非仅仅是数值压缩。
表示质量： 在一个 13 类手势分类基准测试中，UniDexTok 在线性探测和 KNN 检索中实现了 100% 的准确率。相比之下，UniHM 的性能在量化后显著下降（从 96.15% 降至 84.62%），表明 UniDexTok 的分解码本避免了单码本 VQ 中出现的信息坍缩现象。

5. 重要性与主张

论文声称，UniDexTok 通过证明保留真实手部状态并在共享语义空间中进行处理比将其重定向到另一种具身更为精确，为灵巧手状态表示建立了一个新标准。

作者强调的关键意义包括：

亚毫米级精度： 该系统将重建精度从厘米级（重定向/仿真的典型水平）提升到了亚毫米级。
跨具身学习： 来自一种具身（包括人类手）的数据可以提高其他具身的重建精度，验证了跨具身分词化的益处。
实用的补充： 作者将状态分词器定位为动作分词器（用于视觉-语言-动作模型 VLA 和世界-动作模型）的实用补充，特别是对于那些在生成硬件特定控制之前必须在多种手具身之上进行推理的系统。

6. 局限性

作者承认，UDHM 是基于类人手的运动学结构构建的，这可能无法完全代表非类人形态的夹持器、软体手或具有强机械耦合/欠驱动特性的手。此外，当前的分词器专注于状态重建，并未显式地对接触状态、触觉信号或时间动作动态进行建模，这意味着低重建误差并不自动保证具有更优的下游操控性能。