🤖 AI

TransHands: Repurposing Human Pose Encoders as Hand Pose Encoders

该论文介绍了 TransHands，这是一个与骨干网络无关的迁移学习框架，它通过重新利用预训练的人体运动编码器来有效地从 2D 输入中估计 3D 手部姿态，从而克服了大规模 3D 手部数据集稀缺的问题，并在多种架构和具有挑战性的第一视角场景中展示了持续的性能提升。

原作者： Milo Piccioli, Gianluca Amprimo, Claudia Ferraris, Gabriella Olmo

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Milo Piccioli, Gianluca Amprimo, Claudia Ferraris, Gabriella Olmo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在计算机视觉领域，教会机器观察并理解人体是一个漫长的旅程。多年来，研究人员一直致力于构建能够追踪人体全身三维运动的系统，这些系统利用了海量的视频数据，其中每一个关节和肢体都被仔细地标注了出来。由于有大量的数据可以用来教学，这些系统已经非常擅长理解人类如何行走、奔跑或伸手。然而，一旦涉及到手部，情况就大不相同了。手部极其复杂，拥有数十个以错综复杂方式运动的小骨头和关节，而且用于教导计算机如何运作的数据却少得多。这种信息的匮乏使得通过简单的摄像头来可靠地追踪手部三维运动变得十分困难，而这一能力对于从虚拟现实到医疗康复的各个领域都至关重要。

来自都灵理工大学和意大利国家研究委员会的一个研究小组提出了一个巧妙的解决方案，以应对这种数据短缺。他们没有试图利用有限的手部数据从头开始构建一个新系统，而是提出了一个简单的问题：计算机已经学到的关于全身的知识，是否可以被复用来理解手部？他们开发了一个名为 TransHands 的新框架，充当了两者之间的桥梁。其核心思想是，虽然手部看起来与全身不同，但基本的运动规则——即关节如何连接、运动如何随时间平滑流动以及肢体如何构成——是共通的。通过将已经掌握了全身运动的强大计算机模型进行适配，使其专注于手部，研究人员发现他们可以在不需要海量新数据集的情况下实现高精度。

他们方法的核心是一个既尊重身体与手部差异，又利用其相似性的模块化系统。想象一下，一个计算机模型已经学习了多年人类骨架是如何运动的。这个模型非常擅长理解运动的流向，但当面对手部的特定布局时（手部的关节数量不同且形状不同），它会感到困惑。研究人员设计了一个特殊的适配器，它位于这个预训练模型的面前。这个适配器接收手部的原始数据并对其进行轻微的重塑，将手部独特的几何结构转化为该身体模型能够理解的格式。这就像是一个翻译器，将用一种语言编写的故事转换成另一种语言，让读者无需学习新的字母表即可欣赏叙事。一旦数据完成翻译，强大的身体模型就会对其进行处理，最后由一个解码器将结果转换回精确的手部三维坐标。

为了测试这个想法是否奏效，团队将该框架应用于四种不同类型的先进计算机模型，包括基于 Transformer 和图网络的模型。他们使用两步走的过程来训练这些系统。首先，他们保持主要的身体模型处于“冻结”状态，这意味着其内部知识是锁定的，仅对新的适配器和最终的解码器进行手部数据训练。这使得系统能够在学习如何将手部映射到身体理解的过程中，不会忘记已有的知识。在第二步中，他们小心地解锁了模型的深层，以让其专门针对手指细微且快速的运动进行微调。结果令人瞩目。在他们测试的所有不同模型中，使用预训练身体知识的系统表现始终优于从头开始训练的模型。在其中一个最佳案例中，与未使用身体知识的相同模型相比，该系统将预测手部位置的误差降低了 21% 以上。

研究还表明，该方法在面对现实世界的挑战时具有显著的鲁棒性。当在不同的环境（包括视角经常发生畸变的穿戴式摄像头第一视角）下进行测试时，该系统依然保持了准确性。即使输入的是来自标准 2D 手部检测器的带有噪声、不完美的图像数据（这是日常应用中的常见问题），它也表现良好。在直接对比中，该系统在一个极具挑战性的数据集上实现了约 93 毫米的平均误差，这足以媲美那些处理完整视频图像的更大型、更复杂的系统。或许最重要的一点是，研究表明该方法具有极高的效率。该系统仅使用四分之一的可用手部数据，就能达到与从头开始训练的模型相同的准确度水平。这表明，从身体运动中转移过来的知识非常强大，足以弥补特定手部样本的缺乏。

除了追踪位置之外，研究人员还发现，这些经过适配的模型所学习到的运动模式蕴含着丰富的意义。当他们利用系统的内部表示来识别特定的手势时，无论是在静态的第三人称视角还是动态的第一人称视角下，结果都非常出色。系统能以高准确度正确识别手势，证明它不仅学习了手的形状，还学习了运动的语义含义。这表明，从身体到手部的知识迁移不仅仅是一个数学技巧，更是一种捕捉人类运动基本物理特性和逻辑的方式。

这项工作为计算机视觉指明了一条新的道路，即在这一领域，特定数据的匮乏并不一定意味着死路一条。通过认识到运动原理在身体不同部位之间是通用的，研究人员证明了我们可以重新利用现有的强大工具来解决新问题。他们的发现表明，通过适当的适配，对人体运动的深度理解可以有效地被重新定向，从而理解手部复杂的舞动，为在现实应用中实现更准确、更易获取的三维手部追踪打开了大门。

技术摘要：TransHands

问题陈述

从 2D 单目输入估计 3D 手部姿态（2D-to-3D lifting）面临着一个关键瓶颈：与丰富的全身运动数据相比，大规模、多样化的 3D 标注手部数据集极其匮乏。尽管最先进的（SOTA）人体运动编码器已通过大规模人体语料库（如 Human3.6M, AMASS）成功学习了时空动力学和生物力学先验，但这些模型无法直接应用于手部，因为存在拓扑不匹配问题。手部模型（例如具有 21 个关节的 MANO）与人体模型（例如 17 或 18 个关节）显著不同，且手部表现出复杂的、高频的关节运动，难以进行大规模捕捉。现有的特定手部数据集规模比人体数据集小几个数量级，这限制了数据驱动模型从零开始学习鲁棒运动先验的能力。

方法论：TransHands 框架

作者提出了 TransHands，这是一个与骨干网络无关（backbone-agnostic）的迁移学习框架，旨在重新利用预训练的人体运动编码器进行 3D 手部姿态估计。其核心洞察在于：编码在人体姿态模型中的高层时序动力学和生物力学知识（例如时序平滑度和关节约束）可以通过可学习的拓扑对齐进行保留和适配，而非通过架构重构。

该框架由三个主要部分组成：

拓扑适配器 ( $A_{in}$ ):
- 功能： 解决手部关节（ $J_H=21$ ）与以人体为中心的编码器（ $J_B \approx 17-18$ ）之间的维度和拓扑不匹配问题。
- 机制： 该适配器并非采用离散的线性投影，而是采用了 神经常微分方程 (Neural ODE)。它将拓扑变换视为一个连续的动态过程，将展平的手部坐标映射到潜状态中，并通过由时间嵌入参数化的连续动力学网络进行演化。
- 能力： 它执行通道对齐（例如，为特定骨干网络合成置信度通道）和潜流形对齐，在不修改冻结编码器的情况下，将手部拓扑平滑地投影到人体的潜在运动学空间中。
运动编码器骨干网络 ( $E_{body}$ ):
- 角色： 一个冻结或部分冻结的预训练人体运动编码器，用于提取时空特征。
- 策略： 框架采用了 部分解冻 (Partial Unfreezing) 策略。在阶段 1 中，骨干网络完全冻结以利用预训练先验。在阶段 2 中，仅解冻最深层的层、嵌入层和输出层，以使特征专门化处理手部的微观运动，同时保留全局运动动力学。
- 兼容性： 该框架在四种不同的 SOTA 架构上得到了验证：
  - 时空 Transformer：MotionBERT, MixSTE。
  - 频域 Transformer：PoseFormerV2。
  - 基于图的结构：ST-GCN。
潜在空间对齐与解码器:
- 投影 ( $P$ ): 多尺度保留机制 (RetNet) 将异构的编码器输出对齐到一个共同的潜在空间，防止微调过程中的特征畸变。
- 解码器 ( $D_{out}$ ): 一个任务特定的深度 MLP 配合层归一化（Layer Normalization），从精炼后的潜在表示中重建最终的 3D 手部坐标。

训练协议：
该框架采用三阶段协议：

阶段 1 (几何对齐)： 冻结骨干网络；在主要数据集（Re:InterHand）上优化适配器、投影和解码器。包括一个自监督的提升掩码运动建模 (L-MMM) 目标，以处理遮挡问题。
阶段 2-A (领域内精炼)： 选择性地解冻最后几个 Transformer 块，以适应手部的微观动力学。
阶段 2-B (多数据集泛化)： 在目标领域（如 AssemblyHands, GigaHands）进行专门化训练，以提高跨领域鲁棒性。

核心贡献

系统性的迁移研究： 首次系统性地研究了将人体运动先验转移到手部姿态估计中的过程，涵盖多种 SOTA 架构，证明了运动先验可以在不同拓扑领域间进行泛化。
模块化框架： 一种解耦的方法，将拓扑适配与时序建模分离，从而实现与现有骨干网络的“即插即用”集成，且仅需极小的架构改动。
数据高效性： 证明了来自人体数据集的生物力学知识提供了强大的归纳偏置，显著降低了手部姿态估计的标注需求（在仅使用不到 25% 的目标数据集的情况下达到了相当的性能）。

实验结果

该框架在 Re:InterHand（领域内）、AssemblyHands（第一视角）和 GigaHands（双手）上进行了评估。

性能提升： TransHands 在所有骨干网络上都一致地提高了准确度。
- MixSTE 取得了最佳的绝对性能，其 MPJPE 为 7.16 mm（比其冻结基线提升了 21.34%）。
- MotionBERT 达到 7.47 mm MPJPE（提升了 21.45%）。
- PoseFormerV2 显示出最高的相对增益（+36.53%），误差从 12.62 mm 降至 8.01 mm，这表明频域模型在领域适配方面具有极高的潜在可塑性。
跨领域泛化：
- 在零样本设置（S1）下，模型对全局坐标偏移表现出很强的鲁棒性（即使由于缩放/旋转不匹配导致 MPJPE 较高，PA-MPJPE 仍保持竞争力）。
- 多数据集适配（S2-B）解决了这些不匹配问题，将 AssemblyHands 上的误差降低至 ~10.92 mm，并将 GigaHands 上的误差降低至 ~2.21 mm。
消融实验：
- 迁移学习： 使用人体先验初始化的模型明显优于随机初始化，尤其是在低数据量的情况下。TransHands 在仅使用 25% 标注的情况下，达到了与使用 100% 数据训练的从零开始（from scratch）基线相当的性能。
- 组件分析： Neural ODE 适配器是减少误差最关键的组件，而 RetNet 投影在结合适配器使用时提供了补充收益。
现实世界鲁棒性：
- 零样本 2D-to-3D： 使用现成的噪声 2D 检测器（MediaPipe）在未见的 AssemblyHands 数据集上进行测试时，TransHands 达到了 92.97 mm MPJPE，优于 RGB 基线 ArcticNet-SF (110.76 mm)，并显著优于 MediaPipe 3D (130.77 mm)。
- 下游应用价值： 来自 TransHands 的冻结表示在手势识别任务（Jester 和 EgoGesture）中实现了 ~88% 的 Top-1 准确率，超过了较旧的特定 RGB 基线如 VGG16+LSTM (74.7%) 和 C3D (86.4%) 在 EgoGesture 上的表现，证明了所学习的先验编码了丰富的语义运动动力学。

意义与主张

论文声称 TransHands 通过利用丰富的运动人体数据来解决手部姿态估计中的数据稀缺问题，成功弥合了人体与手部运动之间的领域鸿沟。作者强调：

从人体姿态数据中学习到的运动先验可以一致地迁移到不同的架构族（Transformer、图结构、频域模型）。
该框架实现了高效的数据驱动型手部姿态估计，减少了对大规模 3D 手部数据集的需求。
该方法是与骨干网络无关的，允许快速集成未来的运动建模进展，而无需重新设计核心迁移机制。
所得表示不仅在 3D 提升方面准确，而且具有丰富的语义信息，能够支持下游任务（如在离体和在体设置下的手势识别），为基于 RGB 的方法提供了一种保护隐私的替代方案。

作者保持了谦逊的态度，指出现实世界的准确度目前受限于 2D 检测器的质量，并且 2D 估计与 3D 提升之间的进一步整合仍是未来的研究方向。