💻 computer science

ScaleHP: Estimating Hand Pose in Metric Space

ScaleHP 是一个新颖的端到端框架，它通过利用内在的人体测量学先验以及带有尺度标记（scale token）的 Transformer 解码器，消除了对脆弱的外在深度模块的需求，从而实现了最先进的度量空间手部姿态估计。

原作者： Ruitao Jing, Xingyu Chen, Hongyang Li, Qing Jiang, Yukai Shi, Lei Zhang

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruitao Jing, Xingyu Chen, Hongyang Li, Qing Jiang, Yukai Shi, Lei Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 ScaleHP 论文的解释，已将其转化为通俗易懂的语言并采用了创意类比。

核心问题：“缩放”之谜

想象你正在手机上看一张手的照片。你可以清晰地看到手指和手掌。但问题在于：你完全不知道这只手距离有多远。

这只是一只巨大的手紧贴着你的相机镜头？还是一只小宝宝的手在远处？在计算机视觉领域，这被称为**“深度-尺度歧义性”（depth-scale ambiguity）**。

大多数试图猜测手在 3D 空间中位置的现有程序，就像是一个试图在不知道距离的情况下，仅凭照片猜测物体大小的人。它们通常会说：“好吧，我知道手的形状，但我只能猜一下距离。”因为它们无法完美地猜出距离，它们的 3D 模型往往会漂浮在错误的位置，或者大小不对。它们在受控的实验室环境中表现出色，但在现实世界中却会失效。

解决方案：“骨骼标尺”

该论文的作者发现，人类的手拥有一种秘密代码：我们的骨骼比例始终是恒定的。

把你的手想象成一套嵌套娃娃（俄罗斯套娃）或一把尺子。无论一个人的手有多大或多小，从手腕到指关节的距离与小拇指长度的比值总是特定的。一只巨手拥有比例相同的巨大骨骼；一只小手则拥有比例相同的微小骨骼。

论文指出，如果计算机能够观察 2D 照片中手的形状，并测量这些“骨骼段”的相对长度，它就能推算出这只手的实际物理尺寸。这就像看到一个人的影子，却能准确知道他的身高，因为你知道平均身高与影子的比例关系。

ScaleHP 如何运作：“聪明侦探”

该论文提出了一种名为 ScaleHP 的新系统。其工作流程如下，分步进行：

侦探（骨干网络/Backbone）： 首先，系统观察图像并找到手，就像监控摄像头发现行人一样。
特殊标记（“尺度标记/Scale Token”）： 这是该论文的核心创新。想象计算机拥有一个只关心大小的特殊“侦探标记”。这个标记会同时观察手的 2D 形状、3D 骨骼以及背景。它会问道：“根据这些骨骼之间的相互关系，这只手在现实生活中到底有多大？”
数学魔法（求解器/Solver）： 一旦系统猜出了尺寸（尺度），它就会使用一个简单的数学技巧（线性方程）来确定手在房间里的精确位置。它利用相机的设置（如镜头参数）将手从 2D 照片投影到 3D 世界中。

为什么这是一个游戏规则改变者

以往的方法尝试通过使用单独的“深度相机”或复杂的深度感知模块来解决这个问题。论文将这比作使用一台脆弱且昂贵的望远镜来猜测距离。如果背景很乱或光照很奇怪，望远镜就会“坏掉”，导致猜测错误。

ScaleHP 则不同。它不需要外部望远镜。它利用手本身的内部生物结构作为标尺。

类比： 与其问路人，“那辆车离多远？”（这可能会得到错误的答案），ScaleHP 会观察汽车的轮胎并说：“我知道标准轮胎宽 24 英寸。既然这些轮胎在照片里看起来这么大，那么这辆车一定就在 10 英尺外。”

实验结果

作者在几个著名的手部追踪数据集（如 FreiHand、DexYCB 和 HO3Dv3）上测试了他们的系统。

得分： 他们测量了 3D 预测值与真实值之间的偏差。ScaleHP 获得了最低的误差分数，击败了所有以往的方法。
证明： 他们证明了通过使用这种“骨骼比例”技巧，系统不仅能准确判断大小，还能准确把握手的形状，即使在手部快速移动或部分遮挡的情况下也是如此。

总结

ScaleHP 是一种让计算机理解 3D 空间中手部的新方法。它不再盲目地猜测距离，而是利用人类骨骼天然、不变的比例作为内置的标尺。这使得它能够高精度地将手定位在现实世界中，使其对于虚拟现实（VR）或需要精准抓取物体的机器人技术来说更加可靠。

核心要点： 手知道自己的尺寸。ScaleHP 只是教会了计算机如何去倾听。

关键结论： 手知道自己的大小。ScaleHP 只是教会了计算机如何去倾听。

技术摘要：ScaleHP —— 在度量空间中进行手部姿态估计

1. 问题定义

在度量空间（具有真实世界尺度的绝对相机坐标系）中进行准确的手部姿态估计（HPE），对于沉浸式人机交互（HCI）、虚拟/增强现实（VR/AR）以及机器人技术至关重要。然而，现有的方法主要在根节点相对坐标系（root-relative coordinate systems）下运行，即预测相对于参考关节（如手腕）的手部姿态，而无法确定手的绝对大小或其与相机的距离。

从相对坐标转向度量空间的内核挑战在于单目图像固有的深度-尺度歧义性（depth-scale ambiguity）。目前试图解决这一问题的各种方法通常依赖于：

辅助深度估计模块： 这些模块非常脆弱，当背景偏离训练分布或仅能看到手部时会失效。
参数化模型回归： 这些方法往往忽略了绝对尺度，或者需要预计算的深度图。
两阶段流水线： 先估计根节点相对姿态，然后利用外部尺度参数或假设将其提升到相机空间。

这些方法在通用的、真实的场景中难以提供稳定且精确的度量预测。

2. 方法论：ScaleHP

作者提出了 ScaleHP，这是一个端到端的单阶段框架，通过利用内在人体测量学先验（intrinsic anthropometric priors）绕过了脆弱的外在深度模块。其核心假设是：人类手部骨骼之间的比例关系编码了关于手部整体度量尺寸的稳定信息，这种信息可以直接从图像中推断出来。

2.1 架构概览

ScaleHP 由三个主要部分组成（如图 2 所示）：

冻结的检测器主干（Frozen Detector Backbone）： 利用预训练且冻结的 DETR 式检测器（例如 Grounding DINO）来提取多模态特征，并通过文本提示定位手部。这提供了鲁棒的特征提取能力，且无需训练主干网络。
度量 2D–3D 解码器（Metric 2D–3D Decoder）： 一个新型的基于 Transformer 的解码器，将 2D 观测值提升到 3D 度量空间。
无需训练的解析模块（Training-Free Analytical Module）： 一个几何求解器，根据透视约束计算最终的平移向量。

2.2 核心组件

尺度 Token（The Scale Token）

核心创新是在 Transformer 解码器中引入了一个专门的尺度 Token ( $Q_s$ )。

初始化： 从手部实例查询（hand instance query）进行初始化。
交互： 尺度 Token 与 2D 和 3D 关节查询进行**自注意力（self-attention）计算，以学习骨骼比例和拓扑结构。随后，它通过可变形注意力（deformable attention）**与多尺度图像特征进行交互，以捕捉全局外观和空间占用情况。
预测： 该 Token 输出一个标量全局尺度 ( $s$ )，代表特定手部骨骼（如食指、中指、无名指）的平均长度。这使得模型能够学习从像素配置到真实世界长度的确定性映射。

通过透视约束进行度量恢复

一旦预测出全局尺度 $s$ ，框架便会在不学习单独深度回归器的情况下恢复绝对平移向量 $t$ 。

公式化： 在透视投影下，对根节点相对 3D 坐标（ $J_{rel}$ ）、2D 像素坐标（ $J_{2D}$ ）和相机内参（ $K$ ）之间的关系进行建模。
求解： 作者构建了一个线性方程组（对于 $N$ 个关键点有 $2N$ 个方程），其中未知量是深度平移量（ $t_z$ ）。该系统使用最小二乘法进行求解。
结果： 将恢复的 $t$ 和预测的 $s$ 应用于根节点相对姿态，从而在真实的度量相机坐标系中重建手部。

2.3 损失函数

模型使用四种监督信号进行端到端训练：

2D 监督： 对 2D 关键点进行 L1 损失和物体关键点相似度（OKS）计算。
3D 监督： 对根节点相对 3D 关键点进行 L1 损失计算。
度量尺度监督： 预测的标量尺度与基于骨骼长度得到的真值尺度之间的均方误差（MSE）。
投影监督： 通过将预测的 3D 关节投影回 2D 并与标注进行比较，实现弱监督。

3. 主要贡献

具备度量感知能力的框架： 本文引入了一个框架，该框架显式地利用内在的人体解剖骨骼比例来建模手部的全局尺度，从而在不依赖外部深度估计器的情况下缓解了深度歧义。
ScaleHP 架构： 首个用于度量空间 HPE 的端到端单阶段框架，其特点是拥有一个能与姿态查询交互的尺度 Token，从而学习从图像特征到绝对物理尺度的直接映射。
无需训练的解析求解器： 一种通过透视约束下的最小二乘解来恢复全局平移的新颖方法，避免了对学习型深度回归器的需求。
达到最先进水平（SOTA）的性能： 该方法在标准基准测试上取得了卓越的结果，证明了内部生物约束能显著降低相对几何误差和绝对度量误差。

4. 实验结果

作者在 FreiHand、DexYCB 和 HO3Dv3 基准测试上对 ScaleHP 进行了评估。

主要指标 (CS-MPJPE)： 该指标衡量相机空间中未对齐的平均欧氏距离。
- FreiHand： 35.8 mm（对比次优基线 NFV 的 42.4 mm）。
- DexYCB： 136.3 mm（对比 CMR + GS 的 183.2 mm）。
- HO3Dv3： 50.7 mm（对比 HandDGP + GS 的 132.6 mm）。
- 注：作者指出，基线方法通常需要事后进行“最优全局尺度”（GS）调整才能具备竞争力，而 ScaleHP 是端到端预测该尺度的。
对齐指标 (P-MPJPE / R-MPJPE)：
- 在 FreiHand 上，ScaleHP 实现了 5.0 mm 的 P-MPJPE，达到了当前最先进水平。
- 在 DexYCB 上，它实现了 4.6 mm 的 P-MPJPE 和 10.3 mm 的 R-MPJPE。
- 在 HO3Dv3 上，它实现了 5.9 mm 的 P-MPJPE。
消融实验：
- 尺度 Token： 移除尺度 Token 会显著增加 CS-MPJPE（例如在 FreiHand 上从 35.8 增加到 44.3 mm），证实了其对于度量准确性的必要性。
- 深度歧义： 尺度 Token 同样提升了相对几何性能（P-MPJPE），特别是减少了沿 Z 轴（深度）方向的误差，表明它起到了几何正则化的作用。
- 训练策略： 将尺度 Token 与关节查询进行联合训练的效果优于解耦的预训练/微调策略。

5. 重要性与主张

本文声称，通过将范式从脆弱的、依赖上下文的深度估计转向内在的生物学先验，ScaleHP 为通用的、现实世界的手部追踪提供了鲁棒的解决方案。

鲁棒性： 通过仅从手部的内部结构推导尺度，该方法对外部环境因素（如背景变化、场景上下文）具有不变性，有效地绕过了单目 3D 重建中固有的尺度-深度歧义。
泛化能力： 该框架在“自然场景”图像中表现出强大的性能，能够处理手物交互、严重遮挡以及以往方法难以应对的大视角变化。
高效性： 一阶段端到端设计避免了多阶段流水线或辅助深度网络带来的计算开销和误差累积。

作者总结道，利用人体测量学的规律性可以实现手部几何形状在绝对相机坐标度量空间中的重建，为需要精确空间理解的应用（如远程操作和灵巧机器人操纵）奠定了基础。