💻 computer science

StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video

StableHand 是一种感知质量的流匹配框架，它通过四通道质量信号动态适应每帧观测可靠性，从而提升从第一人称视角视频中进行世界坐标系双手机动估计的精度，在应对遮挡和数据缺失方面实现了最先进的性能。

原作者： Huajian Zeng, Chaohua Yao, Yuantai Zhang, Jiaqi Yang, Rolandos Alexandros Potamias, Xingxing Zuo

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Huajian Zeng, Chaohua Yao, Yuantai Zhang, Jiaqi Yang, Rolandos Alexandros Potamias, Xingxing Zuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你头上戴着一台相机，正在记录你烹饪、搭建或摆弄物体时双手的动作。这被称为“第一人称视角视频”。现在，想象你希望机器人通过观看这段视频，精确学习你的双手在三维空间中的运动方式。

问题在于：你的双手经常消失不见。有时你转动头部，双手便离开了相机的视野；有时你抓起一个锅或一本书，物体遮挡了相机，使其无法看到你的手指。

StableHand 是一款新型计算机程序，旨在充当填补这些缺失信息的“最佳推测”侦探。它并非随机猜测，而是利用一套智能系统来决定该信任哪些数据、该修正哪些数据。

以下是其工作原理，分解为几个简单概念：

1. “信任度计”（质量信号）

大多数以前的程序对每一帧视频一视同仁。如果相机看到了你的手，它们就会使用；如果手变得模糊或被遮挡，它们仍会尝试使用，这往往导致机器人的动作看起来抖动或错误。

StableHand 则不同。它为你的双手的每个部分内置了一个“信任度计”。

它检查你的手腕（控制手部移动的大关节）。
它检查你的手指（执行抓握动作的小关节）。
它分别检查左手和右手。

它给这四个部分中的每一个都赋予一个从 0 到 1 的分数。

高分（1.0）： “我看得很清楚！我完全信任这些数据。”
低分（0.0）： “这很模糊、被遮挡或丢失了。我无法信任这些数据。”

2. “智能编辑器”（流匹配）

一旦程序获得了信任度分数，它就会像一个非常聪明的视频编辑器那样运作，使用一种称为流匹配的技术。你可以将其想象为一个神奇的过程，能够“平滑”杂乱的视频，或“重现”缺失的场景。

这个魔法技巧如下：

如果信任度分数高： 程序会说：“这部分我看得很清楚，所以我会将其锁定。”它会完全保留原始视频数据，确保动作准确无误。
如果信任度分数低： 程序会说：“这部分我看不清楚。我会忽略不良数据，并利用我对双手通常如何运动的记忆来重现它。”

它对双手的每一个微小部分独立执行此操作。因此，如果你的左手腕可见，但左手手指被杯子遮挡，它会锁定手腕的位置，同时根据双手自然的运动方式“幻觉”（重建）出手指。

3. “记忆库”（先验知识）

程序如何知道如何重现缺失的手指呢？它已经学习了数千小时的双手操作视频。它建立了一个关于双手通常如何协同运动的“记忆库”。当相机失效时，它会从这个记忆库中提取信息来填补空白，确保重建出的手部看起来自然，并与另一只手保持一致。

4. 为何更优（结果）

研究人员在两个极具挑战性的视频数据集上测试了 StableHand：

HOT3D： 人们频繁转动头部，导致双手长时间消失在相机视野中的视频。
ARCTIC： 人们使用物体执行复杂任务的视频，其中双手不断被所持物体遮挡。

结果： StableHand 的准确度显著高于以往的方法。

它将误差降低了20–25%。
它在最困难的部分表现尤为出色：当双手完全被遮挡或严重遮挡时。
与旧方法会出现“漂移”（即手部随时间推移逐渐移动到错误位置）不同，StableHand 始终锚定在现实世界中。

总结类比

想象你正在尝试完成一个拼图，但有些拼图块缺失了，而有些你拥有的拼图块则被弄脏且模糊不清。

旧方法试图强行将那些脏污的拼图块拼入，导致画面扭曲变形。
StableHand 则审视每一块拼图。如果一块拼图干净，它就将其放入拼图中。如果一块拼图被弄脏或缺失，它不会强行塞入一块坏拼图。相反，它会观察周围干净的拼图块，并利用其对画面的知识，完美地描绘出缺失的部分。

这使得机器人能够更可靠地从人类视频中学习，即使相机视野并不完美。

技术摘要：StableHand

问题陈述

从第一人称视角（egocentric）视频中恢复两个交互手的世界空间 4D 运动，是监督机器人策略学习的关键能力，其中手腕轨迹引导末端执行器，手指关节运动定义抓取姿态。然而，在第一人称视角设置下，该任务面临两个主要挑战：

长时程出视野跨度：耦合的头部与手部运动常导致一只手或两只手在较长时间内离开相机视锥。
持续性遮挡：灵巧的双手操作及手 - 物交互会导致严重且往往不对称的手部遮挡。

现有方法在这些场景中存在显著局限。基于 SLAM 的流水线将每帧相机坐标系下的姿态转换至世界坐标系，但缺乏时间先验，导致在手部缺失的跨度内出现灾难性漂移。原生世界空间方法虽学习了序列级运动先验，但通常均匀地基于视觉特征进行条件化，未能考虑观测可靠性的异质性。具体而言，它们忽略了手腕的全局漂移误差显著大于手指关节运动误差，且遮挡对两只手的退化程度是不对称的。

方法论

作者提出了 StableHand，这是一个质量感知的流匹配（flow-matching）框架，旨在通过显式利用观测的每分量质量来合成世界空间的双手轨迹。该框架包含两个按顺序训练的模块：

1. 自适应质量信号与网络

核心见解在于：观测质量在不同分量（手腕 vs. 手指）和不同手（左手 vs. 右手）之间具有异质性。

质量定义：系统将手部运动质量分解为四个通道：左手腕（ $L_W$ ）、左手手指（ $L_F$ ）、右手腕（ $R_W$ ）和右手手指（ $R_F$ ）。质量 $q \in [0, 1]$ 通过观测关节与真实关节之间的误差，利用径向基函数（RBF）核推导得出： $q = \exp(-e/\sigma)$ 。
质量网络（QN）：由于推理时无法获得真实误差，一个学习到的质量网络直接预测每分量的误差 $\hat{e}$ $\overset{e}{^}$ （单位：毫米）。该网络的输入包括：
- 来自冻结的现成估计器的世界空间 MANO 观测值（ $\bar{y}$ ）。
- 二值化手部置信度标志（ $\delta$ ）。
- 每帧相机姿态（ $g$ ）。
- 通过时间自注意力聚合的可学习轨迹级上下文令牌。
训练：QN 在八个第一人称双手语料库（约 1000 万帧）上进行预训练。其监督信号包括对数空间均方误差（MSE）损失以匹配误差量级，以及辅助的一维 Wasserstein-1 距离损失，使预测误差的经验分布与真实分布对齐，确保部署时的带宽 $\hat{\sigma}$ 与训练时的 $\sigma$ 相匹配。

2. 质量感知流匹配生成模型

生成模型是一个以预测质量信号 $\hat{q}$ 为条件的扩散 Transformer（DiT）。它采用四种耦合机制来差异化处理高质量和低质量通道：

每通道前向调度：与使用标量调度的标准流匹配不同，StableHand 使用通道特定的调度 $\alpha(\tau, \tilde{q})$ 。对于高质量通道（ $q \approx 1$ ），调度冻结观测值（ $\alpha \equiv 1$ ），从而锚定轨迹；对于低质量通道（ $q \approx 0$ ），调度将其视为噪声（ $\alpha \approx 0$ ），要求从先验中重新生成。
质量调整的速度目标：训练目标回归速度目标 $u_\tau = (1 - \tilde{q}) \odot (x_1 - \varepsilon)$ 。这确保模型学习保持高质量通道不变，同时重构低质量通道。
AdaLN 调制：DiT 去噪器使用由质量信号驱动的自适应层归一化（AdaLN），分别缩放手腕和手指令牌的更新，以匹配每通道质量结构。
质量感知初始化：在推理时，反向 ODE 在 $\tau=0$ 处以 $x_0 = \tilde{q} \odot \bar{y} + (1 - \tilde{q}) \odot \varepsilon$ 初始化。这确保高质量通道从接近观测值处开始，而低质量通道从接近纯噪声处开始，消除了截断反向过程（如 SDEdit）中存在的训练 - 测试不匹配。

主要贡献

每分量质量表述：本文将第一人称世界空间双手恢复问题表述为每分量、质量感知的生成问题，明确指出了观测质量在两个轴（分量、手）上的异质性作为一种此前隐含的结构先验。
质量感知流匹配路径：提出了一种由四值质量信号驱动的新型生成路径，集成了每通道前向调度、质量调整的速度目标、AdaLN 调制以及质量感知的 ODE 初始化。
校准的质量信号：引入了在推理时从视觉流中预测的语料库自适应质量信号，该信号解耦了手腕全局漂移与手指关节运动误差，并处理了非对称遮挡。
最先进性能：该方法在包含长时程手部缺失跨度及持续性遮挡的基准测试中取得了优越结果。

实验结果

作者在 HOT3D（以长时程手部缺失跨度为特征）和 ARCTIC（以持续的手 - 物遮挡及非对称质量为特征）上评估了 StableHand。

HOT3D：与最强基线（HaWoR）相比，StableHand 将 W-MPJPE（世界空间平均每关节位置误差）降低了 20–25%，W-MPJPE 从 71.89 mm 降至 57.83 mm。在手部缺失比例较高的片段中，改进最为显著。
ARCTIC：StableHand 将 W-MPJPE 较最强基线降低了 约 25%，从 171.61 mm 降至 124.59 mm。其在 MRRPE（平均相对根位置误差）方面也显示出显著提升，表明其对两只手相对空间一致性的联合推理能力更强。
消融研究：移除每通道质量调度会导致 W-MPJPE 恶化 1.6 倍。将每只手的手腕/手指四令牌分割替换为单一令牌会导致性能下降 2.1 倍，证实了每通道调制的必要性。使用恒定或二值质量信号替代预测的分级信号，其性能与基线相当或更差。

意义与主张

论文主张，准确的世界空间手部运动估计与每帧观测的质量紧密耦合。通过显式建模这种质量异质性，StableHand 能够利用学习到的双手运动先验，“锚定”可靠观测，同时“重新生成”不可靠观测。

作者将这项工作定位为从大规模第一人称视频监督机器人策略学习的基础性步骤，特别是针对灵巧及双手操作任务，现有方法因漂移和遮挡而失效。该框架被指出在不同上游姿态估计器（如 WiLoR 与 HaMeR）之间具有鲁棒性，前提是质量网络经过重新校准或重新训练。

论文适度承认了局限性：质量信号是针对特定上游估计器校准的；在极长且完全未观测到手的低质量视野情况下，模型可能会漂移至看似合理但缺乏真实依据的构型。未来工作建议包括联合手 - 物建模及端到端训练。