💻 computer science

HAP: A Hand-Driven Active Perception Framework for Egocentric Head Motion Prediction

本文介绍了 HAP，一种通过推断目标置信度并利用预测图对动态遮挡进行建模，从而预测未来第一视角头部运动的手控主动感知框架，该框架通过一个名为 Bottle 的新数据集进行了验证，并表现出优于现有基准方法的性能。

原作者： Yunji Feng, Junyi Ma, Guanzhong Sun, Chenyang Xu, Hesheng Wang

发布于 2026-09-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunji Feng, Junyi Ma, Guanzhong Sun, Chenyang Xu, Hesheng Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

当我们观察一个人伸手去拿杯子时，我们的眼睛并不仅仅是跟随手部移动；它们会预判手的走向，并移动以保持目标处于清晰视野内。这就是主动感知（active perception）的本质：即感知并非对世界的被动记录，而是一个主动的过程，通过移动身体来获取我们所需的特定信息。在机器人或人工智能试图理解人类行为的背景下，这构成了一个难题。大多数系统擅长预测手下一步会去哪里，但往往无法预测人的头会转向何处。如果一个机器人只追踪手部，可能会忽略掉“人即将转头看向转角以观察其抓取物”这一事实，从而导致交互笨拙或失败。理解头部如何通过移动来揭示隐藏物体，与了解手部如何移动同样重要，因为头部的朝向决定了人接下来将获取什么样的视觉证据。

上海交通大学与中国矿业大学的研究团队开发了一种解决此问题的新方法。他们创建了一个名为 HAP 的系统，全称为“手驱动主动感知框架”（Hand-Driven Active Perception framework）。HAP 不再将头部视为仅仅跟随手的身体次要部分，而是将其视为获取信息的工具。该系统通过观察人向物体伸手时的手部动作，进而推测其意图触摸哪个物体。它并未止步于此；它还会计算该物体可能如何被场景中的其他物品遮挡或阻挡。通过将对目标的猜测与当前可见及可能变得可见的场景地图相结合，该系统可以精确预测人的头部将如何转动，以保持对目标的注视。

为了构建并测试这一构想，研究人员首先必须创建一个新的视频数据集。他们录制了数百段人在桌面上伸手拿物体的短片，使用能够捕捉色彩和深度的相机进行拍摄。在这些视频中，物体保持静止，但随着人的移动，目标的可见性会发生变化，迫使人通过改变视线来观察其正在进行的操作。他们将这个数据集命名为 Bottle，其中包含了同步记录的手部运动和头部运动，展示了当目标变得难以观察时，人是如何调整其视角的。研究人员利用这些数据训练计算机模型，使其能够识别手部运动中预示特定目标的细微线索，并理解变化的场景视图如何影响头部的运动。

HAP 系统的核心是一种关于如何推理“隐藏物”的方法。当一个人伸手向物体时，系统会观察物体的形状和手的路径，从而为每个可能的候选目标分配一个概率。随后，它会构建一个动态的场景地图，追踪哪些物体正在遮挡其他物体的视线。这个地图不是静态的；它会随着人的移动而更新，不仅计算当前被遮挡的部分，还计算如果人的位置稍作偏移，哪些部分可能会变得被遮挡。系统使用一个按特定顺序处理这些关系的神经网络（类似于信息流），以理解目标的可见性随时间的变化情况。这使得模型能够预判：如果目标被部分遮挡，人很可能会转头以揭开遮挡物，而不仅仅是继续朝原方向注视。

研究结果表明，这种方法比以往的方法效果显著更好。在针对其新数据集和现有的公开视频集进行测试时，与其它先进模型相比，HAP 系统在预测头部未来位置和朝向方面的误差更小。研究人员发现，仅仅猜测目标是不够的；系统需要理解该目标不断变化的可见性才能做出准确预测。他们还发现，将复杂的预测与“头部保持匀速运动”这一简单假设相结合，有助于平滑结果，尤其是在预测近期动作时。这种结合了理解目标、追踪障碍物以及尊重自然运动流的方法，使得系统能够以高精度预测头部运动。

研究还探讨了如果系统被迫对目标做一个单一、确定的判断，而不是保持一系列可能性时会发生什么。结果显示，在目标选择上保留一定程度的不确定性，实际上提高了最终预测的准确度。这表明，在伸手接触目标之前的早期阶段，大脑很可能在考虑多种选项，而头部运动反映了这种灵活性。通过在模型中保留这种不确定性，系统能够更好地适应最终的结果。研究人员得出结论，最成功的预测来自于将头部视为一个主动传感器，它不断根据变化的场景景观进行调整，而非仅仅是手的被动追随者。

虽然该系统在受控的桌面实验环境中表现良好，但研究人员也承认，它在更复杂的现实世界环境中面临挑战。目前的方法需要大量的计算能力来追踪多个物体之间的关系，并且依赖于高质量的视频数据，而这类数据未必总能获得。然而，这些发现为创造能够更自然地与人类互动的机器人和虚拟助手提供了清晰的路径。通过理解头部运动是由“清晰观察目标”的需求所驱动的，这些系统可以预判人类的需求，并协调自身的动作以支持成功的交互。这项工作证明，要真正理解人类行为，机器必须学会不仅将世界视为移动部件的集合，更要将其视为一个观察者通过不断变换位置来寻找缺失环节的动态谜题。

技术摘要：HAP —— 一种基于手部驱动的主动感知框架，用于第一视角头部运动预测

1. 问题定义

本文探讨了尚未得到充分研究的挑战：第一视角（egocentric）头部运动预测。现有的预测方法主要侧重于手部轨迹、交互热点或动作序列，但往往将头部运动视为一种次要的后果，或者未能显式地建模驱动该运动的感知需求。

作者认为，头部重新定向是一种**主动感知（active perception）**机制：在操作过程中，头部会主动转向以获取任务相关的视觉证据，尤其是在目标被遮挡时。核心问题被定义为预测未来的 6-DoF（六自由度）头部轨迹，该预测受以下因素制约：

观测到的手部运动历史。
推断的目标上下文（交互意图）。
场景物体之间动态变化的可见性与遮挡关系。

该任务呈现出两个主要挑战：

意图推断： 从不完整的手部和物体观测中确定预期的交互目标。
动态遮挡推理： 建模随着视角变化以及物体间相互遮挡，感知需求是如何变化的，这要求头部进行重新定向以维持视觉通路。

2. 方法论：HAP 框架

所提出的 手部驱动主动感知（HAP） 框架通过整合运动动力学与感知推理来预测未来的 6-DoF 头部轨迹。该流水线由四个主要部分组成：

A. 手部驱动的目标意图估计

HAP 根据观测到的手部状态和物体几何形状来推断候选目标的概率分布。

输入： 手部位置 ( $h_\tau$ )、物体掩码（通过 SAM 2 传播）以及相对几何特征（例如：距离缩减、手部运动向物体的方向一致性）。
机制： 融合网络结合了物体嵌入、手部嵌入和相对几何特征。自注意力机制将候选目标置于帧内进行上下文关联，随后使用门控循环单元（GRU）随时间积累证据。
输出： 候选目标的软概率分布 ( $\pi_{\tau, i}$ )，保留了不确定性而非进行硬分配。

B. 动态预测性目标中心化非可见性遮挡图 (P-TAOG)

为了捕捉不断变化的感知需求，HAP 构建了一个表示遮挡关系的有向图。

构建： 利用注册到初始相机帧的稀疏补全点集（来自 SAM 3D Objects），系统将点投影到当前相机视图中。
遮挡逻辑： 计算当前遮挡率（基于 z-buffer 深度）和潜在遮挡率（估计在没有未来位姿访问的情况下，局部图像平面扰动下的风险）。
图结构： 一个全连接有向图 $G_\tau$ ，其中边 $(j, i)$ 编码了物体 $j$ 对物体 $i$ 的遮挡影响。边特征包括 2D/3D 距离、深度差异以及当前/潜在遮挡率。
编码： 图通过**有向主邻域聚合（PNA）**层进行处理，以分别聚合传入和传出的消息，随后使用因果 GRU 来编码时间演化。

C. 头部运动预测与视界内门控

最终的预测阶段将运动历史与感知图表示进行融合。

特征融合： 基础运动特征（手部位移和头部变换）与 P-TAOG 表示进行拼接。
时间编码： 双层 GRU 对历史进行编码。对于每个预测视界 $h$ ，一个学习到的查询（query）会关注历史，并将其与恒定速度先验（从最后观测到的变换中外推）相结合。
视界内门控： 一个学习到的门控 $\alpha_{t,h}$ 将学习到的轨迹 ( $d_{t,h}$ ) 与恒定速度先验 ( $c_{t,h}$ ) 进行混合：
$\hat{y}_{t,h} = c_{t,h} + \alpha_{t,h} \odot (d_{t,h} - c_{t,h})$
这使得模型能够根据预测视界自适应地偏离运动先验，在保持短期运动连续性的同时，允许在必要时进行大幅度的重新定向。

D. 训练目标

模型使用 Smooth-L1 损失进行训练，该损失对较晚的视界分配更大的权重，以惩罚长期漂移，从而平衡平移与旋转的监督。

3. 核心贡献

问题定义： 本文将第一视角头部运动预测定义为一个以观测到的手部运动和推断的目标上下文为条件的任务，将人体运动动力学与感知需求显式耦合。
HAP 框架： 一种新颖的推理框架，通过以下方式连接目标意图与未来头部运动：
- 一个动态的 P-TAOG，编码了软目标概率和演化的有向遮挡关系。
- 一个视界内门控机制，平衡了学习到的运动与恒定速度先验。
Bottle 数据集： 引入了 Bottle，这是一个新的第一视角 RGB-D 数据集，其特点是包含在杂乱场景中进行物体操作且目标可见性不断变化的过程。它包含了专门设计用于测试频繁遮挡下预测能力的协调头部与手部运动数据。

4. 实验结果

作者在公开数据集 EgoPAT3Dv2 和新开发的 Bottle 数据集上评估了 HAP，并与包括恒定速度启发式方法、循环模型（RVAE, VRNN）、注意力机制模型以及扩散模型在内的基准模型进行了对比。

性能： HAP 在 EgoPAT3Dv2 上实现了最低的平移误差和具有竞争力的旋转误差。在 Bottle 数据集上，HAP 在所有四个指标（tADE, tFDE, rADE, rFDE）上均优于所有代表性基准模型（包括 Uni-Hand 和扩散模型），在平移误差上的领先幅度最大。
消融实验：
- P-TAOG 与门控： 这两个组件都被发现是必不可少的。视界内门控提升了各种变体的性能，而 P-TAOG 在与门控配合使用时提供了显著增益。
- 图设计： 带有预测性遮挡特征的有向图对于最小化旋转误差至关重要，而当前遮挡特征则有助于提高平移准确度。
- 软目标 vs 硬目标： 使用软目标分布（保留不确定性）比硬分配取得了更好的结果，这表明不确定性携带了对下游预测有用的信息。
鲁棒性： 当定位后端从 Depth Anything 3 切换到 ORB-SLAM3 时，框架仍保持稳定。

5. 意义与主张

本文声称 HAP 展示了手部驱动意图和动态遮挡推理在预测人类头部运动方面的价值。通过将头部运动视为一种主动感知过程而非手部运动的被动结果，该框架成功预测了 6-DoF 轨迹，并考虑了揭示被遮挡目标的需求。

作者指出，目前的评估局限于头部运动由固定安装相机表示的桌面级数据集。他们承认 P-TAOG 的边规模随物体数量呈二次方增长，在高度杂乱的场景中可能会带来计算成本问题。未来的工作建议在更大、更多样化的交互场景中评估 HAP，并将该框架与机器人抓取系统集成，以研究协调的上半身运动。