⚡ electrical engineering

Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

本文提出了一种用于第一视角自然语言查询定位的新颖方法，该方法通过将预训练的视频-文本特征与专门的手部轨迹编码器进行融合，增强了长视频中的时间定位能力，从而显著提升了涉及手部-物体交互及状态变化的查询性能。

原作者： Enmin Zhong, Carlos R. del-Blanco, Fernando Jaureguizar, Narciso García

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Enmin Zhong, Carlos R. del-Blanco, Fernando Jaureguizar, Narciso García

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你头上戴着一个摄像机，正在从你自己的视角记录你一整天的生活。现在，有人问了你一个关于这段视频的问题，比如：“我把什么东西丢进垃圾桶了？” 或者 “红色的螺丝刀在哪儿？”

你的大脑并不仅仅是在观察视频中的颜色和形状；它还记得你的手伸出、抓取物体并移动时的那种“感觉”。这篇论文讲的就是如何教会计算机做到完全相同的事情。

以下是他们解决方案的故事，将其拆解为简单的部分：

问题所在：计算机对“手”是“盲目”的

目前的 AI 模型非常擅长识别事物的“外观”。如果你问“红色的车在哪里？”，它们能精准捕捉到红色。但在处理第一视角视频时，许多问题实际上是关于动作，而不仅仅是物体。

作者发现，在这些视频中，人们提出的问题约有 41% 是关于手部接触物体时发生的动作（例如把东西放入箱子或检查某种状态）。然而，目前最优秀的 AI 模型却完全忽略了手部。它们试图仅通过场景的“画面”来解开谜题，却错过了最重要的线索：手的运动。

解决方案：一个“手部轨迹”侦探

研究人员构建了一个全新的系统，它就像一个同时关注两件事的侦探：

场景： 视频看起来是什么样的（颜色、物体）。
手部故事： 一张记录手部如何移动的地图。

他们称之为手部轨迹编码器（Hand-Trajectory Encoder）。你可以把它想象成一个专门的助手，它观察视频并画出手的“骨架”。即使手部因为移动过快或超出画面而暂时消失，这个助手也足够聪明，能够填补空白并理解运动的故事：接近 -> 抓取 -> 松开。

神奇的粘合剂：“自适应门控”

难点在于如何将“手部故事”与“场景”结合起来。有时手部清晰且有用；有时手部则是模糊或缺失的。如果强迫计算机始终盯着手看，当手部不在场时，它可能会感到困惑。

为了解决这个问题，团队创建了一个名为**自适应门控（Adaptive Gating）**的智能开关。

类比： 想象你正在听一个广播电台（视频），同时有人向你低声传递线索（手部数据）。
运作方式： 系统有一个控制“低语声”音量的旋钮。如果手部清晰可见且正在移动，系统就会调高手部线索的音量；如果手部被遮挡或模糊，它就会调低音量，更多地依赖视频画面。它学会了在每一时刻决定应该在多大程度上信任手部的运动。

实验结果：针对动作问题的更好回答

他们在名为 Ego4D 的大规模数据集上进行了测试，该数据集包含数千段第一视角视频和相关问题。

重大胜利： 当问题涉及手物交互（例如“我把什么东西放进了 X 中？”）时，他们的新系统在定位视频中准确时刻的能力上有了显著提升。
数据表现： 在交互类问题上，他们的准确率提高了约 2.5%；而在关于物体“状态”或“数量”的问题上，提升幅度高达 4.3%。
意义所在： 这证明了加入“手部运动”层有助于 AI 理解动作是在“何时”发生的，而不只是发生了“什么”。

局限性

该系统目前尚不完美。主要的限制在于手部检测软件并不完美；由于运动模糊或手部移出视野，它在约 59% 的帧中会漏掉手部。作者指出，如果未来的手部检测技术变得更加精准，他们的系统也会随之变得更加聪明，因为它被设计为能够利用它所能找到的所有手部数据。

简而言之： 他们教会了 AI 不再仅仅是“观看”第一视角视频，而是开始“感受”手部的运动，并使用一个智能开关来决定何时这些运动是最重要的线索，从而回答问题。

技术摘要：用于第一视角自然语言查询定位的手部轨迹融合

问题定义
第一视角自然语言查询（NLQ）定位旨在从长篇第一视角视频中，定位出与自由格式文本查询相对应的时段 $[t_s, t_e]$ 。虽然最先进的系统（如 GroundNLQ）通过大型预训练编码器有效地将视频外观与文本语义进行融合，但它们往往忽略了手部运动。这是一个重大的疏忽，因为在 Ego4D NLQ 数据集中，约有 41% 的查询是在手部与物体操作或其直接结果发生的时刻被回答的。现有的辅助模态（如注视点或物体检测）已被探索，但尽管手部轨迹作为一种核心的第一视角活动特征，其作为 NLQ 定位的独立模态仍未被研究。

方法论
所提出的方法引入了一个**手部轨迹编码器（Hand-Trajectory Encoder）和轨迹融合（Trajectory Fusion）**模块，旨在将稀疏的手部骨骼数据与视频-文本表示进行集成。该架构由五个主要部分组成：

编码器：
- 视频编码器： 使用冻结的预训练骨干网络（InternVideo 和 EgoVLP）将第一视角片段嵌入为视频标记（ $E_v$ ）。
- 文本编码器： 使用冻结的 CLIP 模型将自然语言查询嵌入为文本标记（ $E_t$ ）。
- 轨迹编码器： 一个可训练模块，处理通过 MediaPipe 提取的手部骨骼时间序列，将其转化为稠密的、与视频对齐的运动学特征（ $E_h$ $E_{h}$ ）。它采用一个分为两个阶段的时空 Transformer：
  - 空间聚合： 使用交叉注意力机制，将每只手的 21 个解剖学关键点池化为单个帧级描述符，并显式地掩盖未检测到的关键点。
  - 时间建模： 应用自注意力机制来建模这些描述符在帧间的演变，从而捕捉操作动态（接近、接触、释放）。未检测到的帧会被掩盖以防止信息泄漏。
轨迹融合：
- 该模块使用**带有自适应门控的交叉注意力（cross-attention with adaptive gating）**策略，将 $E_h$ 和 $E_t$ 集成到视频标记 $E_v$ 中。
- 两个独立的交叉注意力机制允许视频标记查询轨迹流和文本流，从而产生丰富的表示（ $E_{vh}$ 和 $E_{vt}$ ）。
- 自适应门控： 该模块并非采用均匀求和，而是通过学习到的标量门控（ $g_h$ 和 $g_t$ ）来缩放轨迹分支和文本分支的贡献。这些门控是通过对各自交叉注意力输出的时间平均值应用轻量级 MLP 计算得出的。这使得网络能够选择性地在手部检测稀疏或无关时减弱轨迹信号的影响。
- 一个自注意力精炼模块进一步处理合并后的表示，生成最终的多模态输出（ $E_o$ ）。
预测：
- 时间段预测头根据融合后的表示 $E_o$ 预测答案跨度 $[t_s, t_e]$ 。

核心贡献

新颖模态： 本工作首次研究了手部轨迹作为辅助模态在第一视角 NLQ 定位中的作用，填补了约 41% 的查询依赖于手动操作这一研究空白。
鲁棒的轨迹编码： 设计通过在空间和时间 Transformer 阶段使用掩码机制，显式处理了手部检测的稀疏性（在 Ego4D 中，手部平均仅在约 41% 的帧中可见）。
自适应融合： 引入了学习到的、基于内容的门控机制，使模型能够动态地权衡手部轨迹信号与视频及文本特征的关系，防止未检测帧产生的噪声降低性能。

实验结果
系统在 Ego4D NLQ v2 验证集（4,552 个“查询-片段”对）上进行了评估，使用了 $R_m@IoU=n$ 指标。

特定类别增益： 最显著的提升出现在与操作直接相关的类别中：
- 手物交互（HOI）： 在 $R1@IoU=0.3$ 上提升了 2.54。
- 数量/状态（Quantity/State）： 在 $R1@IoU=0.3$ 上提升了 4.32。
- 在 HOI 内部，增益集中在动作模板（例如，“我把 X 放到了哪里？”）中，证实了轨迹线索有助于定位具体的动作时刻。
整体性能： 所提模型在整体 $R1@IoU=0.3 $上实现了 +0.77 的提升，在$ R1@IoU=0.5$ 上实现了 +1.39 的提升。在更严格的 IoU 阈值下获得更大的增益表明，手部运动学不仅有助于检索正确的时段，还能提高定位精度。
效率： 轨迹编码器仅增加了 195K 参数（占全模型的 0.6%），且在保持沉重的视频和文本骨干网络冻结的情况下从头开始训练。

意义与局限性
论文声称，手部运动学提供了一种轻量级且信息丰富的信号，能够补充视觉外观，特别是在涉及物体操作的查询中。该设计证明了可以在不修改预训练骨干网络的情况下，有效地集成辅助模态。

作者坦诚地承认了一个主要的局限性：检测稀疏性。由于手部仅在 41% 的帧中可见，轨迹分支的贡献本质上受到了限制。论文认为，未来第一视角手部检测能力的提升将直接转化为更强的定位性能。此外，轨迹融合模块被描述为模态无关的，这表明它可以自然地扩展到诸如注视点或其他更大规模训练场景中的其他信号。

问题所在：计算机对“手”是“盲目”的

解决方案：一个“手部轨迹”侦探

神奇的粘合剂：“自适应门控”

实验结果：针对动作问题的更好回答

局限性

技术摘要：用于第一视角自然语言查询定位的手部轨迹融合

类似论文