Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

技術要約：一人称視点における手部軌跡融合を用いた自然言語クエリ・グラウンディング

問題定義
一人称視点の自然言語クエリ（NLQ）グラウンディングは、長い一人称ビデオの中から、自由形式のテキストクエリに対応する時間的区間 $[t_s, t_e]$ を特定することを目的としている。最先端のシステム（例：GroundNLQ）は、大規模な学習済みエンコーダを用いてビデオの外観とテキストのセマンティクスを効果的に融合させているが、手の動きを無視していることが多い。これは、Ego4D NLQデータセットにおけるクエリの約41%が、手と物体の操作、あるいはその直後の結果が発生している瞬間に回答されていることを考えると、重大な見落としである。注視（gaze）や物体検出といった既存の補助的なモダリティは探索されてきたが、NLQグラウンディングのための独立したモダリティとしての「手の軌跡（hand trajectory）」は、一人称の活動における中心性にもかかわらず、未開拓のままである。

手法
提案手法は、疎な手部スケルトン・データとビデオ・テキスト表現を統合するために、**手部軌跡エンコーダ（Hand-Trajectory Encoder）と軌跡融合（Trajectory Fusion）**モジュールを導入する。アーキテクチャは主に以下の5つのコンポーネントで構成される：

1. エンコーダ:

   • ビデオエンコーダ: 学習済みの凍結されたバックボーン（InternVideoおよびEgoVLP）を使用し、一人称のクリップをビデオトークン（$E_v$）へと埋め込む。
   • テキストエンコーダ: 学習済みのCLIPモデルを使用し、自然言語クエリをテキストトークン（$E_t$）へと埋め込む。
   • 軌跡エンコーダ: MediaPipeを介して抽出された手部スケルトンの時系列シーケンスを、高密度でビデオに整合した運動学的特徴（$E_h$）へと処理する学習可能なモジュールである。これは、2段階に分解された時空間トランスフォーマーを採用している：
     • 空間的集約（Spatial Aggregation）: クロスアテンションを用い、1フレームあたり21個の手の解剖学的ランドマークを単一のフレームレベルの記述子へとプーリングする。この際、未検出のランドマークは明示的にマスクされる。
     • 時間的モデリング（Temporal Modeling）: 自己アテンションを適用して、これらの記述子のフレーム間の進化をモデル化し、操作のダイナミクス（接近、接触、解放）を捉える。情報のリークを防ぐため、未検出のフレームはマスクされる。

2. 軌跡融合:

   • このモジュールは、クロスアテンションと**適応型ゲーティング（adaptive gating）**戦略を用いて、$E_h$ と $E_t$ をビデオトークン $E_v$ に統合する。
   • 2つの独立したクロスアテンション機構により、ビデオトークンが軌跡ストリームおよびテキストストリームに対してクエリを行い、強化された表現（$E_{vh}$ および $E_{vt}$）を生成する。
   • 適応型ゲーティング: 一様な加算の代わりに、軌跡とテキストの各ブランチの寄与を、学習可能なスカラーゲート（$g_h$ および $g_t$）によってスケール調整する。これらのゲートは、それぞれのクロスアテンション出力の時系列平均に対して軽量なMLPを適用することで算出される。これにより、ネットワークは、手の検出が疎である場合や無関係な場合に、軌跡信号を選択的に減衰させることができる。
   • 自己アテンションによるリファインメント・ブロックが、統合された表現をさらに処理し、最終的なマルチモーダル出力（$E_o$）を生成する。

3. 予測:

   • 時間セグメント予測ヘッドが、融合された表現 $E_o$ から回答スパン $[t_s, t_e]$ を予測する。

主な貢献

• 新しいモダリティ: 本研究は、約41%のクエリが手による活動に依存しているというギャップを埋めるべく、一人称NLQグラウンディングのための補助モダリティとして手の軌跡を研究した初めての事例である。
• 堅牢な軌跡エンコーディング: 軌跡エンコーダのデザインは、空間および時間の両方のトランスフォーマー段階におけるマスキングメカニズムを通じて、手の検出の疎さ（Ego4Dのフレームでは平均して約41%で手が見えている）を明示的に処理している。
• 適応型融合: 学習されたコンテンツ依存のゲーティング機構の導入により、ビデオおよびテキストの特徴量に対して手の軌跡信号の重みを動的に調整でき、未検出フレームからのノイズが性能を低下させるのを防いでいる。

実験結果
システムは、Ego4D NLQ v2の検証スプリット（4,552組のクエリ・クリップペア）において、$R_m@IoU=n$ メトリックを用いて評価された。

• カテゴリ別の利得: 最も顕著な改善は、操作に直接関連するカテゴリで観察された：
  • 手と物体の相互作用（HOI）: $R1@IoU=0.3$ において +2.54 の改善。
  • 数量/状態（Quantity/State）: $R1@IoU=0.3$ において +4.32 の改善。
  • HOI内では、改善はアクションテンプレート（例：「何をXに入れたか？」）に集中しており、軌跡のヒントがアクションの特定の瞬間を特定するのに役立つことを裏付けている。
• 全体的な性能: 提案モデルは、全体的な $R1@IoU=0.3$で +0.77 の利得、および$R1@IoU=0.5$ で +1.39 の利得を達成した。より厳格なIoU閾値においてより大きな利得が得られたことは、手の運動学が正しい時間領域を検索するだけでなく、局在化の精度をも鋭敏にすることを示唆している。
• 効率性: 軌跡エンコーダが追加するパラメータはわずか195K（フルモデルの0.6%）であり、重いビデオおよびテキストのバックボーンを凍結したまま、ゼロから学習されている。

意義と限界
本論文は、手の運動学が、特に物体の操作を伴うクエリに対して、視覚的外観を補完する軽量かつ情報量の多い信号を提供すると主張している。この設計は、学習済みのバックボーンを変更することなく、補助的なモダリティを効果的に統合できることを示している。

著者らは主要な限界として、**検出の疎さ（detection sparsity）**を謙虚に認めている。手の可視性はフレームの41%に過ぎないため、軌跡ブランチの寄与には本質的な上限がある。論文では、将来的な一人称視点の手部検出の向上が、グラウンディング性能のさらなる強化に直結すると述べている。また、軌跡融合モジュールはモダリティに依存しない（modality-agnostic）と説明されており、注視やより大規模な学習シナリオといった他の信号へも自然に拡張可能であることを示唆している。