テクニカル・サマリー：未来の情報はどの程度役立つのか？ 因果的エゴセントリック視線推定のための未来特権付き監督学習に関する制御実験

問題定義

エゴセントリック（一人称視点）視線推定は、一人称の視覚入力からカメラ装着者の注視点を特定することを目的としている。多くの最先端モデルは、未来のフレームへのアクセス（双方向の時間的コンテキスト）が可能なオフライン設定で動作しているが、拡張現実（AR）やウェアラブル支援装置などの実世界のアプリケーションでは、過去と現在の観察のみを使用する、厳密に因果的なオンライン予測が求められる。この乖離は、以下の2つの根本的な問いを提起する：

1. 未来のコンテキストの欠如は、モデルから価値のある予測的な手がかりを本質的に奪ってしまうのか？
2. もし未来の情報が有用であるならば、訓練中にどれほどの時間的コンテキストを、厳密に因果的なモデルへと蒸留できるのか？

既存の文献では、未来のコンテキストの有用性が時間的ホライゾン（展望期間）に対してどのようにスケールするか、またその恩恵が因果的推論において限定された範囲内で飽和するかどうかについて、体系的な理解が不足している。

手法：ECOGaze フレームワーク

これらの問いに対処するため、著者らは、因果的な推論アーキテクチャを維持しつつ、未来のコンテキストの影響を分離して検証するために設計された、制御された未来特権付き訓練フレームワークである ECOGaze を提案する。

コア・アーキテクチャ

本フレームワークは、共有の軽量な時空間デコーダを介したデュアルブランチのフォワードパスを利用する：

• シーンエンコーダ（Scene Encoder）: 凍結されたDINOv3 Vision Transformerが、フレームごとのパッチレベルの空間特徴を抽出する。エンコーダを凍結することで、表現レベルの混同（confound）を排除し、性能の変化が特徴量のドリフトではなく、監督信号（supervision signal）を反映するようにしている。
• 時空間ヘッド（Spatio-Temporal Head）: 軽量なTransformerヘッドが、分割された時空間アテンション（時間アテンションに続いて空間アテンションを行う）を用いて、パッチ埋め込みのシーケンスを処理する。
• グローバル・ローカル・フォーカシング（GLF）: 学習可能なグローバルクエリとパッチ特徴間のコサイン類似度を計算することで特徴を精緻化し、視線に関連する領域を強調する軽量モジュール。

未来特権付き監督（Future-Privileged Supervision）

本研究の核心となるイノベーションは、以下の訓練メカニズムである：

1. ティーチャー・ブランチ（未来認識型）: 訓練中、このブランチは調整可能な先読みホライゾン $H$ へのアクセスを持つ。これは、過去、現在、および $H$ 個の未来フレームへのアテンションを許可する拡張された時間的マスクを使用する。
2. スチューデント・ブランチ（厳密な因果的モデル）: このブランチは、厳密な下三角行列マスク（$H=0$）を使用し、過去と現在のフレームのみにアテンションを制限する。
3. パラメータの共有: 両ブランチは同一の重みとアーキテクチャを共有する。唯一の違いは、時間的アテンションマスクである。
4. 損失関数: スチューデントは、標準的なグランドトゥルース損失（$L_{GT}$）と、未来特権付き監督損失（$L_{FPS}$）の組み合わせを用いて最適化される。$L_{FPS}$ は、スチューデントの予測とティーチャーの予測との間のKLダイバージェンスを最小化する（ティーチャーにはストップグラジエント演算が適用される）。これにより、因果的なスチューデントは、ティーチャーの重みがスチューデントの損失によって更新されることなく、未来を認識するティーチャーから予測的な知識を蒸留することが強制される。

推論時には、厳密に因果的なスチューデント・ブランチのみがデプロイされる。

実験設定

• データセット: 実験は EGTEA Gaze+（2、24 FPSの調理活動、28時間）および Ego4D（視線サブセット、30 FPS）を用いて行われた。
• プロトコル: 先読みホライゾン $H$ を $\{0, 1, 3, 5, 7, 10, 15\}$ の間で変化させた。
  • EGTEAにおいて、$H=1$ は約0.33秒に対応し、最適な $H \in [5, 10]$ は約1.7〜3.3秒に対応する。
  • Ego4Dにおいて、$H=1$ は約0.27秒に対応し、最適な $H=10$ は約2.7秒に対応する。
• ベースライン: 因果的な先行手法（例：GLC）の因果的バリアントおよび標準的なベースラインと比較を行い、厳密な因果性の条件下での公平な評価を確保した。

主な結果

1. 未来コンテキストの有用性

未来特権付きの監督は、因果的な視線予測を一貫して向上させる。

• EGTEA Gaze+: F1スコアは、44.7（ベースライン、$H=0$）から、45.9（$H=5$ および $H=10$）へと上昇した。
• Ego4D: F1スコアは、40.7（ベースライン）から、42.7（$H=10$）へと上昇した。

2. 限定された時間的レジーム

性能向上は、より長い先読みとともに単調に増加するわけではない。代わりに、特定の限定されたウィンドウ内でピークに達し、過度なホライゾンでは低下する。

• 最適範囲: 約 1.7〜3.3秒 の未来コンテキスト（EGTEAにおける $H \in [5, 10]$ および Ego4Dにおける $H=10$ に対応）。
• 低下: $H=15$（約4〜5秒）では、性能がわずかに低下する（例：EGTEAのF1は45.4に低下）。著者らはこれを、直近の意図を不明瞭にする、後続の無関係な動作からのノイズによるものと考えている。

3. 効率性と性能

提案された ECOGaze モデル（最適な $H$ を使用）は、因果的モデルの中で最先端の性能を達成しながら、大幅に効率化されている：

• 精度: 因果的バリアントのGLC（EGTEAで45.9 vs 41.6 F1、Ego4Dで42.7 vs 41.2 F1）を上回る。
• 効率性: ECOGazeは 14.2M のパラメータを持ち（GLCの70.2Mに対し）、NVIDIA A5000上で 約60 FPS で動作する（GLCの約30 FPSに対し）、容量を5分の1に削減し、速度を2倍に向上させている。

4. アブレーション研究

• コンポーネント分析: 空間アテンション、時間アテンション、GLF、そして最後に未来特権付き監督を加えることで、累積的に性能が向上し、フルフレームワークが最高のF1値と精度を示した。
• 設計の選択: GLFのドット積形式は、精度と効率の両面において、（GLCで使用されている）高密度なクロスアテンションよりも優れていることが判明した（クリップあたりのFLOPsを465.4Mから1.8Mに削減）。

意義と主張

本論文は、軽量な因果的モデルが、訓練中に未来認識信号を効果的に吸収できることを主張している。主要な貢献は新しい視線モデルそのものではなく、未来コンテキストの有用性を分離し定量化するための制御された定式化である。

著者らが強調する主な要点は以下の通りである：

1. 予測的な性質: 人間の視線は本質的に予測的であり、未来のフレームは現在の視線予測のための価値ある監督を提供する。
2. 限定された有用性: 未来コンテキストの恩恵は無限ではない。それは2〜3秒のウィンドウ内で飽和する。ホライゾンを広げすぎると、無関係な未来の動作によるノイズが導入される。
3. 実践的なガイダンス: 本研究は、リアルタイムかつ低遅延のエゴセントリック視線システムを設計するための実用的なガイダンスを提供しており、推論時の厳密な因果性が、未来認識型の訓練の恩恵を排除しないことを示している。

著者らは、最適な先読み範囲は、テストされたデータセット（調理および日常活動）以外の異なるバックボーン、モデルスケール、活動ドメインによって変動する可能性があることを指摘し、謙虚な姿勢を保っている。また、視覚探索中の初期段階の視線拡散やモーションブラーといった、厳密な因果的モデルにとって依然として課題となる失敗事例についても言及している。