EgoVITA: 第一人称視点動画推論のための計画と検証の学習

以下は、Yogesh Kulkarni と Pooyan Fazli 氏（アリゾナ州立大学）による論文「EgoVITA: Learning to Plan and Verify for Egocentric Video Reasoning」の技術的サマリです。

1. 問題設定 (Problem)

第一人称視点（Egocentric）動画の理解は、ライフログ、個人用メモアシスタント、支援技術などの分野で重要ですが、以下の理由から極めて困難です。

• 部分的観測性: カメラが作動者の視点にあるため、視野が制限され、頻繁に遮蔽（オクルージョン）が発生します。
• 連続的な視点移動: カメラが作動者の動きに追従するため、激しい揺れや視点の変化が生じます。
• 手続き的推論の欠如: 現在のマルチモーダル大規模言語モデル（MLLM）は、第一人称視点において「次に何が起こるか」を予測する手続き的推論（Procedural Reasoning）が苦手で、視覚的に矛盾したり、根拠が薄弱な回答を生成する傾向があります。
• 視点の一般化問題: 第一人称データで学習させると、第三者視点（Exocentric）のタスクでの性能が低下する「破滅的忘却（Catastrophic Forgetting）」が起きやすいという課題もあります。

既存の手法は、大規模データセットへのスケーリングや単純な報酬に基づいた強化学習を試みていますが、手続き的推論のガイドが不十分であり、視点間の一般化を維持できていません。

2. 提案手法 (Methodology)

著者は、EgoVITA（Egocentric Video Intelligence and Thinking Agent）というフレームワークを提案しました。これは、第一人称視点の推論を「計画（Planning）」と「検証（Verification）」の 2 つの段階に分解し、強化学習（RL）を通じて最適化するアプローチです。

2.1 アーキテクチャ：計画と検証の分解

モデルは、入力された動画と質問に対して、以下の 3 つのセグメントからなる推論軌道（Trajectory）を生成します。

1. Egocentric Plan (<ego_plan>): 第一人称視点からの因果的な行動シーケンス（例：「包丁を拾う」「まな板に置く」「トマトを切る」）を生成します。
2. Exocentric Verification (<exo_verify>): 生成された計画を、**第三者視点（Exocentric）**から検証します。この段階では、計画が物理的に可能か（例：「包丁がカウンターに見えるか」「まな板が手の届く範囲にあるか」）、空間的・論理的整合性があるかを評価します。
3. Final Answer (<answer>): 計画と検証の結果に基づいて最終回答を生成します。

この構造により、第一人称の予測と第三者の検証の間に明示的なフィードバックループが生まれます。

2.2 学習アルゴリズム：GRPO と密報酬

モデルの学習には、Group Relative Policy Optimization (GRPO) を採用しています。これは、1 つの入力に対して複数の候補軌道（Rollouts）を生成し、それらの相対的な品質に基づいて方策を更新する手法です。

EgoVITA の革新的な点は、以下の**2 つの密な報酬（Dense Rewards）**を導入したことです。これらは中間推論の品質を評価し、スパースな正解/不正解のみの報酬よりも効果的です。

1. Anticipatory Cross-Modal Grounding (ACMG) 報酬:

   • 生成された計画の各ステップ（例：「包丁を拾う」）を、未来の視覚フレーム（次の N フレーム）と照合します。
   • 言語モデルの隠れ状態を「Anticipation Head（MLP）」を通じて視覚埋め込み空間に投影し、未来のフレームとのコサイン類似度を計算します。
   • 計画が未来の視覚状態と整合している場合、高い報酬を与えます。これにより、モデルは「次に何が見えるか」を予測する能力を学習します。

2. Confidence Reward (信頼性報酬):

   • 第三者視点での検証（<exo_verify>）の質を向上させるための報酬です。
   • 初期段階では教師モデル（Qwen2.5-VL-72B）が生成した検証ラベルとモデルの出力を比較し、教師出力に近いほど報酬を与えます（Teacher-guided phase）。
   • その後は、複数の候補軌道の中で最もスコアの高い検証と低い検証を比較し、より整合性の高い第三者視点の検証を促進します（Self-ranking phase）。

2.3 破滅的忘却の防止

第一人称データのみで学習すると、第三者視点のタスク性能が低下するのを防ぐため、Exocentric Regularization を導入しています。

• 強化学習の更新の間に、MSR-VTT などの第三者視点動画データセットを用いたクロスエントロピー損失を定期的に追加します。
• これにより、第一人称推論の専門性を高めつつ、一般的な視覚理解能力を維持・向上させます。

3. 主要な貢献 (Key Contributions)

1. EgoVITA フレームワークの提案: 第一人称推論を「第一人称プランナー」と「第三者検証者」に分解し、視点を超えた明示的なフィードバックを実現しました。
2. 新しい密報酬メカニズム: 未来の視覚観測との因果的整合性を促す ACMG と、第三者検証の一貫性を強化する Confidence Reward を設計しました。
3. 高性能と一般化: 第一人称ベンチマークで SOTA を達成しつつ、第三者視点タスクでの性能も維持・向上させました。

4. 実験結果 (Results)

モデルは Qwen2.5-VL-7B、InternVL3.5-8B、Qwen3-VL-8B などの基盤モデルに適用され、以下の結果が得られました。

• 第一人称ベンチマークでの SOTA 達成:
  • EgoBlind: Qwen2.5-VL-7B に対して +7.7 ポイントの改善。
  • EgoOrient: +4.4 ポイントの改善。
  • EgoThink: +3.7 ポイントの改善。
  • 既存の手法（EgoThinker など）と比較しても、より少ないトレーニングデータ（約 47k サンプル）で高い性能を達成しました。
• 第三者視点タスクでの一般化:
  • 第一人称特化による性能低下（破滅的忘却）は見られず、Video-MME や MVBench などの第三者視点ベンチマークでも性能が維持、あるいは向上しました（例：InternVL は Video-MME で +2.7）。
• アブレーション研究:
  • ACMG と Confidence 報酬の両方が必要であり、それぞれが異なる側面（時間的 grounding と検証の一貫性）で貢献していることが確認されました。
  • 計画と検証の両方のコンポーネントが存在することで、第一人称と第三者視点の両方の性能が最大化されることが示されました。

5. 意義と結論 (Significance)

EgoVITA は、MLLM が第一人称視点動画において「次に何が起こるか」を予測する際、単なる確率的な生成ではなく、視覚的証拠に基づいた計画と、第三者視点からの論理的検証を行うことを可能にしました。

• 視覚的整合性の向上: 視覚的ハルシネーション（幻覚）を大幅に減少させ、具体的なフレームやオブジェクトの状態に基づいた回答を生成します。
• 視点間の知識転移: 第一人称と第三者視点のデータをペアリングする必要なく、視点変換能力を学習し、両方のタスクで高い汎用性を発揮します。
• 実用性: 視覚障害者支援やロボティクスなど、部分的観測下での意思決定が求められる実世界アプリケーションにおいて、信頼性の高い推論システムを提供する基盤となります。

この研究は、マルチモーダル推論において、単なる「回答生成」から「計画・検証・回答」の構造化された推論プロセスへ移行する重要性を示唆しており、今後の第一人称動画理解の方向性を示す重要なステップです。