STREAMGAZE: ストリーミング動画における視線誘導による時間的推論と先行的理解の技術的サマリー

本論文は、拡張現実（AR）グラスやロボティクスなど、リアルタイムで意思決定を行う必要があるアプリケーション向けに、マルチモーダル大規模言語モデル（MLLMs）がストリーミング動画において人間の視線（Gaze）信号をどのように利用して時間的推論や先行的理解を行うかを評価するための新しいベンチマーク「STREAMGAZE」を提案しています。

既存のストリーミング動画理解ベンチマークは、過去・現在・未来のタスクを扱っていても、人間の知覚信号である「視線」を明示的に組み込んだものはなく、現実のユーザー意図の推測能力を十分に評価できていませんでした。STREAMGAZE はこのギャップを埋める最初の試みです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

• 課題: 現実世界のストリーミング環境（AR グラスなど）では、モデルは未来のフレームにアクセスできず、過去と現在のフレームのみからユーザーの意図を推測し、先行的な行動（アラート発令など）をとる必要があります。
• 既存研究の限界: 従来のストリーミングベンチマークは、視覚情報の時間的処理に焦点を当てていますが、ユーザーが「何を見ているか（視線）」という最も直接的な注意の指標を無視しています。これにより、人間の実際の知覚プロセスや意思決定メカニズムを反映した評価ができていません。
• 技術的課題: 視線データはノイズが多く不安定であり、第一人称視点（Egocentric）動画ではカメラの揺れも伴うため、「ユーザーが何を見ているか」を正確に空間・時間的にグラウンディング（位置特定）することは困難です。

2. 提案手法：STREAMGAZE

STREAMGAZE は、視線軌道と egocentric 動画を整合させ、時空間的にグラウンディングされた QA（質問応答）ペアを生成するパイプラインと、それに基づく評価ベンチマークで構成されます。

A. データ構築パイプライン

1. 前処理と視線投影: 公開されている egocentric 動画データセット（EGTEA+, EgoExoLearn, HoloAssist）の 3D 視線データを、カメラパラメータを用いて 2D 画像座標へ投影します。
2. 注視点（Fixation）抽出:
   • 空間的安定性: 視線が一定の半径内で安定しているかを確認。
   • 時間的安定性: 一定時間以上持続しているかを確認。
   • シーン一貫性: 画素のヒストグラム相関を用いて、急激なシーン変化がないかを確認。
     これらの条件を満たす「注視区間」を抽出します。
3. 視線領域に基づく物体抽出:
   • FOV 内（注視領域）: 注視点を中心とした円形領域を切り出し、MLLM（InternVL3.5 など）を用いて「注視されている物体」を特定します。
   • FOV 外（周辺領域）: 注視領域をマスクした画像を入力し、「注視されていないが画面にある物体」を抽出します。
4. スキャンパス（Scanpath）構築: 時間順に並べられた注視物体の系列（スキャンパス）を構築し、ユーザーの注意の移り変わりをモデル化します。
5. QA 生成と検証: 生成されたスキャンパスに基づき、過去・現在・未来のタスクに対応する QA ペアを自動生成し、人間による検証（約 83% の正解率）を経て最終データセットを完成させます。

B. タスク分類（10 種類）

STREAMGAZE は、過去・現在・先行的（Proactive）の 3 つの時間軸にまたがる 10 種類のタスクを提供します。

• 過去タスク (Past):
  • 非注視物体識別 (NFI): 画面に見えたが一度も注視されなかった物体を特定。
  • 物体遷移予測 (OTP): 次の注視対象を予測。
  • 視線シーケンスマッチング (GSM): 人間の視線パターンの連続性を評価。
  • シーン想起 (SR): 過去の注視時に背景に見えていた物体を思い出す。
• 現在タスク (Present):
  • 物体識別 (OI): 現在注視されている物体を特定（易・難）。
  • 物体属性認識 (OAR): 注視物体の色や材質などを特定。
  • 将来行動予測 (FAP): 直近の視線パターンから次の行動を推測。
• 先行的タスク (Proactive):
  • 視線トリガーアラート (GTA): 特定の物体に注視された瞬間にアラートを出す。
  • 物体出現アラート (OAA): 画面に新しい物体が現れた瞬間にアラートを出す。

3. 主要な貢献

1. 初の視線誘導ストリーミングデータ構築パイプライン: 視線軌道と egocentric 動画を統合し、スキャンパスの動的変化をモデル化した QA ペアを生成するパイプラインを提案。静的な視線データではなく、ストリーミング環境に適した時空間グラウンディングを実現しました。
2. STREAMGAZE ベンチマークの導入: 8,521 個の QA ペア、285 本の動画、10 種類のタスクからなる大規模な評価セットを公開。過去・現在・未来のタスクを網羅し、視線に基づく推論を包括的に評価できます。
3. 包括的な評価と分析: 最先端の MLLM（GPT-4o, InternVL3.5, Qwen2.5-VL など）を評価し、人間との大きな性能差を明らかにしました。また、視線入力戦略（テキスト、視覚、 saliency map）や推論プロセスの分析を通じて、現在のモデルの限界を詳細に解明しました。

4. 実験結果と知見

• 人間との性能差: 人間の正解率は平均 82.7% でしたが、最上位の MLLM（GPT-4o）でも 53.5% にとどまり、大きなギャップが存在しました。
• 時間的推論の困難さ: 一般purposeの MLLM は、視線信号を長期的な時間的推論に活用するのが苦手です。フレーム単位の処理に依存し、視線の連続的な蓄積ができていません。
• 先行的タスクの限界: ストリーミングモデル（ViSpeak など）は対話型タスクではある程度機能しますが、視線に基づいた先行的アラート（GTA, OAA）では、誤検知（False Positive）や見落とし（False Negative）が多く、信頼性が低いです。
• 視線入力戦略の影響:
  • 視覚的プロンプト（画面上に視線点を描画）や saliency map（視線の熱図）を併用することで、性能が向上する傾向が見られました。
  • しかし、どの手法でも「視線なし」のベースラインを大幅に上回ることは難しく、モデルが視線信号そのものを適切に解釈・推論する能力が不足していることが示唆されました。
• 微調整の効果: 外部データセットだけでなく、STREAMGAZE 形式の合成データで微調整（Fine-tuning）を行うことで、性能が向上することが確認されました。

5. 意義と将来展望

• 意義: STREAMGAZE は、AR グラスやロボットの「人間中心（Human-Centric）」な知覚・意思決定システムを開発するための重要な基盤となります。視線という生体信号を統合することで、モデルがユーザーの意図をより自然に理解し、先行的に支援する能力を評価できるようになりました。
• 将来展望: 現在のモデルは視線信号の解釈や、複雑な時間的推論において限界があります。今後は、視線に基づく因果推論や、より適応的なプロアクティブな支援システムの開発が期待されます。また、社会的相互作用や屋外ナビゲーションなど、より広範なドメインへの拡張も課題として残されています。

総じて、STREAMGAZE は、マルチモーダル AI が「見る（視覚）」だけでなく「注視する（視線）」という人間の知覚プロセスを真に理解し、リアルタイムで応用するための重要な第一歩を提供する研究です。