テクニカルサマリー：VEGAS – 注視（Gaze）による人間整合的なビデオキャプション評価

1. 問題提起

視覚言語モデル（VLM）は、意味的に正確なビデオキャプションを生成することには長けているが、通常、多様な人間の解釈を集約したクラウドソーシングによるアノテーションに依存している。その結果、これらのモデルは「グローバルに正しい」記述を生成する傾向があるが、個々の視聴者の特定の注意パターンを捉えることには失敗する場合が多い。キャプションによるインデックス検索のようなアプリケーションにおいて、注視されていない背景コンテンツを強調する一般的なキャプションは、ユーザーが注視した特定の物体や動作に基づいてビデオを検索することを困難にする可能性がある。

解決すべき核心的な問題は、生成されたキャプションと個々の視覚的注意との間の不整合である。人間の注視（gaze）は視覚的注意の測定可能なプロキシ（代理指標）となるが、従来の研究では主に学習時の教師信号としてのみ利用されてきた。本論文では、基礎となるモデルを再学習させることなく、特定の視聴者の焦点（フォーカス）を反映するパーソナライズされたキャプションを選択するために、テスト時に注視を利用できるかどうかを調査する。

2. 手法

2.1 VEGAS メトリック（Video caption Evaluation via GAze Score）

著者らは、候補となるキャプションが視聴者の注視とどの程度一致するかを定量化するために設計された、学習不要でクロスモーダルな情報理論的メトリックである VEGAS を提案する。

• 定式化: 目標は、キャプション $t$ と注視信号 $G$ の間の相互情報量を最大化することである。真の周辺分布 $P(t)$ および $P(G)$ は計算困難（intractable）であるため、VEGAS は凍結された事前学習済み VLM の条件付き尤度を用いてこれを近似する。
• 核心的な直感: 注視に整合したキャプションとは、注視された領域（$G$）のみから高度に予測可能であり、非注視領域（$\bar{G}$）による追加情報が最小限であるものである。
• 定義: VEGAS は、注視された領域 $G$ を条件とした、キャプション・トークン $t$ と非注視領域 $\bar{G}$ の間の点別条件付き相互情報量として定義される：
  $$\text{VEGAS}(c, G) \triangleq I(t; \bar{G} | G) = \log \frac{P_\theta(t | V)}{P_\theta(t | G)}$$
  ここで、$V$ はビデオ全体であり、$G$ は注視されたビデオである。
• 解釈: VEGAS スコアは低いほど優れている。これは、キャプションが注視された領域のみによって十分に説明されていることを示す。高いスコアは、キャプションが視聴者の焦点外の視覚的コンテンツに大きく依存していることを意味する。
• トークンレベルの分解: このメトリックはトークンに対して自己回帰的に分解されるため、視聴者の注視によって支持されている、あるいは支持されていない特定の意味的概念を特定することが可能である。

2.2 注視条件付きリジェクションサンプリング

VEGAS は、既存の VLM が生成した候補群から、モデルの再学習なしにキャプションを選択するために使用される：

1. 候補生成: 複数の VLM が、様々なデコーディング温度を用いて、ビデオ $V$ に対する $N$ 個の候補キャプションを生成する。
2. スコアリング: 各候補 $c_i$ について、視聴者の注視信号 $G$ を用いて VEGAS スコアを算出する。
3. 選択: 最も低い VEGAS スコアを持つキャプションが選択される：
   $$c^* = \arg \min_{c_1, \dots, c_N} \text{VEGAS}(c_i, G)$$
   このプロセスは、注視されていないコンテンツを記述するキャプションを効果的にフィルタリングし、視聴者の特定の注意の焦点に合致するものを選別する。

3. データセットのキュレーション

フレームワークを評価するために、著者らは同期された人間の注視、視覚的コンテンツ、および自由形式の人間による記述キャプションを組み合わせたマルチモーダル・データセットを、以下の2つのドメインにわたってキュレーションした：

1. Aria Everyday Activities (AEA): Project Aria スマートグラスのデータから派生した 332 個のエゴセントリック（一人称視点）ビデオクリップ。これらのクリップは、動的な現実世界のタスク（例：料理、コンピューティング）を捉えており、注視が具体的な物体の曖見を解消するのに役立つ。
2. SlideVQA: 30 デッキからなる 300 枚のインストラクショナル・スライド。参加者はウェブカメラベースのアイトラッキングを介してスライドを閲覧し、キャプションを提供した。このドメインは、概念的な抽象化が必要とされる高密度な視覚メディアにおける注視の条件付き効果をテストする。

このデータセットには、注意駆動型の意味的バリエーションを捉えた 2,981 個の高品質な人間によるアノテーションが含まれている。

4. 主な結果

4.1 意味的整合性

• AEA (エゴセントリック): VEGAS によって選択されたキャプションは、素朴な VLM キャプションと比較して、人間によるアノテーションとの意味的整合性において統計的に有意な改善を示した。平均 SBERT 類似度は +0.0856 (+13.53%) 増加した（$p < 0.001$）。
• SlideVQA: 改善はより小さく（+0.0256）、統計的に有意ではなかった（$p = 0.0952$）。著者らは、これをスライドの性質に起因すると考えている。すなわち、同じ視覚情報に対して複数の有効な概念的要約が存在するため、抽象的な解釈に対しては注視が弱いセレクターとなる。

4.2 キャプション・トゥ・ビデオ検索

AEA データセットにおいて、VEGAS はキャプション・トゥ・ビデオ検索のためのインデックス構築に使用された：

• パフォーマンス: VEGAS 選択インデックスは、ランダムな VLM キャプションよりも検索指標を向上させた。
  • Precision/Recall/mAP@1: +1.14% の向上。
  • Recall@5: +4.16% の向上。
  • mAP@10: +2.46% の向上。
• ギャップの解消: VEGAS は、Rank 1 においてランダムな機械選択と人間同士の検索との間のギャップの約 15% を回収したが、Recall@5 および Recall@10 では 40% 以上を回収した。これは、VEGAS が必ずしもトップランクに到達しなくても、正しいビデオを上位の候補へと効果的に移動させていることを示唆している。

4.3 アブレーションと診断

• 注視の破損: 真の注視を他のクリップからのランダムな注視に置き換えると、VEGAS スコアが大幅に上昇した（整合性が悪化した）。これにより、メトリックが正しい注視信号に対して敏感であることが確認された。
• 長さのバイアス: 相関分析により、VEGAS はキャプションの長さや汎用性に 의해駆動されていないことが示された。つまり、短いキャプションを選択することによって改善が得られているわけではない。
• トークンレベルの分析: 定性的な例は、VEGAS が注視されていない領域（例：ユーザーが「洗濯機」を見ているときに「庭」と記述する）を記述するトークンを正しくペナルティ化し、注視点に一致するトークンを優先することを実証した。

5. 重要性と主張

本論文は、VEGAS が推論時における視聴者の注意の組み込みの有用性を実証していると主張している。主な貢献は以下の通りである：

1. 学習不要のメトリック: 大規模な視覚言語モデルの微調整や再学習を行うことなく、パーソナライズされたキャプションを評価および選択する方法を提供する。
2. テスト時条件付け: 注視を使用するパラダイムを、学習時の教師信号から、パーソナライゼーションのためのテスト時の条件付け信号へとシフトさせる。
3. ドメイン特異性: 注視によるキャプション生成は、視覚的注意が具体的な指示対象（例：エゴセントリックな活動）を判別するのに役立つ場合には最も効果的であるが、刺激が多くの有効な概念的要約をサポートする場合（例：インストラクショナル・スライド）には、診断能力が低下することを結果は明らかにしている。
4. 検索の向上: 注意に整合させることで、ビデオのセマンティック・インデックス作成を改善し、特定のユーザーが実際に注視したものに基づいて、ビデオをより検索しやすくする。

著者らは、VEGAS は基礎となる VLM の限界（例：ハルシネーション）を継承すること、および注視は視聴者が「どこ」を見るかを示すが、複雑な視覚的関係を「どのように」解釈するかまでは必ずしも示さないことを指摘し、謙虚な姿勢を保っている。今後の課題として、暗黙的な注意のプロキシ（サリエンシーモデルなど）の探索や、VEGAS を学習目的関数へと蒸留することなどが提案されている。