技術的サマリー：EVIDENT - エンティティに基づく視覚的証拠を通じたマルチモーダル大規模言語モデルのルーティング適応

1. 問題定義

本論文は、ビデオ時間的グラウンディング（VTG）におけるマルチモーダル大規模言語モデル（MLLM）のドメイン間汎化失敗に対処する。事前学習済み MLLM は、多様な分布にわたって言語クエリを関連する視覚的エンティティと関連付ける能力である、本質的かつドメインに依存しないエンティティ注意能力を有しているが、VTG タスクに対する単純なファインチューニングは、しばしばこの能力を破壊してしまう。

著者らは、**「注意と局所化のデカップリング」**と呼ばれる現象を特定した。特定のソースドメイン（インドーム、ID）でファインチューニングを行うと、MLLM は、基礎となる視覚的証拠ではなく、データセット固有のショートカット（例：時間的場所のバイアス、シーンコンテキスト、外観のバイアス）に依存してイベントを局所化することを学習する。その結果、ID 性能は向上する一方で、アウトオブドメイン（OOD）性能は急激に劣化する。

実証的分析を通じて、本論文はこの劣化が、未見のクエリ概念の存在ではなく、主に視覚的ドメインシフト（ソースビデオとターゲットビデオ間の視覚分布の違い）によって駆動されていると診断する。標準的なファインチューニングは、モデルをソースドメインのシーンコンテキストに過剰適合させ、学習された時間的局所化の知識を事前学習されたエンティティ注意と結合させることに失敗する。

2. 手法：EVIDENT

これを解決するため、著者らは EVIDENT（Evidence-grounded Entity-attentive adaptation、証拠に基づくエンティティ注意適応）を提案する。これは、事前学習済み MLLM の本質的なエンティティ注意に時間的グラウンディングを固定するように設計された、パラメータ効率的なフレームワークである。このフレームワークは、以下の 3 つの中核コンポーネントで構成される。

A. エンティティボトルネックアダプタ（EB Adapter）

MLLM 全体をファインチューニングするか、インストラクションチューニングを再実行するのではなく、EVIDENT は MLLM デコーダの初期層に軽量なアダプタを挿入する。

• メカニズム: Slot Attention メカニズムを用いて、高密度な視覚トークンを、学習可能なエンティティレベルのスロットのコンパクトな集合に変換する。
• 機能: これにより、モデルは、生で絡み合った視覚トークンを処理するのではなく、視覚シーンを離散的で意味的に一貫したエンティティ（例：人物、物体）に分解することを強制される。
• 再構成: アダプタは、パラメータフリーな方法でこれらのスロットから元のトークン系列を再構成し、LLM デコーダが分離されたエンティティ中心の表現のみを消費することを保証する。

B. エンティティバインディング蒸留（EB Distillation）

著者らは、事前学習済み MLLM の視覚空間が「絡み合っている」ことを観察しており、つまり、ガイダンスなしではボトルネック内のスロットは自然に均一な注意に収束してしまう。

• メカニズム: スロットの形成を誘導するための蒸留損失を導入する。これは、視覚パッチの疑似真値クラスターマップを生成するために、DINOv2（自己教師ありビジョンモデル）を使用する。
• 機能: ハンガリーマッチングと二値交差エントロピー（BCE）損失を通じて、モデルは各スロットを特定の意味的一貫性を持つエンティティクラスターにバインドするように訓練される。これにより、MLLM の視覚空間に「物体性事前分布」が注入され、ドメインシフト下でもスロットが異なるエンティティを表すことを保証する。

C. エンティティから eVidence へ（E2V）ゲーティング

これらの学習されたエンティティを時間的局所化に活用するため、フレームワークはゲーティングメカニズムを導入する。

• メカニズム: 与えられた自然言語クエリに対して、システムは主語と目的語の概念を抽出する。その後、フレームの視覚特徴とクエリの主語/目的語トークン間のコサイン類似度に基づき、フレームごとの共起スコアを計算する。
• 機能: このスコアはゲートとして機能し、EB アダプタの出力の寄与を調整する。クエリに関連するエンティティが共起するフレームは、より高い重みを受ける。これにより、ターゲットとなる時間的瞬間は関連するエンティティが視覚的に存在する場所であるという帰納的バイアスが注入され、モデルをデータセットのショートカットから遠ざける。

訓練目的: フレームワークは、ビジョンエンコーダを凍結したままエンドツーエンドで訓練される。EB アダプタと LoRA パラメータは、$L_{total} = L_{CE} + \lambda L_{EBD}$ という結合損失を用いて共同で更新される。ここで、$L_{CE}$ はタイムスタンプ生成のための標準的な交差エントロピー損失であり、$L_{EBD}$ はエンティティバインディング蒸留損失である。

3. 主要な貢献

1. OOD 失敗の診断: 本論文は、単純なファインチューニングが「注意と局所化のデカップリング」を引き起こし、OOD 劣化の主要な原因が概念のギャップではなく視覚的ドメインシフトであることを体系的に実証する。
2. EVIDENT フレームワーク: 完全なインストラクションチューニングを再実行することなく、エンティティレベル表現を通じて VTG 学習をルーティングするパラメータ効率的な適応手法。これは、エンティティボトルネックアダプタ、エンティティバインディング蒸留、およびエンティティから eVidence へのゲーティングメカニズムを組み合わせる。
3. 実証的検証: 広範な実験により、EVIDENT が多様なドメイン間ベンチマーク（Charades-STA、QVHighlights、DiDeMo）において OOD 堅牢性を一貫して向上させつつ、 modest なパラメータオーバーヘッド（7B バックボーンの約 2.36%）で競争力のあるインドーム性能を維持することが示された。

4. 実験結果

著者らは、EVIDENT をドメイン間設定（あるデータセットで訓練し、別のデータセットでテスト）で評価した。

• 性能: EVIDENT は、OOD シナリオにおいて、単純にファインチューニングされた MLLM（例：Qwen2.5-VL）を大幅に上回る。例えば、Charades-STA $\to$ QVHighlights タスクにおいて、単純なベースラインは R1@0.5 で 23.9 ポイント以上低下したが、EVIDENT はこのギャップを埋め、ベースラインに対して +5.5 ポイントの改善を達成した。
• 比較: EVIDENT は、正確な時間的局所化を欠くゼロショット MLLM や、ドメイン間での汎化に失敗することが多い専門的な DETR ベースのモデルを上回る。
• アブレーション研究:
  • EB 蒸留を除去すると、スロットが特化できなくなる結果となり、エンティティバインディングに対する蒸留損失の必要性が確認された。
  • E2V ゲーティングを除去すると OOD 性能が低下し、エンティティを明示的な視覚的証拠として使用することの価値が確認された。
  • アダプタをデコーダの初期層（0–10）に挿入することが最適であり、事前学習されたアライメントを維持しつつエンティティ分解を可能にすることが示された。

5. 意義と主張

本論文は、視覚的ドメインシフト下での堅牢な MLLM ベースの VTG に対する解決策は、ソースドメインのコンテキストに直接適合させることではなく、事前学習されたエンティティ注意を完全に活用する証拠に基づく適応であると主張する。

著者らは、EVIDENT を、エンティティレベルの推論への構造的バイアスを強制することにより、ビデオ理解における分布シフトを緩和するための一歩として位置づけている。彼らは、予測を視覚的証拠（エンティティ）にグラウンディングするようにファインチューニングを正則化し、記憶されたパターンではなく、単純なファインチューニングでは達成できない転移性をモデルに達成させることができると論じている。この研究は、エンティティレベルのグラウンディングが、汎化可能な時間的局所化のための効果的な帰納的バイアスとして機能することを示唆している。

本論文はその範囲について控えめであり、視覚分布のシフトに焦点を当てており、長編ビデオ、主観的視点、またはオープンボキャブラリーグラウンディングなどの他の課題にはまだ取り組んでおらず、これらは将来の課題として残されていると述べている。