技術サマリー：UniMVU – マルチモーダル動画理解のための指示認識型ゲーティング

1. 問題定義

事前学習された動画大規模言語モデル（Video LLM）は、RGB フレームとテキスト指示を用いた視覚推論において強力な能力を示しています。しかし、音声、深度マップ、または密な時間的証拠などの補助ストリームを伴う動画を処理する際には、重大な課題に直面します。

特定された核心的な問題はモダリティ干渉です。現在の手法では、補助ストリームは均一に融合されるか、追加トークンとして連結されることが多いです。この静的な融合戦略は、各モダリティの重要性が固定であると仮定しており、モダリティの関連性がクエリ依存であるという事実を考慮していません。例えば、音声は発話や楽器に関する質問には不可欠ですが、色認識にとってはノイズとなります。深度の手がかりは空間配置には不可欠ですが、外観中心のクエリにとっては冗長です。均一な融合は、無関係なチャネルがモデルを混乱させ、最適ではないパフォーマンスをもたらします。既存の手法は、暗黙のデコーダ注意やタスク固有の相互作用モジュールに依存することが多く、特定の指示に基づいて「どのストリーム内のトークンを強調するか」と「どのストリームを優先するか」という二重の問いを明示的に解決していません。

2. 手法：UniMVU

著者は、LLM のデコーディング前に多様なモダリティ（動画、音声、深度/3D、密な時間情報）間で指示認識型の融合を行うように設計された、統合されたマルチモーダル動画理解フレームワークUniMVUを提案します。このフレームワークは、テキスト指示に条件付けられた二段階の動的ゲーティング機構を採用しています。

アーキテクチャ概要

UniMVU は、モダリティ固有のエンコーダとプロジェクタをモダリティバランス融合ブロックと統合し、その後に凍結された、または LoRA 適応された LLM を配置します。融合ブロックは、以下の 3 つの主要コンポーネントで構成されます。

1. 統合トークンシーケンスとクロスモーダル自己注意:

   • すべての入力（動画、音声、深度など）は共通の埋め込み空間に投影され、テキスト指示トークンと連結されて統合シーケンスとなります。
   • クロスモーダル自己注意層が、指示トークンとモダリティトークンの間の相互作用を可能にします。重要なのは、指示トークンが「触れられない」（層の後に元の埋め込みで置換される）ことであり、これによりノイズの多いモダリティ特徴が指示表現を乱すのを防ぎ、モダリティがテキストに条件付けられる一方向の情報フローを確保しています。

2. 指示駆動型内部モダリティゲーティング（特徴レベル）:

   • このモジュールは、各モダリティ内のトークンシーケンスを精緻化します。
   • クロスモーダル層からの注意マップを活用して、各トークンの指示に対する関連性を計算します。
   • 指示トークンからコンテンツトークンへの注意質量を集約し、各モダリティ内で正規化してトークンレベルの重み（$w_{m,t}$）を生成します。これにより、ストリーム内の重要な領域を強調し、無関係な領域を抑制します。

3. 指示駆動型モダリティレベルゲーティング（ストリームレベル）:

   • このモジュールは、各完全なモダリティストリームにグローバルな重みを割り当てます。
   • ストリームの内容を要約するために、各モダリティに対して学習可能な制御トークン（$t_c$）が導入されます。
   • 指示トークンとこれらの制御トークンとの間の注意が、各モダリティのスカラー重要度スコア（$\eta_m$）を生成します。
   • これらのスコアは正規化され、モダリティレベルのゲーティング係数（$\beta_m$）を生成します。

融合メカニズム:
モダリティ $m$ の最終表現は、残差精緻化として計算されます：
$$\hat{H}_m = O_m + \beta_m (w_m \odot O_m)$$
ここで、$O_m$ は自己注意層の出力です。この設計により、元の証拠が（残差 $O_m$ 経由で）保持されつつ、指示に関連するトークンとストリームが増幅されます。ゲーティングはハードスイッチではなく、ソフトな再重み付け信号として機能し、潜在的に有用な証拠を破棄するリスクを低減します。

トレーニングとスケーラビリティ:

• モダリティエンコーダは凍結されたままです。プロジェクタ、融合ブロック、および LLM 内の LoRA アダプタのみがトレーニングされます。
• このフレームワークは統合マルチタスクトレーニングをサポートし、単一のチェックポイントが Audio-Visual、3D、Video QA などの多様なデータセットで、タスク固有のコネクタなしにトレーニングされます。欠落しているモダリティはマスクされ、ゲートは利用可能なストリーム上で再正規化されます。

3. 主要な貢献

• 統合フレームワーク: 手動で設計された融合ルールなしに、多様なモダリティ構成（動画、音声、深度/3D、密な時間情報）を処理し、多様なモダリティ構成間で一般化できる単一のモデル。
• 二段階の動的ゲーティング: クエリに基づいてモダリティの重要性を適応的にバランスさせるために、トークンレベル（内部モダリティ）とストリームレベル（モダリティレベル）の両方で動作する指示駆動型メカニズム。
• 解釈可能性: ゲーティング機構は、人間が解釈可能なモダリティの関連性（例：音響に関する質問では音声をアップウェイトする）と整合しており、透明な決定表面を提供します。
• スケーラビリティ: このアプローチは異なるモデルサイズ（0.5B および 7B）にスケーリング可能であり、Audio-Visual、3D、または密な動画タスク用の個別のコネクタを必要とせずに、複数のタスクファミリー全体で統合トレーニングをサポートします。

4. 実験結果

著者は、UniMVU を 6 つのベンチマークで評価しました：AVQA、AVSD、Music-AVQA（Audio-Visual）、ScanQA、SQA3D（3D）、およびMVBench（動画）。

• パフォーマンス向上: UniMVU は、静的融合のベースライン（特に PAVE および LLaVA-OV 変種）を一貫して上回りました。
  • Music-AVQAにおいて、UniMVU は PAVE に対して 0.5B で総合精度**+4.6%、7B で+1.8%**の向上を達成しました。
  • AVSDにおいて、CIDEr で 0.5B が**+12.2ポイント、7B が+13.5**ポイントの gains を達成しました。
  • SQA3Dにおいて、UniMVU は 0.5B で EM@1 を**+6.7**改善し、「What」および「How」の質問で顕著な gains を示しました。
  • MVBenchにおいて、統合モデル（UniMVU†）は平均スコアで最高を記録し、特に 0.5B スケールでのアクション予測（+21.0）やアクションシーケンス（+16.5）など、時間的負荷の高いサブタスクで大きな gains を達成しました。
• 統合トレーニング: 全タスクで共同トレーニングされた単一のチェックポイント（UniMVU†）は強力なパフォーマンスを維持し、ゲーティングインターフェースが異なるタスクファミリー間でモダリティ選択行動を正常に転移することを示しました。
• アブレーション研究:
  • 内部モダリティゲーティングまたはモダリティレベルゲーティングのいずれかを除去するとパフォーマンスが低下し、両方のレベルの必要性が確認されました。
  • 単一の統合制御トークンの使用は、モダリティ固有のトークンよりも優れていました。
  • ゲーティング式における残差接続は決定的であり、これを除去するとパフォーマンスが低下しました。
  • パラメータフリーのゲーティング（注意スコアを直接使用）は、学習された MLP またはクロス注意スコアリングヘッドよりも優れており、注意から導出されたスコアが強い帰納的バイアスを提供することを示唆しています。

5. 意義と主張

本論文は、UniMVU が指示認識型マルチモーダル動画理解のためのシンプルで統合されたレシピを提供すると主張しています。その主な意義は、LLM が回答を生成する前に指示に基づいて情報を明示的にルーティングすることにより、モダリティ干渉に対処する点にあります。

• 干渉の軽減: ストリームとトークンを動的に再重み付けすることで、モデルは均一融合の限界である無関係なモダリティがデコーダを混乱させるのを防ぎます。
• 一般化: このフレームワークは、単一のゲーティングインターフェースが、個別のタスク固有のアーキテクチャを必要とせずに、異種の入力（音声、3D、密な動画）を処理できることを証明しています。
• 効率性と透明性: この手法は軽量（最小限のパラメータを追加）であり、ゲーティング重みがクエリによって要求される特定の証拠タイプへのモデルの焦点を直接反映するため、解釈可能性を提供します。

著者は、UniMVU が Video LLM が同期された補助ストリームをより効果的に活用することを可能にし、多様なベンチマークで最先端の結果を達成しつつ、将来のマルチモーダル統合のためのスケーラブルな道筋を提供すると結論付けています。