技術要約：特権的モダリティのための混合プローブ（Mixture of Probes: MoP）

1. 問題定式化：特権的モダリティの設定

マルチモーダル大規模言語モデル（MLLM）は通常、学習時に利用可能なすべてのモダリティ（ビデオ、深度、オーディオなど）が推論時にもアクセス可能であるという仮定の下で設計されています。しかし、現実世界の展開ではこの仮定が崩れることがよくあります。モデルは豊富な補助ストリーム（特権的モダリティ）を用いて学習されるものの、テスト時には単一の、より安価またはより信頼性の高いモダリティのみを使用して動作しなければならない場合があります。このシナリオは、**特権的モダリティ設定（privileged modality setting）**と定義されます。

既存のMLLMは、この設定において苦戦します。なぜなら、それらは主に、モダリティを共通の表現空間に整列させるための交換可能な入力として扱うためです。彼らは、推論時にターゲットとなるモダリティの性能を向上させるために、学習時にのみ利用可能な補助モダリティを効果的に活用することに失敗しています。著者らは、現在の手法における2つの主要な限界を特定しています：

1. 最適ではないモダリティ表現： 新しいモダリティは、共有エンコーダーを通じて導入されることが多いですが、最終層での適応が限定的であり、低レベルのモダリティ固有の信号を捉える中間特徴を見落としています。
2. 非構造的なクロスモーダル表現： 既存の手法は、モダリティ全般の情報（モダリティ間で転移可能なもの）と、モダリティ固有の情報（特定のモダリティに依存するもの）を分離するための明示的なメカニズムを欠いており、効果的な知識転移を妨げています。

2. 手法：混合プローブ（Mixture of Probes: MoP）

これらの限界に対処するため、著者らは、MLLM内でモダリティ固有の信号とモダリティ全般の信号を分離するように設計されたフレームワークである**混合プローブ（Mixture of Probes: MoP）**を提案します。神経科学と「モダリティ焦点仮説（Modality Focusing Hypothesis）」に触発された核心的な直感は、効果的なクロスモーダル転移には、固有のモダリティ構造を維持しつつ、共有された抽象概念を隔離する必要があるという点にあります。

2.1 アーキテクチャ

MoPは、標準的な統合型MLLMアーキテクチャ（モダリティ固有のトークナイザー、ユニバーサル・モダリティ・エンコーダー、コネクタ、およびLLMで構成される）を、構造化されたプロービング・メカニズムによって拡張します。

• ユニバーサル・モダリティ・エンコーダー： 共有Transformerエンコーダーが、すべてのモダリティからのトークン化された入力を共通の潜在空間へと処理します。
• 学習可能なプローブ： エンコーダーの最終層のみに依存するのではなく、MoPはエンコーダーの中間表現と相互作用する2種類の学習可能なトークン（プローブ）を導入します。
  • モダリティ固有プローブ ($P^m_s$)： 特定のモダリティ $m$ にのみ条件付けられたプローブのセット。これらは、そのモダリティに特有の信号を捉えます。
  • モダリティ全般プローブ ($P_g$)： すべてのモダリティに条件付けられた共有プローブのセット。これらは、モダリティ間で共通する構造的情報を捉えます。
• 層レベルの相互作用： 両方のプローブセットは、エンコーダーの隠れ状態 ($H^m_l$) とのクロスアテンションを介して、エンコーダーの各層 $l$ で更新されます。プローブはクエリとして機能し、最終層で失われる可能性のある、中間表現からの顕著な手がかりを抽出します。
• 統合： 最終エンコーダー層の後、プローブ・トークンはLLMの埋め込み空間に投影され、標準的なモダリティ・トークンと結合されてからLLMに供給されます。

2.2 MoPクロスモーダル学習（MoP-X）

プローブが明確に異なる表現を学習し、クロスモーダル転移を促進することを確実にするため、著者らは特定の学習戦略を導入しています。

1. プローブ分離損失 ($\mathcal{L}_{dis}$)： モダリティ固有のプローブとモダリティ全般のプローブの間、および異なるモダリティ固有のプローブ間の類似性を明示的に罰する損失関数です。これにより、「プローブの崩壊（プローブが同一の表現に収束すること）」を防ぎ、モデルが直交的で専門化された特徴を学習することを促します。
2. モダリティ・インターリーブ・バッチング： モダリティを逐次的または孤立して学習する手法とは異なり、MoP-Xは複数のモダリティから例を同時にサンプリングすることでミニバッチを構築します。これにより、共有コンポーネント（モダリティ全般のプローブなど）が単一の最適化ステップ内で異種混合の信号にさらされるようになり、間接的なクロスモーダル相互作用が促進されます。

総学習目的関数は、標準的な自己回帰言語モデリング損失 ($\mathcal{L}_{AR}$) と分離損失 ($\mathcal{L}_{dis}$) を組み合わせたものです：
$$\mathcal{L} = \mathcal{L}_{AR} + \lambda \mathcal{L}_{dis}$$

3. 実験的評価

著者らは、各モダリティが推論時の唯一の入力として扱われる厳格なプロトコルの下、2つのドメイン、8つのタスク、4つのモダリティにわたってMoPを評価しています。

3.1 ドメインとベンチマーク

• 日常生活動作 (ADL)： Ego-in-Exo Perceptionベンチマークで評価。学習にはエゴセントリック・ビデオ、エキソセントリック・ビデオ、および深度（depth）を使用します。推論は、エゴセントリック、エキソセントリック、および深度の各モダリティに対して個別にテストされます。
• 音楽理解： Music-AVQAで評価。学習にはペアになったオーディオ・ビジュアル・データを使用します。推論は、オーディオおよびビデオの各モダリティに対して個別にテストされます。

3.2 ベースライン

MoPは以下と比較されます：

• 単一モダリティMLLM： ターゲットとなる推論モダリティのみで学習されたもの。
• ナイーブなMLLM： 構造化されたクロスモーダル・メカニズムなしに、すべてのモダリティで共同学習されたもの。
• 最先端のMLLM： マルチモーダルな整列（アライメント）に焦点を当てたX-InstructBLIPやOneLLMを含む。

3.3 主な結果

• 優れた性能： MoPは、すべての推論モダリティにおいて、すべてのベースラインを一貫して上回ります。ADLドメインでは、特定の条件下（例：深度推論）において、強力なベースラインに対して最大65%の相対的な改善を達成しました。
• 効果的な特権学習： 複数のモダリティで学習しても単一モダリティの性能を向上させることができないことが多いナイーブなMLLMとは異なり、MoPは補助モダリティを活用して単一モダリティの性能を高めることに成功しています。
• アブレーション研究：
  • プローブのタイプ： モダリティ固有またはモダリティ全般のいずれかのプローブを取り除くと性能が低下し、両方の必要性が確認されました。
  • 分離損失： この損失は極めて重要です。これがないとプローブの分散が崩壊し、性能が大幅に低下します。
  • プロービングの深さ： すべてのエンコーダー層でプロービングを行うことが最良の結果をもたらし、モデルの深さ全体から信号を抽出する利点が示唆されました。
  • データのスケーリング： MoPは学習データがスケールするにつれて一貫した性能向上を示しますが、ナイーブなMLLMは収穫逓減を示します。

4. 貢献と意義

本論文は、以下の貢献を主張しています：

1. 特権的モダリティ設定の定式化： 補助モダリティが学習を豊かにするものの推論時には存在しないシナリオを定式化し、標準的なマルチモーダル学習がこの非対称性を活用できていないことを示しました。
2. 混合プローブ（MoP）： ユニバーサル・エンコーダーの深層にわたる構造化されたプロービングを通じて、モダリティ固有の信号とモダリティ全般の抽象概念を分離し、分離された表現を学習する新しいアーキテクチャ。
3. MoPクロスモーダル学習（MoP-X）： 表現の分離を強制し、クロスモーダルな相互作用を促進するための、プローブ分離損失とインターリーブ・バッチングを特徴とする学習戦略。
4. 実証的検証： 補助モダリティがMoPを通じて適切に活用された場合、単一モダリティの推論性能を大幅に向上させ、単一モダリティモデルおよび既存のマルチモーダル整列手法を凌駕することを示す包括的な評価。

意義： 本研究は、モダリティを単に整列のための交換可能な入力として扱うという従来のパラダイムに挑戦しています。代わりに、特権情報の活用への鍵は、モダリティに固有のものと共有されるものを明示的に分離するようにモデルを構造化することにあると提唱しています。これにより、MLLMは、制約のある単一モダリティの展開シナリオにおいて、より堅牢で有能になるために、推論時には利用できない豊かなデータから「学ぶ」ことが可能になります。

限界： 著者らは、MoPが現在ユニバーサル・モダリティ・エンコーダーを前提としており、異種混合のモダリティ固有エンコーダーには直接拡張できないことを指摘しています。さらに、本研究は単一モダリティ推論の設定に厳密に焦点を当てており、マルチモーダル推論のシナリオについては今後の課題としています。