技術要約：非対称相互変分学習によるマルチモーダル連続推論

1. 問題定義

マルチモーダル大規模言語モデル（MLLM）は、根本的な言語空間のボトルネックに直面している。中間的な推論が離散的な自然言語トークンに制約されると、モデルは連続的で高次元な視覚的概念を言語化することを強いられる。この離散化は、特に微細な空間的抽象化や多段階のプランニングを必要とするタスクにおいて、知覚的なニュアンスの喪失、推論のドリフト、およびハルシネーションを引き起こす原因となる。

近年の研究では、テキストではなく埋め込み空間内で中間ステップを実行する連続潜在推論が探索されているが、既存の手法は深刻な訓練時と推論時のミスマッチに悩まされている。

• 訓練時： モデルは通常、入力 $x$ と正解 $y$ の両方に条件付けられたターゲット依存の事後分布 $q(Z|x, y)$ を使用する。これにより、事後分布は参照回答を利用して潜在状態を構築するという、「回答依存のショートカット」を利用することが可能になる。
• 推論時： テスト時には、回答 $y$ は利用できない。モデルはターゲットに依存しない事前分布 $p(Z|x)$ に頼らなければならない。
• ミスマッチ： 標準的な変分訓練（エビデンス下限：ELBOによる）は、事前分布に事後分布を模倣させるための前方KLダイバージェンスを使用する。その結果、事前分布は、回答から「漏洩」した情報によって形作られた潜在状態を近似するように学習してしまう。推論時、事前分布は、もはや保持していない情報によって構造化された潜在空間をナビゲートしようとし、性能の低下を招く。この現象は、**回答漏洩（answer leakage）または事前分布の汚染（prior contamination）**と呼ばれる。

2. 手法：非対称相互変分学習 (AMVL)

著者らは、事前分布と事後分布の間の双方向のキャリブレーション目的関数を通じて、このミスマッチを解決するAMVLという統一フレームワークを提案する。対称的なピア（仲間）を用いる一般的な相互学習とは異なり、AMVLは、推論時の事前分布（ターゲットに依存しないもの）と訓練時の事後分布（ターゲットに依存するもの）の間の根本的な非対称性を活用する。

コアメカニズム

AMVLは、標準的な変分目的関数に2つの補完的な正則化項を導入する：

1. 前方事前分布アライメント ($L_{fwd}$):

   • 目的: $D_{KL}(sg[q_\phi(Z|x, y)] \parallel p_\theta(Z|x))$
   • 機能: 事後分布にストップグラディエント（勾配停止）を適用することで、事後分布が発見した有用な推論経路を近似するように事前分布 $p_\theta$ を訓練する。これにより、事前分布が事後分布によって導かれた潜在状態を模倣することを確実にする。

2. 逆方向事後分布正則化 ($L_{rev}$):

   • 目的: $D_{KL}(sg[p_\theta(Z|x)] \parallel q_\phi(Z|x, y))$
   • 機能: 事前分布にストップグラディエントを適用して事後分布 $q_\phi$ を正則化する。この項は、事前分布の下で低密度な領域（すなわち、推論時にアクセス不可能な領域）へと事後分布がドリフトすることを防ぐ。これにより、事後分布が「後知恵」の情報に依存した、狭く回答依存的なモードに崩壊することを防ぐ。

理論的正当性

本論文では、回答漏洩を事前分布の汚染として定式化し、理論的な分析を提供している。

• 標準的なELBO訓練の下では、事前分布の平均は事後分布からの平均的な回答依存シフト ($\bar{\delta}$) を吸収し、結果として汚染された事前分布となる。
• 著者らは、AMVLにおけるデュアルKL目的関数がこの汚染を減少させることを証明している（命題2）。逆方向KL項は、事前分布と互換性のある領域から事後分布が逸脱することを抑制し、平衡状態における漏洩係数を効果的に減少させる。これにより、外部の潜在的な監督なしに、推論に対してより適切に校正された事前分布が得られる。

実装

AMVLは、最小限のオーバーヘッドで標準的なMLLMアーキテクチャ（具体的にはQwen2.5-VL-7B）内に実装されている：

• 潜在統合: プロンプトとターゲット回答の間に、$k$ 個のプレースホルダー・トークン (<latent>) が挿入される。
• 変分ヘッド: 軽量な「LLMネイティブ」なヘッド（SwiGLUとRMSNormを使用）が、これらのトークンの隠れ状態に基づき、対角ガウス分布の平均と対数分散を予測する。
• デコーディング: 訓練中には事後分布からのサンプルが潜在スロットに注入される。推論中には事前分布からのサンプルが抽出される。
• 訓練目的関数: 次トークン予測（NTP）、前方KL、および逆方向KLを組み合わせた複合損失を使用し、訓練を安定させるための特定のスケジューリング戦略を採用する（まず前方KLをウォームアップし、次に逆方向KLを導入する）。

3. 主な貢献

1. 核心的な障害の特定: 本論文は、変分マルチモーダル推論における回答漏洩によって引き起こされる訓練時と推論時のミスマッチが、効果的な連続潜在推論の主要な障壁であることを特定し、なぜ標準的な片方向のELBO訓練が失敗するのかを明確にしている。
2. AMVLフレームワーク: 前方事前分布アライメントと逆方向事後分布正則化を組み合わせた、新しい非対称相互学習フレームワークを提案する。これにより、手作業による潜在的な監督信号（例：再構成ターゲット）に頼ることなく、エンドツーエンドでの連続的な推論空間の発見が可能になる。
3. 理論的分析: 双方向KL目的関数が回答漏洩による事前分布の汚染を減少させることを示す形式的な証明を提供し、訓練時と推論時のミスマッチに対する原理的な解決策を提示している。

4. 実験結果

著者らは、微細な知覚、複雑な視覚的推論、および分布外（OOD）堅牢性のベンチマークにおいてAMVLを評価している。

• ベンチマーク:
  • 微細な知覚: V*, HRBench4K, HRBench8K。
  • 複雑な推論: BLINK（物体ローカライゼーション、マルチビュー推論、視覚的類似性、ジグソーパズルなどを含む）。
  • OOD堅牢性: VisualPuzzles。
• ベースライン: 強力な離散推論モデル（Vision-R1, PAPO, PixelReasoner, DeepEyes）および連続潜在推論ベースライン（LVR, Mull-Tokens, Monet）と比較。
• 性能:
  • AMVLは、Qwen2.5-VL-7Bベースのモデルの中で**SOTA（最高性能）**を達成している。
  • BLINKベンチマークにおいて、AMVLはベースモデルに対して平均で**+10.83ポイント向上し、個別のタスク（Jigsawなど）では最大+32.00**の向上を記録した。
  • V* および HRBench8K において、AM-VLはベースモデルに対して大幅な向上（それぞれ+7.85および+4.75）を示し、すべての離散および潜在推論ベースラインを上回った。
  • アブレーション研究: 前方および逆方向の両方のKL項が必要であることを確認している。どちらか一方のみを使用すると、最適とはならない。また、AMVLの潜在空間は推論時の摂動に対して頑健であり、OOD設定においても良好に汎化することを示している。

5. 重要性と主張

本論文は、AMVLが、離散的なテキストベースの推論（言語空間のボトルネックに苦しむ）と、既存の潜在推論手法（回答漏洩による訓練時・推論時ミスマッチに苦しむ）の両方の限界を根本的に解決すると主張している。

• 原理的なアプローチ: 潜在推論を構造化された確率的推論問題として捉え、双方向のキャリブレーションを用いることで、AMVLは事前に指定された監督信号に制約されることなく、最適な推論経路をモデルが有機的に発見することを可能にする。
• 推論への適合性: このフレームワークは、連続的な推論表現が訓練中に表現力豊かであるだけでなく、推論時にも適切に校正され安定していることを保証し、テスト時に利用不可能な「後知恵」の情報にモデルが依存することを排除する。
• 汎化性能: 結果は、潜在推論における訓練時と推論時の適合性を向上させることが、VisualPuzzlesのようなOODベンチマークにおける優れた性能に示されるように、より強力な汎化につながることを示唆している。

著者らは、AMVLが、離散的な思考の連鎖（Chain-of-Thought）アプローチおよび従来の潜在推論手法の両方を凌駕する、堅牢で自己完結的なマルチモーダル連続推論のメカニズムを提供すると結論づけている。