論文要約：Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts

この論文は、マルチモーダル Mixture-of-Experts (MoE) モデルにおいて観察される「Seeing but Not Thinking（見てはいるが、考えていない）」という現象を解明し、そのメカニズムを「Routing Distraction（経路の分心）」として提唱し、それを軽減する手法を提案した研究です。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細にまとめます。

---

1. 問題定義 (Problem)

マルチモーダル MoE モデルは視覚言語タスクで高い性能を発揮していますが、著者らは以下の矛盾する現象を発見しました。

• 「Seeing but Not Thinking」現象: モデルは画像の内容（数値やテキスト情報など）を正確に認識・抽出できるにもかかわらず、その後の推論（Reasoning）で失敗します。
• 対照実験: 同じ問題を純粋なテキストとして提示した場合、同じモデルは正しく解けます。
• 核心: 知覚（Perception）は正確であるにもかかわらず、なぜ視覚入力では推論能力が低下するのか？という根本的な疑問です。

従来の仮説として「クロスモーダルな意味の整合性（Semantic Alignment）の欠如」が疑われていましたが、本研究ではこれを否定し、MoE 固有のアーキテクチャ特性に原因があることを突き止めました。

2. 手法と分析 (Methodology)

著者は Qwen3-VL-30B-A3B などのモデルを用いて、以下の 3 段階の体系的な分析を行いました。

2.1 クロスモーダル意味共有の検証

• 概念介入実験: 画像入力とテキスト入力の隠れ状態（Hidden States）を操作し、ある概念（例：数字「3」）を別の概念（例：数字「5」）に置き換える実験を行いました。
• 結果: 中間層（Layer 8-42）において、画像とテキストの表現が高度に共有されている（介入成功率 90% 超）ことが確認されました。
• 結論: 意味の整合性自体は保たれているため、推論失敗の原因は「意味の不一致」ではなく、別の要因であることが判明しました。

2.2 層ごとの専門家（Expert）の専門分化と分離

• 専門家分布の分析:
  • ドメイン専門家（推論担当）: 数学や論理推論に特化した専門家は中間層に集中しています。
  • 視覚専門家: 画像処理に特化した専門家は初期層（視覚特徴抽出）と終端層（出力準備）に集中しています。
• 発見: 視覚入力とテキスト入力では、推論に不可欠な「中間層」における専門家へのルーティング（経路選択）に大きな乖離（Divergence）が生じていることがわかりました。

2.3 ルーティング分心仮説 (Routing Distraction Hypothesis)

• 仮説: 視覚入力を処理する際、ルーティング機構がタスクに関連する「ドメイン専門家（推論担当）」を十分に活性化せず、代わりに推論に適さない他の専門家へ計算リソースを分散させてしまう現象を「Routing Distraction」と定義しました。
• 相関: 中間層でのルーティングの乖離度（JSD）が大きいサンプルほど、推論精度が低いという強い相関が確認されました。

3. 提案手法：ルーティング誘導介入 (Routing-Guided Intervention)

この仮説を検証し、性能を改善するために、推論時にドメイン専門家の活性化を意図的に高める介入手法を提案しました。

• ドメイン専門家の特定: 特定のドメインデータ（例：GSM8K）と一般データ（例：Alpaca）での専門家活性化頻度を比較し、ドメイン固有の専門家セットを特定します。
• 介入戦略:
  • Soft Intervention: 特定されたドメイン専門家のルーティング重み（Logits）に、標準偏差に基づいた適度な追加値を加えます。
  • Hard Intervention: ドメイン専門家の重みを層の最大値に強制的に設定します（ただし、Top-1 ルーティングを持つモデルでは性能低下のリスクあり）。
• 特徴: この手法は、推論時にモデルの重みを変更することなく、動的にルーティングを調整する「インファレンス時介入」です。

4. 実験結果 (Results)

3 つの異なる規模のマルチモーダル MoE モデル（Qwen3-VL, Kimi-VL, Llama4-Scout）と、6 つのベンチマーク（MATH500, GPQA, MathVerse など）で評価を行いました。

• 半意味等価シナリオ（テキストを画像化）:
  • 知覚エラーを排除した環境でも、Soft Intervention により全モデルで改善が見られました。
  • 例：Kimi-VL は数学タスクで +2.24%、物理タスクで +2.98% 向上。
• 自然な視覚シナリオ（複雑な図形・グラフ）:
  • 視覚情報そのものが不可欠なタスク（MathVerse など）でも有効でした。
  • Kimi-VL は MathVerse で +3.17% の大幅な改善を達成しました。
• ロバスト性:
  • 完全なテキスト対応が存在しない視覚タスクでも、部分的なテキスト参照から特定された専門家が視覚タスクに転移し、改善をもたらしました。
  • これは、特定された専門家が「特定のサンプルの解法」ではなく、「認知機能（推論パターン）」を担う単位であることを示唆しています。

5. 主要な貢献 (Key Contributions)

1. 現象の体系化: 「Seeing but Not Thinking」現象を特定し、それが複数の SOTA モデルに普遍的に存在することを示しました。
2. メカニズムの解明: 「Routing Distraction」仮説を提唱し、視覚入力による中間層でのルーティング乖離が推論失敗の主要因であることを実証しました。
3. 実用的な解決策: ルーティング誘導介入手法を開発し、モデルの構造変更なしに、複数のモデルとタスクで一貫した性能向上（最大 3.17%）を達成しました。

6. 意義と限界 (Significance & Limitations)

• 意義:
  • 従来の「視覚理解の欠如」という視点ではなく、**「推論リソースの配分ミス」**という新しい視点からマルチモーダル推論の失敗を説明しました。
  • 大規模モデルの内部動作（Expert の役割分担）を解明し、モデルの能力を最大限引き出すための軽量な介入手法を提供しました。
• 限界:
  • 知覚エラー（画像の読み取りミス）自体を修正するものではない。
  • 介入にはタスク固有の設定（適切なテキスト参照の作成、層の選択など）が必要であり、完全な自動化は今後の課題。
  • 複雑な視覚概念（空間関係など）における意味整合性の完全性は未確認。

この研究は、マルチモーダル MoE モデルの推論能力を向上させるための新しいパラダイムを提供し、将来的なモデル設計や推論最適化の指針となる重要な成果です。