技術要約：MLLMは一度正解し、その後に間違える：後半層におけるテキスト・バイアスの追跡と修正

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、視覚的な証拠と矛盾する場合、テキスト情報に対して一貫したバイアスを示す。画像が明確な事実（例：赤い車）を示している場合でも、MLLMは相反するテキスト（例：「青い車」）が示唆する回答を出力してしまうことが多い。この「テキストによる上書き（textual override）」は、医療診断や自動運転のような安全性が極めて重要なアプリケーションにおいて、視覚的知覚よりも誤ったテキストを信頼することで重大なエラーにつながるリスクを孕んでいる。

先行研究はこの現象を記録しているが、その根底にあるメカニズムは解明されていない。この失敗が、初期の視覚エンコーディングの質の低さに起因するのか、クロスモーダル融合中の情報喪失によるものなのか、あるいは、正しい視覚データの処理が行われた後に、より深い層におけるテキストの事前知識によってデータが上書きされた結果なのかは不明なままである。

2. 手法と分析

2.1 層ごとの追跡とモード優位比（MDR）

失敗のメカニズムを調査するため、著者らは各層における予測軌跡を追跡する。各層 $l$ における隠れ状態を言語モデルヘッドを用いて出力確率へと投影する。そして、各層における視覚的回答 ($w_{vis}$) に対するテキスト的回答 ($w_{text}$) の好みを定量化するために、**モード優位比（MDR）**を導入する：
$$\text{MDR}^{(l)} = \log \frac{P^{(l)}_t(w_{vis})}{P^{(l)}_t(w_{text})}$$

• 正のMDR: 視覚的回答を優先。
• 負のMDR: テキスト的回答を優先。

2.2 「後半層におけるテキストの上書き」現象

Conflict-Incorrect（モデルが失敗したケース）のサンプルを分析すると、驚くべきパターンが明らかになる：

1. 初期の正当性: 中間層において、モデルは正しい視覚的回答に対して高い確率を割り当てている（正のMDR）。
2. 上書き: 後半層において、MDRが負に反転し、モデルの優先順位は誤ったテキスト的回答へとシフトする。
3. 結論: 視覚情報は正常にエンコードされているが、後半層の処理によって、フォワードパス全体を通じて生存できずに失敗している。

2.3 正解性の方向的シグネチャ

予測のシフトは、成功する場合と失敗する場合の両方で観察される。しかし、その方向が両者を区別する：

• 失敗（Conflict-Incorrect）: 85%の遷移がテキスト側へシフトする（$\Delta \text{MDR} < 0$）。
• 成功（Conflict-Correct および Non-Conflict）: 89–91%の遷移が視覚側へシフトするか、あるいは安定している（$\Delta \text{MDR} > 0$）。

この方向的な非対称性は、後半層が予測を洗練させることもあれば（有益）、視覚的証拠を抑制することもある（有害）ことを示唆している。

2.4 衝突認識型レイヤー参照デコーディング（CALRD）

これらの知見に基づき、著者らはトレーニング不要の推論時介入手法であるCALRDを提案する。これは外部知識や再学習を必要としない。

検出メカニズム:
CALRDは、最も急激な分布シフトが発生した層（Jensen-Shannonダイバージェンスにより検出）である「遷移層（$L_{trans}$）」から導出される2つの信号を用いて、「有害な上書き」を特定する。

1. アンカー確信度 ($D_{conf}$): 遷移層におけるトップ予測の確率。高い確信度は、強い中間的な好みが存在することを示す。
2. 予測保持率 ($\rho$): 同一トークンに対する、最終層の確率と遷移層の確率の比率。低い保持率は、予測が抑制されたことを示す。

介入ロジック:
修正強度 $\lambda$ は以下のように計算される：
$$\lambda = D_{conf} \cdot (1 - \rho)$$

• もし確信度の高い予測が存在するが（$D_{conf}$ が高い）、それが抑制されている場合（$\rho$ が低い）、$\lambda$ は大きくなる。
• 予測が安定している、あるいは不確実な場合、$\lambda$ はゼロ付近に留まる。

デコーディング戦略:
最終的な出力ロジットは、遷移層のロジットと最終層のロジットをブレンドすることで調整される：
$$\phi'_t = (1 - \lambda) \cdot \phi^{(N)}_t + \lambda \cdot \phi^{(L_{trans})}_t$$
これにより、最終出力で上書きされてしまった、中間層に存在していた視覚に基づいた回答を復元する。

3. 主な貢献

1. メカニズムの発見: 本論文は「後半層のテキストによる上書き」を、視覚・テキスト間の衝突失敗の主要因として特定し、モデルが当初は「正解している」ものの、その後に考えを変えてしまうことを示した。
2. 方向性予測器: 予測のシフトの方向（テキスト側か視覚側か）が、有害な上書きと有益な洗練を区別する信頼できる予測因子であることを示した。
3. CALRD手法: 内部的なモデル信号を用いて、上書きされた予測を選択的に回復させる、トレーニング不要のデコーディング戦略を提供し、標準的な性能を維持しつつ衝突を修正する。
4. Conflict-VQAベンチマーク: 衝突解決のメカニズム分析を容易にするため、明示的な視覚・テキスト注釈を持つ新しい診断用ベンチマーク（5,969サンプル）を構築した。

4. 実験結果

著者らは、異なるアーキテクチャを持つ5つのMLLM（InstructBLIP, LLaVA-1.5/1.6, Qwen2.5-VL, Qwen3-VL）に対してCALRDを評価した。

• 衝突ベンチマーク: CALRDは、衝突タスク（PhD-iccやConflict-VQAなど）において最大9.4%の絶対的な改善を達成した。
  • PhD-iccにおいて、LLaVA-1.5は27.72%から36.35%へと向上した（+8.63%）。
  • 改善は一般に、より弱いモデルにおいて大きかった。これは、強力なモデルはすでに後半層で多くの衝突を正しく解決できているためである。
• 標準ベンチマーク（Non-Conflict）: CALRDは、標準的なハルシネーションベンチマーク（POPEおよびCHAIR）において、性能をほぼ維持、あるいはわずかに向上させた。これは、本手法が非衝突タスクにおいて無差別に性能を低下させないことを示している。
• 比較: CALRDは、一律の修正を適用するためにより良い局面でも性能を低下させることがあるDoLaやDeCoといった既存のレイヤーベースの手法を上回った。
• 効率性: CALRDは、バニラなデコーディングと比較して、オーバーヘッドが極めて小さく（1トークンあたり約1.5ms、メモリ80MB）、実用的なデプロイが可能である。

5. 意義と主張

本論文は、MLLMの信頼性向上に向けた視点の転換を主張している。すなわち、単にモデルに「より良く見る」こと（より優れた視覚エンコーディング）を教えるのではなく、モデルが既に「見たもの」をいかに保持させるかに焦点を当てるべきであるという点である。

著者らは、本手法の範囲が**限定的（modest）**であることを強調している：

• これはすべてのハルシネーションではなく、特定の失敗モード（後半層の上書き）に対処するものである。
• モデル自身の内部表現に依存しており、外部の知識ベースや追加の学習データを必要としない。
• 介入は適応的であり、特定の有害な上書きのシグネチャ（高い確信度 ＋ 低い保持率）が検出された場合にのみ作動するため、有益な後半層の処理が妨げられることはない。

本研究は、MLLMに見られる「テキストへの盲信」は、必ずしも視覚的理解の欠如ではなく、ネットワークの深さを通じた情報の保持の失敗であることを示唆している。CALRDは、この失われた情報を復元するためのメカニズムを提供する。