技術要約：Mirage Probes（ミラージュ・プローブ）：視覚モデルはいかにして視覚的理解を偽装するか

問題提起

視覚言語モデル（VLM）は、医療画像、文書解析、科学的推論といった、回答が視覚的入力に根ざしている必要がある極めて重要な領域でますます導入が進んでいる。しかし、近年の「ミラージュ（蜃気楼）挙動」の観察は、ベンチマークの成功が忠実な視覚的推論を意味するという仮定に疑問を投げかけている。ミラージュ挙動とは、画像が存在しない場合でも、VLMが画像に基づいた質問に対して自信を持って正解してしまう現象を指す。これは、マルチモーダル・ベンチマーク（例：MMMU、VQA-RAD）における性能が、真の視覚的証拠の使用ではなく、テキストの事前知識（テキスト・プライア）、データセットの規則性、あるいはショートカット（近道）を反映している可能性を示唆している。

先行研究では、ミラージュ挙動を単一の失敗モードとして扱うことが多い。著者らはこれが単純化しすぎであると主張し、同じ出力レベルの挙動であっても、以下の2つの異なる内部メカニズムから生じる可能性があると提案している：

1. テキスト・バイアス（Textual Biases）: モデルが視覚表現を介さず、言語的な事前知識から直接回答する。
2. スプリアス画像（Spurious Images）: モデルが潜在空間内に偽の視覚的内容を構築し、あたかも根拠があるかのように回答する。いわゆる、画像を「幻覚（ハルシネーション）」として生成して回答を裏付ける状態である。

これら2つのメカニズムを区別することは極めて重要である。なぜなら、軽減策が異なるからである。テキスト分布のクリーニングは前者に対処できるが、後者（モデルの視覚表現に由来するもの）には到達できない。

メソドロジー

Mirage Probes フレームワーク

著者らは、表現レベルでミラージュ挙動を検出し分析するために設計された、対照的なプロービング・フレームワークである Mirage Probes を導入する。

1. データセット構築:

   • 著者らは、画像がある場合のモデルの応答（$r_{img}$）と、画像がない場合の応答（$r_{\emptyset}$）を比較することでデータセットを生成する。
   • ラベル付けのヒューリスティック: 画像なしの生成結果が、高い意味的類似性（bag-of-words コサイン類似度 > 0.7）を伴って同じ回答を生成する場合、画像ありの応答を「ミラージュ的（$y=1$）」とラベル付けする。一方で、画像なしの生成が明示的に不確実性を示したり、画像なしではタスクが不可能であると述べたりする場合は、「非ミラージュ的（$y=0$）」とラベル付けする。
   • 対照ペア（Contrastive Pairs）: 表層的なテキストの混乱（例：トピック単語、質問スタイル）を減らすため、著者らは GPT-4o-mini を使用して、各ベース質問に対して4つのパラフレーズ（言い換え）バリアントを生成する。画像と根本的な意図は固定したまま、質問の言い回みを変化させた対照ペアを構築することで、プローブが表層的な語彙的特徴ではなく、ミラージュのメカニズムを学習するようにする。

2. 活性化抽出（Activation Extraction）:

   • 本研究では、3つのオープンソース VLM（Ovis2.5-2B、GLM-4.6-flash、Qwen3-32B-VL-Instruct）を調査対象とする。
   • 活性化は、トランスフォーマー・アーキテクチャ内の4つの部位から抽出される：
     • 残差ストリーム（Residual stream states）
     • MLP 出力
     • アテンション・ポスト出力（Post-attention outputs）
     • 個別の注意ヘッド（Attention-head）出力
   • 活性化は、3つのプーリング戦略（text-nonspecial-mean、vision-tail、vision-text-mean）を用いて集約される。

3. プローブの訓練:

   • 内部の活性化からミラージュ・ラベルを予測するために、4つの系統のプローブを訓練する：
     • ロジスティック回帰（線形）: ミラージュが単一の線形方向としてエンコードされているかをテストする。
     • 2層MLP: 非線形なエンコーディングをテストする。
     • 結合プローブ（Concatenated Probes）: 全てのレイヤーの活性化を同時に用いて訓練する。
     • 差分プローブ（Difference Probes）: 画像ありと画像なしの活性化の要素ごとの差分（$\Delta h = h_{img} - h_{\emptyset}$）を用いて訓練する。
   • ベースライン: 応答テキストを用いたナイーブベイズ分類器を使用し、表層的な語彙の混乱を排除する。
   • 指標: モデルがテキストのみから正解をどれだけ引き出せるかを測定する新しい指標 Prior Harnessing Index (PHI) を導入する（$PHI = \log p(a^*|Q) - \log p(a^*|Q_{\emptyset})$）。

主な結果

1. ミラージュ挙動の線形デコーダビリティ（線形解読可能性）

本研究は、画像が存在する VLM の内部活性化において、ミラージュ挙動が全4つの活性化部位（残差ストリーム、MLP、アテンション・ポスト、注意ヘッド）を通じて線形にデコード可能であることを示している。

• 精度: 対照的な設定において、線形プローブは残差ストリーム上で最大 75%（Ovis）および 72%（Qwen）、注意ヘッド上で最大 85% の精度を達成した。
• 線形性: 2層MLPプローブは線形プローブを大きく上回ることはなく、ミラージュの情報が複雑な非線形抽出を必要とせず、回収可能な線形方向にエンコードされていることを示唆している。
• 対照性の優位性: 差分プローブ（活性化の差分を用いて訓練されたもの）は最も高い精度（一部の設定で最大 98%）を達成し、画像を追加することによる表現の変化が、ミラージュと非ミラージュの応答を明確に分離していることを示した。

2. 表層的な混乱（Surface Confounds）の低減

ナイーブベイズ・テキスト・ベースラインとの比較により、プローブが単なる表層的な語彙的特徴を検出しているのではないことが確認された。

• 対照的な設定において、プローブの精度はナイーブベイズ・ベースラインを大幅に上回った（例：VQA-RAD における Ovis では 61.88% vs 57.67%）。
• 「全例設定（対照ペアを用いない設定）」では、プローブの精度は高くなったものの、表層的な分離能の向上と相関しており、これらのプローブが深いメカニズムではなく、テキストの合図を拾っていた可能性を示唆している。これは、対照的フレームワークの必要性を裏付けるものである。

3. 2つの異なるミラージュ・レジーム

クロスベンチマークの分離パターンは、ミラージュ挙動が単一の現象ではなく、おそらく2つの異なるレジームで構成されていることを明らかにしている：

• スプリアス画像（Spurious Images）: 画像への依存度が高い（人間が画像なしでは回答できない）質問が多く、テキストの事前知識が弱い（低い PHI）VQA-RAD で支配的である。ここでは、モデルは偽の視覚的内容を構築している。
• テキスト・バイアス（Textual Biases）: 画像がなくても回答するための十分なテキスト的文脈が含まれていることが多い MMMU-Pro や MedXpertQA でより一般的である（高い PHI）。
• 証拠: VQA-RAD は最も高いプローブ分離性を示した。他のベンチマークから「人間が画像依存的と認識する」例のみを用いてプローブを訓練しても、分離性は向上しなかった。しかし、PHI 指標を用いると、VQA-RAD の質問は画像がない場合にモデルの不確実性を特異的に高めることが分かり、これがミラージュ挙動と強く相関していることが判明した。これは、テキストの事前知識が不十分なとき、モデルはスプリアス画像の構築に頼り、事前知識が十分なときはテキスト・バイアスに頼ることを示唆している。

意義と主張

本論文は、忠実な視覚的グラウンディングには、テキストレベルではなく表現レベルでの介入が必要であると主張している。

• メカニズム的洞察: 著者らは、ミラージュ挙動が線形にエンコードされており、2つのメカニズムに分解可能であるという、表現レベルでの最初の証拠を提示している。
• 軽減策への影響: この区別は、安全性とアライメントに直接的な影響を与える。テキスト分布のクリーニング（例：データセットのショートカットの除去）は、テキスト・バイアスのミラージュを減少させるかもしれないが、スプリアス画像によるミラージュに対処することは困難である。なぜなら、後者はモデルの内部的な視覚表現に根ざしているからである。
• 評価: Mirage Probes フレームワークは、VLM が真に視覚的証拠に基づいて回答しているのか、それとも潜在空間の幻覚やテキストのショートカットによって「偽装」しているのかを評価するための診断ツールを提供する。

著者らは、自らの2メカニズム仮説が経験的に動機付けられたものであり、将来的な因果関係の検証（ステアリングやアブレーションなど）を必要としていることを認め、控えめな立場をとっている。また、ラベル付けがヒューリスティックに基づいていることを強調しており、中心的な主張はあくまで相関関係であるとしつつも、対照的プロービングによる表層的な混乱の排除が、知見の妥当性を強めているとしている。