技術的概要：ビジョン・ランゲージモデルにおける信頼性が存在する場所

問題定義

ビジョン・ランゲージモデル（VLM）は、視覚入力によって支持されていない流暢だが誤った回答（ハルシネーション）を頻繁に生成します。医療トリアージや科学的分析などの高リスクな展開シナリオでは、正しさを予測可能であり、かつメカニズム的に解釈可能な信頼性シグナルが不可欠です。

アテンション・コンフィデンス仮説と呼ばれる広範な直観は、VLM の信頼性はアテンションマップから直接読み取れると主張します。つまり、モデルが視覚的アテンションをクエリ領域に鋭く集中させていれば回答は信頼でき、アテンションが拡散していれば信頼性は低いとみなされます。本論文はこの仮説に挑戦し、アテンションの構造（鋭さ、断片化、エントロピー）が実際にモデルの正解確率に対して較正されているのか、それとも信頼性に関する情報は計算の他の場所に存在するのかを問うています。

手法：VLM 信頼性プローブ（VRP）

著者は、3 つのオープンウェイト VLM ファミリ（LLaVA-1.5、PaliGemma、Qwen2-VL；パラメータ数 3–7B）および 4 つのベンチマーク（POPE、LLaVA-Bench、カスタム計数・空間タスクスイート、VQAv2、TextVQA）において、3 つの異なるシグナルクラスを単一の正解ラベルと比較するために設計された統合メカニズム的パイプラインである**VLM 信頼性プローブ（VRP）**を導入します。

このパイプラインは 3 つの段階で動作します：

1. 構造的メトリクス（アテンション）： クロスアテンションテンソルを層ごとの空間ベクトルに縮小します。2 つの構造的量を抽出します。**空間エントロピー（$H_s$）と、アテンションの連結成分への断片化を測定するセカンダリーコンポーネント数（$C_k$）**です。
2. メカニズム的読み出し（隠れ状態）：
   • ロジットレンズ： 残差ストリームを各層でアンエンベディング行列を通じて投影し、正解トークンと競合トークンの間の分離を測定する**真のマージン（$\Delta M_\ell$）**を計算します。
   • スパースプローブ： 隠れ状態に対して L1 正則化線形プローブを訓練し、正解に関連するスパースで因果的な回路を特定します。
   • 残差分析： 真のマージンの成長に対する MLP とアテンション層の寄与を分解します。
3. 行動的メトリクス： 自己一貫性は、$K=10$ の出力をサンプリングし、多数決の回答の支持率を計算することで測定され、高コストな行動的ベースラインとして機能します。

本研究は、トップ 30% パッチマスキング（アテンションの必要性を検証するため）やニューロンアブレーション（特定の隠れユニットの因果的役割を検証するため）を含む因果的介入を用いて知見を検証します。

主要な結果

1. アテンション構造は正解の予測因子ではない

アテンション・コンフィデンス仮説とは対照的に、アテンション構造は正解のほぼゼロの予測因子です。

• 統計的証拠： $n=3,090$ のプールされたデータセットにおいて、セカンダリーコンポーネント数（$C_k$）と正解との点二系列相関は $R_{pb} = 0.001$ であり、空間エントロピー（$H_s$）は $R_{pb} = -0.012$ です。どちらも統計的にゼロと区別できません。
• 教師ありストレステスト： ラベルに完全アクセスし、11 のアテンション派生特徴量で訓練された XGBoost–ランダムフォレストアンサンブルでさえ、52–55% の精度（偶然に近い）しか達成できませんでした。
• 因果的必要性対十分性： アテンションは特徴抽出にとって因果的に必要ですが（トップ 30% のアテンションパッチをマスキングすると精度が 8.2–11.3 ポイント低下）、その構造（鋭さや断片化）は較正された不確実性を符号化しません。モデルは正しい対象に完全にアテンションを向けても、まだハルシネーションを起こす可能性があります。

2. 信頼性は後期に現れ、MLP によって駆動される

信頼性は、残差ストリームの後期段階でのみ読み取れるようになります。

• ロジットレンズのダイナミクス： 真のマージンは深さとともに単調に増加します。LLaVA の場合、「サイレントフェーズ」は 21 層まで続き、24 層でピークに達します。PaliGemma はより早期に統合され（14 層でピーク）、Qwen2-VL は周期的な再分離を示します。
• MLP の優位性： 真のマージンの成長は主にMLP による書き込み（マージン成長の 47.6% から 82.1%）によって駆動され、アテンションによる書き込みではありません。これは、信頼性がアテンションマップの空間的整合性ではなく、語彙空間における潜在概念の促進に依存していることを示唆しています。
• 予測力： 単一の隠れ状態線形プローブは、LLaVA と Qwen2-VL において POPE でAUROC > 0.95を達成し、アテンションベースのメトリクス（AUROC $\approx$ 0.50）を大幅に上回ります。

3. 構造的堅牢性の非対称性

信頼性回路の位置と分布は、アーキテクチャによって著しく異なります。

• 後期融合（LLaVA）： 信頼性は脆弱な後期ボトルネックに集中しています。最終層でプローブ選択されたトップ 5 のニューロンをアブレートすると、物体識別精度が 8.3 ポイント低下します。シグナルはスパースで局所的です。
• 早期融合/周期的（PaliGemma、Qwen2-VL）： 信頼性は広く分散しています。これらのモデルは、ピーク層の隠れ次元の約 50% を破壊しても、1 ポイント以下の劣化で吸収します。PaliGemma のより早期の統合と Qwen2-VL の周期的な洗練は、シグナルを多くの層に分散させ、単一ユニットの損傷に対しては堅牢ですが、ニューロンレベルの解釈に対してはより不透明にします。

4. 予測子の比較

• 隠れ状態プローブ： 最強の単一パス内部シグナル（LLaVA/Qwen2-VL で AUROC > 0.95）。
• 自己一貫性： 最強の行動的予測子（$R_{pb}=0.43$）ですが、10 倍の推論コストが必要です。
• アテンションマップ： 統計的に無情報（AUROC $\approx$ 0.50）。

意義と主張

本論文は、アテンションの鋭さが信頼シグナルとして認識論的に誤解を招くことを実証し、アテンション・コンフィデンス仮説を反証すると主張します。著者は以下を論じています：

1. アテンションは信頼性とは異なる問いに答える： それはどの特徴が検索されたかを示すが、それらの特徴が正しく解釈されるかどうかは示さない。
2. 信頼性は後期で MLP によって駆動される現象である： 正解と誤答を区別する計算は残差ストリームの後期で発生し、MLP 操作によって支配される。
3. モニター設計への示唆：
   • アテンションヒートマップの置換： 安全性が重要な展開では、信頼の主要シグナルとしてアテンションマップに代わり、隠れ状態プローブを使用すべきである。
   • アーキテクチャ固有性： モニターはモデルアーキテクチャに合わせて調整される必要がある。後期融合スタック（LLaVA など）はスパースで脆弱な後期層回路に依存するのに対し、早期融合スタックは信頼性を分散させるため、高密度な読み出しが必要である。
   • コスト・ベネフィットのトレードオフ： 自己一貫性は強力な予測子であるが、その推論コストにより、低遅延アプリケーションでは隠れ状態プローブが好ましい解決策となる。

著者は、「信頼としてのアテンション」という快適だが実証的に反証されたメタファーを、隠れ状態と一貫性に基づく信頼性モニターに取って代わるべきであると結論付けています。