技術要約: HEAL – MLLMのハルシネーションに対する、ヘッドレベルの情報分離とキャリブレーション

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、流暢ではあるものの視覚的コンテキストと事実が一致しない応答を生成する**ハルシネーション（幻覚）**に頻繁に陥ります。この問題は、医療画像のような高精度な領域への導入を妨げる要因となります。既存の緩和戦略には、主に2つの限界があります：

• マクロレベルのアプローチ（例：再学習、ファインチューニング、強化学習）は、モデルをブラックボックスとして扱い、内部メカニズムに関する解釈性を欠いています。
• マイクロレベルのアプローチ（例：デコーディング最適化、アテンション強化）は、アテンション重みやFFNの活性化といった間接的な信号に依存することが多いです。これらは、実際の因果的な情報分布や、交絡的な相乗効果を捉えることができません。さらに、単一モーダルへのアテンション強化は、「シーソー」のジレンマを生み出します。つまり、視覚的アテンションを強化すると創造的な応答が抑制され、言語への過度な依存は視覚的ハルシネーションを悪化させます。

本論文は、現在の手法が、特に視覚と言語のモダリティ間の相互作用における、ハルシネーション生成の根底にある実際の情報のシフトを正確に反映できていないと断じています。

2. 手法: HEAL

著者らは、アテンションヘッド内の情報分布を分析・制御することで、ハルシネーションを特定し緩和するために設計された、トレーニング不要の推論時フレームットワークであるHEAL（Head-lEvel information disentAnglement and caLibration）を提案します。この手法は、3つのコアステージで構成されます。

A. 因果的ノイズ介入（冗長なヘッドのフィルタリング）

重要でないヘッドを特定するために、HEALは因果的ノイズ介入を採用しています。投影重みに頼る代わりに、特定のアテンションヘッド $i$ の出力を分布一致させたガウスノイズに置き換え、ベクトル類似度を用いて層の表現の変化を測定します。

• 因果的な寄与が無視できるヘッド（情報寄与スコア $I(t,l,i)$ が統計的閾値 $\mu - 3\sigma$ を下回るもの）は、因果的に冗長であると分類され、以降の分析から除外されます。

B. カウンターファクチュアル（反事実的）差分による差の差分析（ヘッドの分類）

残りの非冗長なヘッドに対して、HEALは**部分情報分解（PID）**理論を利用して情報分布を分離します。ガウスノイズを用いて、視覚トークン、言語トークン、その両方、あるいはどちらもマスクした4つの反事実的な入力を構築することで、以下の値を算出します：

1. 全情報 ($I_{total}$): 完全な入力と完全にマスクされた入力の差。
2. 言語情報 ($I_{lang}$): 視覚トークンがマスクされた際の二次差分から導出。
3. 視覚情報 ($I_{vis}$): 言語トークンがマスクされた際の二次差分から導出。
4. 相乗効果 ($I_{syn}$): 残差となる相互作用項 ($I_{total} - I_{vis} - I_{lang}$)。

これらの指標に基づき、ヘッドは以下の4つのタイプに分類されます：

• 冗長なヘッド (Redundant Heads): 全情報が無視できる程度に低い。
• 視覚的ヘッド (Visual Heads): 高い視覚情報、低い/負の言語情報。
• 言語的ヘッド (Language Heads): 高い言語情報、低い/負の視覚情報。
• 相乗的ヘッド (Synergy Heads): 両方のモダリティからの正の寄与。これらはさらに視覚・言語比率について分析されます。

C. 動的な情報キャリブレーション

HEALの核心的な洞察は、ハルシネーションは単なる視覚または言語ヘッドの不足によって引き起こされるのではなく、相乗的ヘッドにおける情報分布が健全な平衡状態から逸脱したときに発生するという点にあります。

• 平衡因子 ($\alpha$): 目標とする視覚・言語のバランスを定義するために、温度パラメータに類似したハイパーパラメータが導入されます。
• キャリブレーション機構: 推論中、HEALは相乗的ヘッド内の視覚および言語トークンのバリューベクトルに対して、動的にキャリブレーション係数 $\beta$ と $\gamma$ を計算します。これらの係数は、情報分布を目標とする $\alpha$ へと再配向させます：
  $$\frac{\beta I_{vis}}{\beta I_{vis} + \gamma I_{lang}} = \alpha$$
• 実装: このキャリブレーションは、KVキャッシュの更新後、かつアテンションカーネルの前において、バリューベクトル ($V_{vis}, V_{lang}$) に適用されます。これにより、内部の実装を乱すことなく、FlashAttentionやPagedAttentionとの互換性を確保しています。

3. 主な知見と観察

LLaVA-NeXTやQwen3-VLなどのモデルを用いた広範な分析を通じて、著者らは以下のことを観察しました：

• 相乗的ヘッドのドリフト: ハルシネーションは、特定のモダリティ（視覚/言語）のヘッドの量や強さではなく、相乗的ヘッド内での情報分布のドリフトと因果関係があります。
• 動的なフェーズ遷移: アテンションヘッドの役割は非常に動的です。生成プロセス中、ヘッドはタスク駆動型のフェーズ遷移（例：相乗的ヘッドが言語中心のトークンに対して言語的ヘッドへと戻る現象）を起こします。
• 因果関係: 双方向の因果分析により、正しい応答において視覚情報を人工的に減少させるとハルシネーションが誘発され、逆にハルシネーションが発生している応答において視覚情報を増加させるとそれが緩和されることが確認されました。

4. 実験結果

HEALは、複数のMLLM（LLaVAシリーズ、Qwenシリーズ、InternVLシリーズ）およびベンチマーク（POPE, CHAIR, MME, LLaVA-Bench, MMHal-Bench, BLINK-Twice）を用いて評価されました。

• ハルシネーションの低減: HEALは、既存の最先端のトレーニング不要な手法（EAH, VCD, OPERA, TAMEなど）を一貫して上回りました。POPEベンチマークにおいて、HEALはF1スコア 87.7（ベースラインの85.4に対し）を達成し、CHAIRスコア（ハルシネーション率）を大幅に減少させました。
• 汎用能力: 一般的な推論能力を低下させる他の手法とは異なり、HEALはMMEやLLaVA-Benchのような包括的なベンチマークにおいて性能を向上させました。これは、ハルシネーションを減らすことが、言語的な一貫性や推論能力を犠牲にする必要がないことを示しています。
• 効率性: HEALは反事実的分析による計算オーバーヘッドを伴いますが、周期的な更新（10ステップごと）と並列化されたテンソル演算を利用することで、他のアテンションヘッド・キャリブレーション手法（例：EAHより1.58倍高速）よりも効率的です。

5. 重要性と主張

本論文は、以下の貢献と意義を主張しています：

• 新たな解釈性: HEALは、間接的なアテンション重みを超えて、実際の情報分布という観点から、MLLMの内部構造に対する微細なヘッドレベルの解釈可能なレンズを提供します。
• 因果的洞察: ハルシネーションは単に視覚的アテンションが不足しているためではなく、相乗的ヘッドにおける視覚・言語情報の不均衡が因果的に介入可能な要因であることを特定しました。
• 理論的裏付け: 本手法は、バリュー空間のキャリブレーションが情報分布のキャリブレーションと同等であること、および平衡因子が出力のアライメントに対して単調な方向的効果をもたらすことを証明する定理によって支持されています。
• 実用的有用性: HEALは、再学習を行うことなく、モデルの信頼性を高めるためのシンプルでプラグアンドプレイな経路を提供し、言語的な流暢さを維持しながら出力を事実に基づいた証拠へと効果的に誘導します。

著者らは、HEALは既存の内部表現に基づいて動作するため、初期の視覚エンコーディングの失敗や、入力における視覚的証拠の根本的な欠如に起因するハルシネーションを解決することはできないという限界も認めています。今後の課題として、適応的なキャリブレーション・ポリシーや、モデル学習とのより緊密な統合の探索が示唆されています。