論文要約：Scalpel — 混合ガウスブリッジによる注意機構活性化多様体の微細な整合を通じたマルチモーダル・ハルシネーションの軽減

1. 背景と問題意識 (Problem)

大規模視覚言語モデル（LVLM）は、画像とテキストの高度な理解能力を持つ一方で、生成されたテキストが画像の内容と矛盾したり、存在しない要素を捏造したりする**「ハルシネーション（幻覚）」**という深刻な課題を抱えています。

この問題の主な原因は以下の2点に集約されます：

1. 言語バイアス: 事前学習済みのLLMが持つ強力な言語的先験知識（Prior）に過度に依存してしまうこと。
2. アテンションの不整合: モデルが画像内の無関係なトークンやシステムトークンに過剰に注意（Attention）を向けてしまうこと。

既存の対策には、追加学習を伴う強化学習（RL）や、推論時の対照的デコーディング（Contrastive Decoding）がありますが、前者は計算コストが膨大であり、後者は推論の遅延や効果の限定性が課題でした。

2. 提案手法 (Methodology)

本論文では、学習不要（Training-free）かつプラグアンドプレイな手法である**「Scalpel」**を提案しています。Scalpelの核心は、Transformer内のアテンション活性化（Attention Activation）の分布を、信頼できる領域へと動的に修正することにあります。

A. 活性化多様体のモデリング (Modeling Manifolds)

まず、モデルの内部状態を解析し、以下の2つの「多様体（Manifold）」を**混合ガウスモデル（GMM）**を用いてモデル化します。

• 信頼できる多様体 (Trusted Manifold): 正解の画像とQAペアから抽出された、正しいアテンション活性化の分布。
• ハルシネーション多様体 (Hallucinated Manifold): 画像の摂動（ノイズ付加や特定オブジェクトの削除）によって意図的に生成させた、誤ったアテンション活性化の分布。

B. シュレディンガー・ブリッジによる最適輸送 (Optimal Transport via Schrödinger Bridge)

ハルシネーション状態の活性化を、最小限の修正で信頼できる状態へと導くため、エントロピー最適輸送（EOT）、すなわち**シュレディンガー・ブリッジ問題（SBP）**を解きます。

• 単なる固定方向への修正ではなく、GMMの各成分（Component）間の最適な移動経路（パス）を計算します。
• これにより、モデルが持つ知識や視覚言語の整合性を壊すことなく、エネルギー（修正量）を最小限に抑えた「最も自然な修正方向」を導出します。

C. 動的な介入 (Dynamic Intervention)

推論時、各トークンの生成ステップにおいて以下のプロセスを実行します：

1. ヘッドの選別: ロジスティック回帰プローブを用いて、ハルシネーションを識別する能力が高い「重要なアテンション・ヘッド」を特定します。
2. 成分の特定: 現在の活性化ベクトルが、ハルシネーションGMMのどの成分に属するかを判定します。
3. 修正の適用: 特定された成分に対応する「信頼できる成分」への転送ベクトルを計算し、介入強度（Confidenceに基づく動的な係数）を乗じてアテンション出力を補正します。

3. 主な貢献 (Key Contributions)

• 微細な制御 (Fine-grained Control): 従来の「ヘッド全体を固定方向に動かす」手法とは異なり、トークン単位・成分単位でのカスタマイズされた修正を実現しました。
• 学習不要・低コスト: 追加のモデルトレーニングを必要とせず、推論時の単一のデコーディングステップのみで動作するため、計算オーバーヘッドが極めて小さいです。
• 階層的な修正: 画像レベル（全体的な整合性）とオブジェクトレベル（特定の物体への正確な注視）の両面から介入を行うことで、高い精度を実現しました。

4. 実験結果 (Results)

LLaVA-1.5およびQwen2.5-VLを対象とした広範な実験により、以下の成果が示されました。

• ベンチマーク性能: POPE（物体存在確認）において、既存のSOTA手法（ICT, VCD, OPERA等）を大幅に上回る精度を達成しました。特に、難易度の高い「Adversarial（敵対的）」なケースにおいて顕著な改善が見られました。
• MMEベンチマーク: 存在確認、位置特定、計数、色認識、常識推論といった多角的なタスクにおいて、Vanillaモデルと比較して大幅なスコア向上を確認しました。
• 定性的評価: 視覚的な手がかり（例：ケーキのカット跡など）を正確に捉え、空間配置や物体の重なり（遮蔽）に関する推論が劇的に改善されました。

5. 意義 (Significance)

Scalpelは、LVLMの内部メカニズム（アテンションの挙動）を数学的に深く理解し、それを制御可能な形で介入できることを示しました。この手法は、モデルの知識容量を損なうことなく、推論時のみに「外科手術（Scalpel）」のように精密な修正を加えることが可能であり、信頼性が求められる医療や自動運転などの重要領域におけるLVLMの活用に向けた大きな一歩となります。