技術要約: ADAPT (Attention Dynamics Alignment with Preference Tuning)

問題提起

マルチモーダル大規模言語モデル（MLLM）は、入力画像と一致しない説明や回答を生成してしまう**ハルシネーション（幻覚）**に頻繁に陥ります。既存の緩和戦略は、推論時のトークンレベルの確率操作（例：コントラスティブ・デコーディング）や、学習時の目的関数による出力分布の整合（例：RLHF、DPO）といった、結果主導の調整に焦点を当てていますが、これらは失敗を駆動する内部メカニズムを大きく見落としています。

本論文は、ハルシネーションの決定的な内部シグネチャとして、生成過程におけるテキストと画像のクロスアテンション（text-to-image cross-attention）の漸進的な劣化を特定しています。著者らは、生成が進むにつれて、モデルのアテンションが初期の視覚的に根ざした状態から、後期の事前知識（プライア）が支配的な状態へと移行することを観察しています。この劣化は、以下の3つの具体的な失敗パターンとして現れます。

1. ドリフトとバイアス（Drift and Bias）: アテンションがテキストに関連する視覚的証拠から離れ、焦点がぼやける（拡散する）、あるいは空間的に偏る（無関係な領域に集中する）ようになります。
2. 応答性の低下（Reduced Responsiveness）: 新しいトークンが生成されるにつれて、クロスアテンションの変化率が減少します。これは、後続のコンテキストのために視覚的証拠を再特定する能力が損なわれていることを示しています。
3. 値の減衰（Value Decay）: レイヤーを追うごとに視覚的トークンに割り当てられるアテンションの値が大幅に低下し、視覚的な制約が弱まり、言語的な事前知識が支配的になることを許してしまいます。

その結果、長文生成の後期段階ほど、ハルシネーションが発生する確率が高くなります。

手法: ADAPT フレームワーク

これらの内部ダイナミクスに対処するため、著者らは、3つの相乗的なステージを通じてクロスアテンションのダイナミクスに直接介入するフレームワークである ADAPT (Attention Dynamics Alignment with Preference Tuning) を提案しています。

1. クロスアテンション・ビジュアル・エンハンス（推論前）

最初のステップでは、生成の初期の接地された段階（最初の $K$ トークン）から、信頼できるクロスアテンション・ビジュアル・アンカー ($A_{anchor}$) を構築します。生のクロスアテンションはノイズが多く、「アテンション・シンク」（内容に依存しない位置バイアス）が生じやすいため、著者らは3つの補完的な基準を用いてマルチレイヤーのアテンションマップを精緻化します。

• 一貫性と滑らかさ（Consistency & Smoothness）: 高周波エネルギー比と逆全変動（Inverse Total Variation, TV）正則化を用いて定量化し、ノイズが多く断片的な活性化を抑制します。
• 焦点（Focus）: シャノンエントロピーによって測定され、オブジェクトレベルの焦点とグローバルな焦点のバランスを取るために、クエリのセマンティクスに基づいて動的に調整されます。
• 空間バイアス補正（Spatial Bias Correction）: ノイズ画像を用いてアテンションマップを平均化することで、内容に依存しない位置的な事前知識を特定し、それを抑制するためのデバイアス・マスクを導出します。

得られたアンカーは、ダウンストリームの監督のための安定したクエリ関連のリファレンスとして機能し、フル生成が始まる前に視覚的な接地性を高めるための「アンカー誘導型」画像を作成するために使用されます。

2. アテンション監視推論（推論時）

デコーディング中、フレームワークは現在のクロスアテンション分布 ($A_t$) と、事前に計算されたアンカー ($A_{anchor}$) との忠実度を監視します。

• 検出: **アンカー変調集中（Anchor-Modulated Concentration, AMC）**インデックス ($S_{AMC}$) が計算され、アライメントを測定します。$S_{AMC}$ が閾値 $\tau$ を下回った場合、アテンションのドリフト（焦点の喪失またはバイアス）が発生したことを示します。
• 補正: ドリフトが検出された際、スパースな補正ステアリング演算子がアテンション・ロジットに適用されます。この演算子は、厳格で固定されたターゲットを強制することなく、アテンションをアンカーと一致する領域へと再重み付けし、モデルを言語的な事前知識から効果的に引き戻します。

3. ビジュアル・アテンション・ガイダンス DPO（学習時）

モデルの固有の好みを視覚的証拠に適合させるため、著者らは VAG-DPO を導入しています。テキストの応答を対比させる標準的なDPOとは異なり、VAG-DPOは異なる視覚的証拠条件下での応答を対比させます。

• 選択されたサンプル（Chosen Sample）: 事実に基づいた応答に対し、（アンカーから派生した）視覚的に強化された画像をペアリングし、正しいトークンと顕著な視覚的証拠との結びつきを強化します。
• 拒絶されたサンプル（Rejected Sample）: ハルシネーションを含む応答に対し、ノイズ画像をペアリングし、モデルが根拠のないコンテンツに対して高い確信度を持たないようにする「ブラインド」条件を作り出します。

この目的関数は、言語的な事前知識のみに基づいた高確信度のハルシネーション生成を明示的に罰します。

主な貢献

1. 診断的洞察: 本論文は、2段階のアテンション劣化プロセス（視覚的接地から事前知識支配へ）を体系的に明らかにし、ハルシネーションに関連する3つの具体的な失敗パターン（ドリフト、応答性の低下、値の減衰）を特定しました。
2. 精緻化メカニズム: 3つの補完的な基準（スペクトル、滑らかさ、焦点）と明示的な空間バイアス補正を用いて、クロスアテンションを信頼できるアンカーへと精緻化する新しい手法を提示しました。
3. 統合フレームワーク: 推論時のオンライン・アテンション・ドリフト補正と、学習時の視覚的アテンション・ガイダンスによる選好アライメントを組み合わせた、ADAPTのデザインを提案しました。
4. 実証的検証: 主要なバックボーン（LLaVA, Qwen-VL）において、一般的なマルチモーダル能力を維持しつつ、ハルシネーション率を 40–60% 低減することを包括的な実験で示しました。

実験結果

著者らは、4つの主要なハルシネーション・ベンチマーク（Obj-Hal (Chair metrics), AMBER, MM-Hal, POPE）でADAPTを評価しました。

• パフォーマンス: フル版のADAPTは、すべてのベンチマークとバックボーンにおいて最先端（SOTA）の結果を達成しました。例えば、LLaVA-v1.5-7Bモデルにおいて、Chairスコアを7.8から3.8へ、AMBERのHalスコアを36.4から15.2へと減少させました。
• 効率性: 学習不要のバリアント（ADAPT-TF）単体でも、多くの高度な手法を上回る性能を示しました。フルフレームワークを導入しても、ベースラインと比較して実行時間のオーバーヘッドはわずか 1.42倍 であり、OPERA（7.20倍）のような他の推論時介入手法よりも大幅に効率的です。
• 汎用性: 本手法は異なるモデルファミリー（LLaVAおよびQwenの7Bおよび13Bバリアント）間で強い汎用性を示し、バニラなDPOと比較して最小限の劣化で一般的なマルチモーダル能力（MME, MMBench）を維持しました。
• グラウンディング: 精緻化されたビジュアル・アンカーは、ローカリゼーションタスク（RefCOCO/RefCOCOg）において優れた性能を示し、ベースラインのCLIPや他のアテンションベースの手法よりも高いAccuracyおよびmIoUを達成しました。

重要性と主張

本論文は、ADATがハルシネーションの緩和に対する新しいアテンションベースの視点を提供すると主張しています。出力の操作という「結果主導」の制御から、内部のテキスト・画像間クロスアテンションの挙動への焦点の移行により、著者らは、ハルシネーションが単にトレーニングデータの不足やデコーディング戦略の結果ではなく、アテンションのダイナミクスが時間の経過とともに劣化することによる帰結であることを証明しています。

本研究の重要性は以下の点にあります：

• メカニズムに基づく介入: 「ブラックボックス」的な出力チューニングを超え、モデルの内部アテンションメカニズムに直接介入すること。
• 相乗的な設計: 推論時の監視と学習時の選好チューニングを組み合わせることが、どちらか一方のアプローチよりも優れた結果をもたらすことを示したこと。
• 実用性: ハルシネーションの削減において非常に効果的でありながら、実用的なデプロイメントが可能なほど計算効率が高いソリューションを提供していること。

著者らは、内部のアテンション・ダイナミクスを探索し修正することが、より忠実なMLLMを構築するための実用的かつ効果的な道筋であると結論付けています。