テクニカルサマリー：学習不要なVLMハルシネーション軽減のためのスペクトルQ-K積重みステアリング

問題提起

視覚言語モデル（VLM）は、入力画像に存在しないオブジェクトを含む流暢な記述を生成してしまう「オブジェクト・ハルシネーション（物体幻覚）」に頻繁に陥ります。この問題は、視覚的な証拠と、事前学習中に学習された強力な視覚言語プライア（例：物体の共起パターン）との間の競合に起因します。これらのプライアが支配的になると、モデルはもっともらしいが視覚的には裏付けのない出力を生成します。既存の軽減策は、主に以下の2つのカテゴリに分類されます：

1. 学習ベースの手法： 追加のデータ、教師あり学習、および多大な計算資源を必要とする（例：指示チューニング、選好最適化）。
2. 推論時の介入： デコーディングプロセスを修正する（例：コントラスティブ・デコーディング、ロジット調整、アテンション再重み付け）。これらは生成の各ステップにおいて計算オーバーヘッドを導入する。

本研究では、標準的なデコーディングパスを変更したり、ファインチューニングを必要としたりすることなく、ハルシネーションを軽減する、データ不要、学習不要、かつ推論コストゼロのソリューションを求めています。

手法：QK積ステアリング

著者らは、ハルシネーションを誘発するパターンを抑制するために、モデルの内部アテンション機構を直接修正するワンショットの重み編集手法である**QK積ステアリング（QK Product Steering）**を提案しています。

コアメカニズム

本手法は、プリソフトマックス・アテンション・ロジットを生成する双線形演算子であるQuery-Key (QK) 積 ($M_h = W_{q,h}^\top W_{k,g}$) を対象としています。仮説として、この積の支配的な特異モード（singular modes）が、「一般的な視覚言語プライア」をエンコードしており、それが視覚的証拠を圧倒していると考えています。

プロセスは以下の3つの主要なステップで構成されます：

1. スペクトル解析と抑制：

   • 選択された中間層のアテンションヘッドに対して、QK積のシン・SVD（thin Singular Value Decomposition）を計算します。
   • トップ$k$の支配的な特異モード（高エネルギーのアテンション方向を表すもの）を特定します。
   • これらのモードを係数 $\alpha$ で減衰（ダンピング）させ、これにより、特定のプライア駆動型の方向の影響を効果的に減少させます。
   • 編集は、相互のコンテンツ類似性パターンを捉えるQK積の対称成分 ($S_h$) に対して行われます。一方、反対称成分 ($\Omega_h$) はほとんど手を加えないか、あるいはハルシネーションへの関連性が低いと判断されます。

2. GQAセーフなクエリ回復：

   • 現代のVLMは多くの場合、複数のクエリヘッドが単一のキー/バリューヘッドを共有するGrouped-Query Attention (GQA) を使用しています。共有されているキーの重みを直接編集することは、複数のヘッドに影響を与えるためリスクがあります。
   • 共有キーの重み ($W_k$) を保持するために、本手法は、編集されたQK積 ($M_h^\star$) を実現するための、最小限のクエリ重み ($W_q$) の更新を解く制約付き最適化問題を解きます。
   • これは、リッジ安定化された閉形式の更新によって達成されます：
     $$\Delta W_{q,h} = (W_{k,g}W_{k,g}^\top + \lambda I)^{-1} W_{k,g} \Delta M_h^\top$$
   • これにより、編集がGQAアーキテクチャと互換性を持ち、推論手順を変更しないことを保証します。

3. レイヤー選択：

   • 本手法はネットワークの中間層をターゲットにします。経験的な分析により、初期層はランクが集中しすぎており（編集すると生成が崩壊する）、後層はハルシネーションへの影響が不十分であることが示されています。中間層は、支配的なモードが全演算エネルギーのごく一部を構成する、「外科的」な介入ポイントを提供します。

対称成分 vs 反対称成分の分解

著者らは、QK積を対称成分 ($S_h$) と反対称成分 ($\Omega_h$) に分解しています。

• 対称成分 ($S_h$): 相互のコンテンツ類似性（相互アテンション）を捉えます。
• 反対称成分 ($\Omega_h$): 方向性のあるアテンションパターンを捉えます。
• 知見: ハルシネーション信号は主に対称チャネルに局在しています。対称モードを減衰させることはハルシネーションを減少させますが、反対称モードを減衰させてもハルシネーションは減少せず、一般的な能力を低下させる可能性があります。

主な貢献

1. QK積ステアリング： QK積のワンショット編集を通じてオブジェクト・ハルシネーションを軽減する、新しいデータ不要・学習不要の重み編集手法。
2. GQA互換の投影： 共有キーの重みを固定したまま、編集されたQK積を実現する、クエリのみの閉形式の更新メカニズム。これにより、現代的なGQAベースのVLMへの適用が可能になります。
3. メカニスティックな解釈可能性： 対称/反対称分解とアブレーション研究を通じて、ハルシネーションが支配的なQKモードに特有であり、主に（対称的な相互アテンションチャネルによって）駆動されていることを実証しています。

実験結果

本手法は、3つのGQAベースのVLM（Qwen2.5-VL-7B、InternVL3-8B、Pixtral-12B）で評価されました。

• ハルシネーションの減少： すべての3つのモデルにおいて、QK積ステアリングは平均で4.0%の相対的なCHAIRs削減を達成しました。
  • Qwen2.5-VL-7Bでは、CHAIRsが31.44（ベースライン）から28.56に低下しました。
  • InternVL3-8Bでは、CHAIRsが33.81から33.23に低下しました。
  • Pixtral-12Bでは、CHAIRsが34.14から33.81に低下しました。
• コントロール実験：
  • ランダムモード・コントロール： ランダムな特異モード（ランクを一致させたもの）を減衰させると、変化は無視できる程度でした。これは、効果が任意の低ランク摂動ではなく、支配的なモードに特有であることを裏付けています。
  • 対称 vs 反対称： 対称チャネルのみを編集することで、ハルシネーション減少の大部分を捉えました。反対称チャネルのみを編集してもハルシネーションは減少しず、むしろ他のベンチマークでの性能を低下させることがありました。
• 能力の維持： 一般的なマルチモーダル能力（MMEおよびMMMUで測定）は、ランダムコントロールのノイズ範囲内で概ね維持されました。唯一の系統的な能力コストは、特定の構成におけるPixtral-12Bで観察されており、これはハイパーパラメータのチューニングによって管理可能なトレードオフであることを示唆しています。
• アブレーション：
  • レイヤーの感度： 中間層の編集のみが、生成の崩壊（初期層）やハルシネーションへの影響不足（後層）を招くことなく、ハルシネーションを減少させることができました。
  • 減衰強度： トップモードを完全に除去する $\alpha=1$ かつ $k=3$ 個のモードを用いた設定が、ハルシネーションの減少と能力維持の最適なバランスを提供しました。

意義と主張

本論文は、QK積ステアリングがデコーディング時の介入に対する実用的な代替案であることを主張しています。その意義は以下の通りです：

• 推論コストゼロ： コントラスティブ・デコーディングのようにデコーディングを変更する手法とは異なり、この手法はモデルの重みを一度だけ変更するため、推論中の標準的な貪欲デコーディングパスを完全に変えることなく利用できます。
• 学習オーバーヘッドなし： 追加のデータ、ファインチューニング、または選好最適化を必要としません。
• メカニスティックな洞察： ハルシネーションの明確なメカニズム的説明を提供し、それが支配的な対称アテンションモード（一般的なプライアをエンコードするもの）の結果であることを特定しました。これらのモードを外科的に減衰させることで、モデルの一般的な計算能力を維持しながら、プライア駆動型の振る舞いを弱めることができます。
• スケーラビリティ： 本手法は軽量であり、GQAのような現代的で効率的なアーキテクチャとも互換性があります。

著者らは、本手法はモデルの根本的な知覚を改善したり新しい視覚的知識を追加したりするものではないものの、アテンション機構を学習されたプライアへの過度な依存から逸らすことで、オブジェクト・ハルシネーションという特定の失敗モードを効果的に軽減できると結論付けています。