技術概要：SAVAA – 段階的適応視覚注意増幅による LVLM における幻覚の軽減

1. 問題定義

大規模視覚言語モデル（LVLM）は、視覚入力と矛盾するコンテンツを生成する幻覚に頻繁に悩まされています。自己回帰生成における主要な原因は、視覚的証拠が十分に活用されていない場合に、モデルが言語事前分布に過度に依存することです。

最近の学習不要なアプローチは、総称して視覚注意増幅（VAA）と呼ばれ、単一のフォワードパス中に視覚トークンに割り当てられた注意重みを増幅することで、この問題を軽減しようとしています。しかし、既存の VAA 手法は、すべての生成ステップで固定された増幅係数を採用しています。著者らは、この静的なアプローチに内在する二重の失敗パターンを特定しました：

1. 増幅不足： 特定のステップにおいて、固定された係数は既存の幻覚を解消するには弱すぎる。
2. 増幅過多： 他のステップにおいて、同じ係数は強すぎて、元の出力には存在しなかった新たな幻覚を導入する。

この現象は、適切な視覚注意のレベルが、生成されている特定のトークンと、モデルの現在の不確実性およびグラウンディングの状態に応じて動的に変化するため、発生します。

2. 手法：SAVAA

本論文は、推定された幻覚リスクに基づいて各生成ステップで視覚増幅係数を動的に較正するフレームワークである**段階的適応視覚注意増幅（SAVAA）**を提案します。

2.1 視覚グラウンディングエントロピー（VGE）

リスクに導かれた較正を可能にするため、SAVAA は軽量な幻覚リスク推定機を必要とします。著者らは、標準的な予測エントロピーに視覚グラウンディング信号を組み合わせた**視覚グラウンディングエントロピー（VGE）**を導入します。

• 予測エントロピー（$\bar{H}_t$）： 出力ロジットに基づいたモデルの不確実性を測定します。しかし、エントロピー単独では、モデルが非常に自信を持っているが画像とのグラウンディングが弱い場合（すなわち、「自信過剰な幻覚」）には機能しません。
• 視覚グラウンディングスコア（$G_t$）： プリフィリング段階で計算され、グラウンディングベクトル $G$ は視覚トークンの語彙ロジットをプーリングすることで構築されます。予測トークン $v^*_t$ に対して、グラウンディングスコア $G_t$ は、そのトークンを支持する視覚的証拠の強さを表します。
• VGE の計算： リスクスコアは、重み付き組み合わせとして定義されます：
  $$VGE_t = \alpha \bar{H}_t + (1 - \alpha)(1 - G_t)$$
  ここで、$\alpha$ は不確実性とグラウンディングのバランスを取ります。VGE が高いほど、トークンが不確実であるか、グラウンディングが弱い、またはその両方であることを示します。

2.2 段階的適応 VAA 係数の較正

SAVAA は、1 ステップ遅延の較正メカニズムを利用します。リスク $r_t$ は、現在のステップ $t$ のロジットから計算されますが、次のステップ $t+1$ に対する増幅係数の較正に使用されます。

• リスク正規化： VGE は、リスクスコア $r_t \in [0, 1]$ に正規化されます。
• 係数の較正： ステップ $t$ に対する視覚増幅係数 $m_t$ は、以下のように計算されます：
  $$m_t = 1 + (m_{vis}^{max} - 1) \cdot r_{t-1}$$
  前のステップのリスクが低ければ、$m_t \approx 1$（介入なし）となります。前のステップのリスクが高ければ、$m_t$ は増加し、現在のステップに対してより強い視覚増幅を適用します。

2.3 テキスト注意抑制

強力な視覚増幅下でも残存する幻覚（多くの場合、言語事前分布に起因する）に対処するため、SAVAA は補完的なテキスト注意抑制メカニズムを組み込んでいます。

• このメカニズムは、入力テキストトークンに割り当てられたソフトマックス前の注意スコアを、固定係数 $m_{txt}^{max}$ によって抑制します。
• 適応的な視覚係数とは異なり、この抑制は静的で軽量であり、段階的なリスク推定を必要とせずに言語事前分布の相対的な影響を減らすように設計されています。

2.4 全体ワークフロー

1. プリフィリング： 視覚グラウンディングベクトル $G$ を 1 回計算します。
2. 生成ループ：
   • 前のステップからのリスク $r_{t-1}$ に基づいて、VAA 係数 $m_t$ とテキスト抑制係数を計算します。
   • ソフトマックス前の注意スコアを調整します：視覚トークンを $m_t$ 倍に増幅し、テキストトークンを $1/m_{txt}^{max}$ 倍に抑制します。
   • 次のトークンを生成します。
   • 次のイテレーション用に VGE を用いて新しいリスク $r_t$ を計算します。

3. 主要な貢献

1. 二重の失敗パターンの特定： 既存の VAA 手法における固定増幅係数は、生成ステップやモデルアーキテクチャによって変動し、増幅不足（幻覚の未解決）と増幅過多（新たな幻覚の導入）の両方を引き起こすことを示しました。
2. SAVAA フレームワーク： **視覚グラウンディングエントロピー（VGE）**を用いて段階的に幻覚リスクを推定し、増幅係数を適応的に較正する新しい VAA フレームワークです。
3. 補完的なテキスト抑制： 視覚増幅と連携して動作し、残存する言語事前分布の支配に対処するための軽量なテキスト注意抑制メカニズムの導入です。
4. 実証的検証： 3 つの多様な LVLM（LLaVA-NeXT-7B、Qwen3-VL-8B、InternVL3.5-8B）と複数のベンチマーク（CHAIR、SHR、AMBER、POPE）にわたる包括的な評価により、最先端のベースラインに対して一貫した改善を示しました。

4. 実験結果

SAVAA は、標準的な幻覚ベンチマークで評価されました：

• CHAIR： SAVAA は 3 つのモデルすべてで最良の CHAIRs（文レベル）および CHAIRi（インスタンスレベル）スコアを達成し、生成品質を犠牲にすることなく（F1 スコアはバニラモデルと同程度）、幻覚を大幅に削減しました（例：InternVL3.5-8B において CHAIRs を 7.00 ポイント削減）。
• SHR： SAVAA は 4 つの指標（HSR、HWR、HSPI、HWPI）すべてでベースラインを上回り、文レベルおよび単語レベルの幻覚の両方を削減する効果を示しました。
• AMBER： SAVAA は、コンテンツのカバレッジ（Cover）を高く維持しながら、最低の幻覚率（Hal）を達成し、軽減と意味的完全性の間の望ましいトレードオフを示しました。
• POPE： 識別タスクにおいて、SAVAA は元のモデルの有用性を維持し、バニラベースラインと同等の精度および F1 スコアを達成しましたが、生成タスクに比べると改善は modest（穏やか）でした。
• 効率性： SAVAA は、バニラモデルと比較して推論時のオーバーヘッドがわずかなものにとどまります。VGE は追加のフォワードパスを必要とせず（グラウンディングベクトルは 1 回計算されるのみ）であり、較正ロジックは軽量であるためです。

5. 意義と主張

本論文は、SAVAA が、静的でヒューリスティックに基づく視覚増幅から、リスクに導かれた段階的注意較正への転換を表すと主張しています。異なる生成ステップにおける視覚グラウンディングの必要性の変動を明示的にモデル化することで、SAVAA は固定係数手法の限界に対処します。

著者らは、SAVAA を、オープンエンド生成タスクにおける LVLM の事実的信頼性を向上させるために、推論時に展開可能な実用的で学習不要なソリューションとして位置付けています。彼らは、この手法がモデル固有のハイパーパラメータに依存し、オープンエンド生成に比べて単一トークン識別タスクではより穏やかな利益しか得られないという限界を認めています。この研究は、将来の方向性として、より適応的な較正戦略や、閉形式予測設定への手法の拡張を含む可能性を示唆しています。