技術要約：VLMのハルシネーション抑制のためのウィーナー表現フィルタリング

問題提起

Vision-Language Models (VLM) は、画像キャプション生成や視覚的質問応答などのタスクに長けているが、頻繁に物体ハルシネーション (Object Hallucination, OH) に悩まされる。この現象は、入力画像には存在しない物体、属性、または空間的関係を捏造するなど、もっともらしいが事実とは異なる記述を生成することを指す。既存の緩和戦略は、主に以下の3つのカテゴリに分類される：

1. デコーディング時の手法: 制約付きビームサーチやロジット・デバイアスのような技術は、生成を調整するが、しばしば大幅な推論オーバーヘッド（5〜10倍の低速化）を招く。
2. ポストホック（事後）的な精緻化: WoodpeckerやHALCのような手法は、タスク固有の適応や外部リソースを必要とする。
3. 学習ベースの手法: ハルシネーションを意識した損失関数を用いた再学習やファインチューニングを必要とし、計算コストが高い。

モデルのアーキテクチャを変更したり、実行時のコストを増加させたりすることなく、学習不要かつ推論効率の高い修正手法へのニーズが依然として存在する。

手法

著者らは、言語バックボーンの表現空間で動作するポストホックな編集技術である、ウィーナー表現フィルタリング (Wiener Representation Filtering) フレームワークを提案する。この手法は、ハルシネーションを構造化されたスペクトル歪みとして扱い、線形最小平均二乗誤差 (MMSE) 推定問題を通じてこれを補正する。

1. 理論的定式化

核心となる仮説は、VLMにおける隠れ状態 ($h$) は、真実成分 ($s$) とハルシネーションに関連する歪み ($n$) の重ね合わせとしてモデル化できるという点である：
$$h = s + n$$
$s$ と $n$ がゼロ平均であり、互いに無相関であると仮定すると、観測された表現の共分散は、真実の共分散 ($\Sigma_T$) とハルシネーションの共分散 ($\Sigma_H$) の和に分解される。

$h$ から $s$ を復元するための最適な線形推定器は、ウィーナー演算子である：
$$A^* = \Sigma_T (\Sigma_T + \Sigma_H)^{-1}$$

2. キャリブレーションと推定

この手法には、ペアとなった小規模なデータセット（例：LURE）を用いた一度限りのオフライン・キャリブレーションが必要である。これには以下が含まれる：

• $c^-$: 人間によって検証された真実のキャプション。
• $c^+$: 同じ画像に対してモデルが生成したハルシネーションを含むキャプション。

選択された深い層において、著者らはシーケンス平均された表現 ($x^-$ および $x^+$) を抽出し、以下を推定する：

• $\Sigma_T$: 真実の表現の共分散。
• $\Sigma_H$: 歪み ($d = x^+ - x^-$) の共分散。

経験的な分析により、ハルシネーションは等方的なノイズではなく、少数の支配的な固有モードに集中した異方的な歪みとして現れることが明らかになった。

3. スペクトル・フィルタリング

安定性と解釈性を確保するため、ウィーナー演算子は $\Sigma_H$ の固有基底において近似される。$\{q_j\}$ を $\Sigma_H$ の固有値 $\lambda_j$ を持つ固有ベクトルとする。信号の分散は $\tau_j^2 = q_j^\top \Sigma_T q_j$ である。
歪み対信号比は $\nu_j = \lambda_j / \tau_j^2$ と定義される。
モードごとのウィーナーゲインは以下の通りである：
$$\gamma_j = \frac{1}{1 + \nu_j}$$
鋭さ（シャープネス）を調整可能にし、推定誤差を補償するために、鋭さの指数 $\alpha$ が導入される：
$$\tilde{\gamma}_j = (1 + \nu_j)^{-\alpha} = \left( \frac{\tau_j^2}{\tau_j^2 + \lambda_j} \right)^\alpha$$
最終的なフィルタ $F_\alpha$ は $Q \text{diag}(\tilde{\gamma}_1, \dots, \tilde{\gamma}_d) Q^\top$ として構成される。

4. 実装

このフィルタは、選択された深い層のフィードフォワードネットワーク (FFN) 出力投影 ($W_{out}$) を修正することで適用される：
$$\tilde{W}_{out} = F_\alpha W_{out}$$
$F_\alpha$ は事前計算され、既存の重みに直接吸収されるため、アーキテクチャ、パラメータ数、および推論速度は変化しない。デプロイメント中に勾配更新やファインチューニングが行われることはない。

主な貢献

• 学習不要の補正: 再学習、ファインチューニング、または勾配更新を必要としないポストホックな手法。
• 推論効率: 補正はモデルの重みに吸収されるため、推論時の追加のレイテンシやメモリオーバーヘッドはゼロである。
• 理論的根拠: ハルシネーションの緩和を線形MMSE問題として定式化し、安定性の基準（オペレーター・リプシッツ連続性）を遵守する閉形式のウィーナー推定量を導出した。
• スペクトル分析: ハルシネーションが表現空間内の低次元かつ異方的な部分空間を占めていることを示し、意味的な情報を破壊することなく、標的を絞った減衰が可能であることを実証した。

実験結果

本手法は、複数のベンチマークにおいて LLaVA-1.5, MiniGPT-4, mPLUG-Owl2, Gemma3 に対して評価された：

• CHAIR (Caption Hallucination): 本手法は、一貫して最も低いハルシネーション率（CHAIRSおよびCHAIRI）を達成し、デコーディングベースのベースライン（OPERA, VCD, HALC）や表現編集ベースライン（Nullu）を上回った。例えば、LLaVA-1.5において、CHAIRSは18.87 (Greedy) から 14.93 に減少した。
• POPE (Object Presence): Random, Popular, Adversarial の各設定において、事実に基づいたグラウンディング（精度、適合率、F1）を向上させ、多くの場合、比較手法の中で最高のスコアを達成した。
• MME (Multimodal Evaluation): 10の視覚的グラウンディング・サブセット（カウント、アートワーク、セレブリティなど）において、競合する戦略よりも優れた性能を示した。
• 汎用性:
  • ビデオ理解: 静止画でキャリブレーションされたにもかかわらず、TempCompass（時間的推論）ベンチマークにおいてハルシネーションの減少に成功した。
  • 離散拡散モデル: グラウンデッドな対話（FaithDial）のために Dream-v0-Instruct-7B に適用され、ハルシネーション率を大幅に減少させた（例：FaithCriticにより92%から74%へ）。
  • クロスドメイン転移: あるデータセット（例：LURE）で学習されたフィルタが、再チューニングなしに未知のデータセット（例：TruthfulQA, CHAIR）に対しても効果的にハルシネーションを抑制できることを示した。

意義と主張

本論文は、ハルシネーションをランダムなノイズではなく構造化されたスペクトル歪みとしてモデル化することで、意味的に根ざした方向を維持しながら、ハルシネーションが支配的なモードを抑制する、原理に基づいた安定した補正が可能であると主張している。

手法の影響に関する主な主張は以下の通りである：

1. 安定性: 連続的な定式化により、共分散推定の小さな誤差が演算子に比例した限定的な変化しか及ぼさないことを保証し、ハードなランク削減による不安定性を回避している。
2. 流暢さの保持: 表現を攻撃的に削減する手法とは異なり、ウィーナーフィルタは歪み対信号比に基づいてモードを減衰させるため、キャプションの流暢さと全体的な応答品質（BLEUスコアは競争力を維持）を維持する。
3. 汎用性: 本アプローチは特定のVLMアーキテクチャや融合戦略（早期、ブリッジ、中間融合）に限定されず、時間的なビデオ推論や拡散ベースの言語モデルにも拡張可能である。
4. 効率性: デコーディング時の介入に伴う推論の低速化や、学習ベースの手法の計算コストを排除する「プラグアンドプレイ」のソリューションを提供する。

著者らは、この研究が、モデルの内部表現の完全性や推論効率を損なうことなく、生成を視覚的証拠に一致させる原理的なメカニズムを提供すると結論付けている。