テクニカル・サマリー：VLMにおける幻覚（Hallucination）を軽減するための、ビジョン駆動型選好合成（ViPSy）

問題提起

視覚言語モデル（VLM）は、視覚的理解において顕著な能力を示しているが、入力画像と矛盾した内容を生成し、存在しない物体を捏造してしまう**幻覚（ハルシネーション）**に陥りやすいという課題を抱えている。この問題は、言語と視覚のモダリティ間の不均衡に起因しており、強力な言語的事前知識（Language Priors）によって、モデルが視覚的な証拠よりもテキストの統計量に依存してしまうことで発生する。

選好アライメント（特にDirect Preference Optimization、以下DPO）は、視覚的な忠実性を向上させるための有望な解決策として浮上しているが、その有効性は構築される選好ペア（好ましい応答 vs 好ましくない応答）の質に大きく依存する。これらのペアを構築する既存の手法には、主に以下の2つの制限がある：

1. 介入ベースの手法（例：幻覚の注入や修正）は、モデルの自然なポリシー分布から大きく逸脱した応答を導入しやすく、分布のミスマッチを引き起こす。
2. サンプリングベースの手法（例：外部判定によるサンプリングやSFTガイド付きサンプリング）は、この分布のミスマッチを軽減するものの、言語的事前知識に頼って選好を決定してしまい、視覚情報の活用が不十分になることが多い。

手法：ViPSy

著者らは、**ポリシーに整合（Policy-aligned）し、かつ視覚的に接地（Visually grounded）した選好データを構築するために設計された2段階のフレームワークであるViPSy（Vision-driven Preference Synthesis）**を提案する。

ステージ1：一貫した手がかり抽出のための自己キャプションによる意味的合成

外部のバイアスなしに信頼できる視覚的手がかりを抽出するために、ViPSyはポリシーモデル自身の能力を活用する：

1. 自己キャプション（Self-Captioning）: ポリシーモデル（$\pi_\theta$）が、標準的なキャプション生成プロンプトを用いて、ソース画像 $m$ に対して $N_c$ 個のキャプションを生成する。
2. 意味的合成（Semantic Synthesis）: これらのキャプションは、テキストからの画像生成（T2I）拡散モデル（$P_\psi$）へのプロンプトとして機能し、$N_c$ 個の意味的に整合した画像バリアント（$m'_j$）を合成する。
3. 手がかり抽出（Cue Extraction）: ジャッジモデル（$\pi_\phi$）が各合成バリアント $m'_j$ と元の画像 $m$ を比較し、両者の間で一貫性のあるオブジェクトレベルの証拠（$c_j$）を抽出する。
4. 集約（Aggregation）: ジャッジはこれらのペアごとの手がかりを単一の一貫した**視覚的手がかり（$c$）**へと集約する。ここでの直感は、同一のソース画像から派生した多様な合成バリエーション間で繰り返し現れるオブジェクトは、元の画像に根ざしている可能性が非常に高いという点にある。

ステージ2：手がかり条件付き自己蒸留による選好合成

視覚的手がかり $c$ が確立された後、フレームワークは選好ペアを生成する：

1. 手がかり条件付きロールアウト（Cue-Conditioned Rollouts）: ポリシーモデルは、元の画像 $m$、プロンプト $x$、および抽出された視覚的手がかり $c$ に条件付けられて、$N_s$ 個の候補応答（$y^{(s)}$）をサンプリングする。これにより、候補がポリシー分布に近い状態を維持しながら、明示的に視覚的証拠によってガイドされることが保証される。
2. 選好選択（Preference Selection）: ジャッジモデルは、元の画像 $m$ に対して候補集合 $\{y^{(s)}\}$ を評価し、好ましい応答（$y_w$）（最も視覚的に接地しているもの）と、好ましくない応答（$y_l$）（最も接地していないもの）を選択する。
3. 最適化（Optimization）: 得られたデータセット $\mathcal{D}_{pref} = \{(x, m, y_w, y_l)\}$ を用いて、Direct Preference Optimization (DPO) を通じてモデルを訓練する。極めて重要な点は、視覚的手がかりと合成画像はデータ構築時のみ使用され、最終的な最適化ステップでは、ポリシーは元のプロンプトと画像のペアのみに条件付けられることである。これにより、視覚的な接地能力がモデルに蒸留される。

主な貢献

1. ViPSyフレームワーク: 視覚的に接地した選好ペアを構築しつつ、ポリシーの応答分布との整合性を維持する、新しい視覚駆動型の選好合成アプローチ。
2. 2段階戦略:
   • 自己キャプションによる意味的合成: ポリシー自身のキャプションを用いてT2I合成を駆動し、繰り返されるオブジェクトレベルの証拠を集約することで、視覚的な手がかりを抽出する。これにより、言語的事前知識への依存を低減する。
   • 手がかり条件付き自己蒸留: これらの手がかりを用いてポリシー自身のロールアウトをガイドし、視覚的な接地品質に差異のある候補を生成することで、高品質な選好ペアの選択を可能にする。
3. 最先端（SOTA）の性能: 幻覚の軽減において新たなSOTAを達成し、一般的な視覚的接地能力を向上させている。

実験結果

著者らは、LLaVA-1.5 (7B および 13B) およびその他の様々なポリシーモデル（Qwen2.5-VL, InternVL3.5など）を用いて、デコーディング手法、アンラーニングベースのアプローチ、および既存の選好アライメント・ベースラインと比較検討を行った。

• 幻覚の軽減:
  • LLaVA-1.5-7B において、ViPSyは従来のSOTAであるSENTINELと比較して、AMBERで35.7%、Object HalBenchで24.5%、幻覚率を減少させた。
  • LLaVA-1.5-13B においても、すべての幻覚ベンチマークにおいて全てのベースラインを上回り、従来の最良の手法に対して大幅な改善を示した。
• 一般的な視覚的接地:
  • 一般的な性能を低下させる他のベースラインとは異なり、ViPSyは視覚的接地を必要とする一般的なベンチマークにおいてスコアを向上させた：7Bモデルにおいて MMStar (+6.0%), MMVP (+31.3%), CV-Bench (+4.0%)。
• ビジョンエンコーダーの改善:
  • ImageNet-1k, ImageNet-O, MS COCO に対する線形プロービングおよびセグメンテーションの評価において、精度と再現率の向上が見られた。これは、ViPSyが単に応答レベルの生成だけでなく、基礎となる視覚表現を強化していることを示唆している。
• 汎用性:
  • この手法は、多様なポリシーモデル（Qwen, InternVL, mPLUG-Owl, Kimi）において一貫した改善を示し、特定のアーキテクチャに限定されないことを証明した。
• アブレーション研究:
  • **自己ロールアウト（Self-rollouts）**は外部VLMのロールアウトよりも優れていることが判明し、ポリシーの分布に留まることの重要性が確認された。
  • **拡散ベースの合成（Diffusion-based synthesis）**は、単純な画像の変換（リサイズ、クロップ）やビデオベースのバリエーションよりも優れた結果を示し、手がかり抽出における豊かな意味的多様性の必要性を浮き彫りにした。
  • 本手法は、異なるジャッジモデル（Qwen3-VL, GPT-5 mini）においても堅牢であった。

意義と主張

本論文は、ViPSyが選好構築における根本的なトレードオフ、すなわちポリシーへの整合性と視覚的接地のバランスという課題に対処していると主張している。ポリシー自身の意味的理解と合成された画像バリエーションの交点から視覚的手がかりを導出することで、ViPSyは介入ベースの手法による分布シフトを回避し、標準的なサンプリング手法による視覚的無視を回避している。

著者らは、本アプローチが幻覚を減少させるだけでなく、モデルの一般的な視覚能力とビジョンエンコーダーの表現の質をも高めるものであると断言している。彼らは、本フレームワークが複雑な報酬モデリングやオンライン強化学習を必要とせずに、視覚的接地を効果的にポリシーに蒸留できることを強調しており、実世界のアプリケーションにおけるVLMの信頼性を向上させるための、実用的かつ効果的なソリューションであるとしている。