When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs

この論文「When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs（視覚を上書きするプロンプト：大規模視覚言語モデルにおけるプロンプト誘発型ハルシネーション）」は、大規模視覚言語モデル（LVLM）が画像の内容を無視して、テキストプロンプトの前提や背景知識に基づいて誤った回答（ハルシネーション）を生成する問題に焦点を当てています。

以下に、論文の技術的な詳細を問題定義、手法、主要な貢献、結果、意義の観点から要約します。

1. 問題定義 (Problem)

LVLM は画像キャプション生成や視覚推論などで高い性能を示していますが、入力画像に存在しないオブジェクトを生成したり、画像に存在しないことを無視してプロンプトの前提（例：「椅子の色は何ですか？」と聞かれて椅子が存在しない場合でも色を答える）に従って回答したりする「ハルシネーション」に依然として脆弱です。

既存の研究では、ハルシネーションの原因を「視覚エンコーダの限界」や「言語モダリティの支配性」に帰因してきましたが、どの要因がどの程度影響しているかは不明確でした。特に、視覚認識が正確であっても、テキストプロンプトの前提（presupposition）や学習済みの共起パターン（co-occurrence priors）が視覚情報を上書きし、誤った回答を誘発するメカニズムが十分に解明されていませんでした。

2. 手法 (Methodology)

この論文では、問題の解明と解決のために以下の 2 つの主要なアプローチを提案しています。

A. 診断ベンチマーク「HalluScope」の提案

ハルシネーションの原因を特定するために、既存のベンチマークを拡張・分解した新しい診断ベンチマーク HalluScope を構築しました。これは以下の 3 つの要因を分離して評価します。

1. 視覚知覚の限界: 画像に存在するオブジェクトの認識（Positive Object Recognition）と、存在しないランダムなオブジェクトの検出（Random Object Recognition）。
2. 学習済み共起バイアス: 画像には存在しないが、文脈的にあり得る（例：テーブルがあるなら椅子もあるはずだ）オブジェクトの認識（Adversarial Object Recognition）。
3. テキストプロンプトの前提（Presupposition）: 質問自体がオブジェクトの存在を暗黙的に仮定している場合（例：「椅子の色は？」）、モデルが視覚証拠を無視して前提に従って回答するかどうか（Adversarial Presupposition Attribute）。

構築プロセス:

• COCO データセットから多様な画像を選択。
• 物体検出モデル（Florence-2, Grounding-DINO）と VLM を用いた 2 段階の検証パイプラインで、画像に「存在する物体」「存在しないランダム物体」「文脈的にあり得るが実際には存在しない敵対的物体」を特定。
• 各画像に対して、存在確認クエリと、存在しない物体の属性を問う前提包含クエリを生成。

B. 軽減フレームワーク「HalluVL-DPO」の提案

テキストプロンプトの前提に起因するハルシネーションを軽減するためのファインチューニングフレームワーク HalluVL-DPO を提案しました。

• ベース技術: 直接選好最適化（Direct Preference Optimization, DPO）の改良版。
• データセット構築: 2 万 7 千枚の画像と 10 万以上のクエリからなる大規模な選好データセットを構築。
  • Chosen（好ましい回答）: 視覚的に根拠のある、ハルシネーションのない回答。
  • Rejected（却下された回答）: プロンプトの前提に引きずられてハルシネーションを起こした回答。
  • 生成戦略: 単側ヒント付加（Unilateral Hint Augmentation）、対照的ヒント付加（Contrastive Hint Augmentation）、事後ハルシネーション注入（Post-Hoc Hallucination Injection）、モデル支援回答逆転（Model-Assisted Answer Inversion）などの戦略を用いて、多様で質の高い対照ペアを生成。
• 重み付け選好最適化（Weighted Preference Optimization）:
  • 全ての選好ペアを均等に扱うのではなく、**サンプルの情報量（informativeness）**に基づいて重み付けを行います。
  • 正解と不正解の回答間の「意味的ギャップ（semantic gap）」が大きいペア（例：正解は「椅子はない」と明確に否定し、不正解は「椅子は赤い」と前提に従う）には高い重み（3）を付け、学習を強化します。

3. 主要な貢献 (Key Contributions)

1. HalluScope ベンチマークの導入: ハルシネーションの原因（知覚限界、共起バイアス、プロンプト前提）を明確に分離・評価できる初の診断ツール。これにより、現代の LVLM におけるハルシネーションの主要因が「視覚の限界」ではなく、「テキストプロンプトの前提と学習済み知識への過剰依存」であることが実証されました。
2. HalluVL-DPO フレームワーク: 合成データと選好最適化を用いて、テキスト前提に起因するハルシネーションを効果的に軽減するファインチューニング手法。
3. 大規模なリソース公開: ベンチマーク、データセット構築パイプライン、選好トレーニングデータ、ファインチューニング済みモデルを公開し、再現性とさらなる研究を支援します。

4. 結果 (Results)

• HalluScope での評価:
  • ベースラインモデル（LLaVA-1.5, Qwen2-VL）は、視覚知覚（Recpos, Recrnd）では高い精度を示す一方、敵対的物体認識（Recadv）や前提包含クエリ（AdP）では大幅な精度低下が見られました。特に AdP（前提包含）では、モデルが視覚証拠を無視してテキスト前提に従う傾向が顕著でした。
  • HalluVL-DPO を適用したモデルは、AdP 性能を劇的に向上させました（例：LLaVA-1.5 で 5.85% → 83.54%、Qwen2-VL で 57.96% → 80.40%）。
  • 敵対的物体認識（Recadv）も大幅に改善されました。
• 汎用性能の維持:
  • ハルシネーション軽減に成功しながらも、POPE、CHAIR、MME、ScienceQA、MM-Vet などの他の一般的なマルチモーダル評価ベンチマークでの性能は維持、あるいは向上しました。
  • 既存の手法（VCD, Antidote など）と比較しても、ハルシネーション軽減と汎用能力のバランスにおいて優位性を示しました。
• アブレーション研究:
  • 重み付け DPO（情報量の高いサンプルに重点を置く）が、特に AdP 性能の向上に寄与することが確認されました。
  • 合成データが異なるモデル間（LLaVA と Qwen）でも一定程度転移可能であることが示されました。

5. 意義と結論 (Significance & Conclusion)

この研究は、LVLM のハルシネーション問題に対するパラダイムシフトを示唆しています。

• 原因の再定義: ハルシネーションは単なる視覚認識の失敗ではなく、**「言語モダリティが視覚モダリティを支配し、プロンプトの前提や背景知識が視覚証拠を上書きする」**というアライメント（整合性）の問題であることが明らかになりました。
• 解決策の提示: 視覚エンコーダを強化するだけでなく、テキストプロンプトの影響を抑制し、視覚的根拠を優先するようモデルを微調整する（HalluVL-DPO）ことが、実用的なハルシネーション軽減に有効であることを実証しました。
• 将来への展望: 安全クリティカルなアプリケーション（自動運転、医療診断など）における LVLM の信頼性向上に寄与し、マルチモーダルモデルのより堅牢な開発に向けた基盤を提供します。

要約すれば、この論文は「プロンプトが視覚を上書きする」現象を定量的に診断し、選好最適化を用いてそれを抑制する効果的な手法を提案した画期的な研究です。