技術要約: In-Context Visual Contrastive Optimization (IC-VCO)

問題提起

マルチモーダルなハルシネーション（幻覚）は、視覚言語モデル（VLM）における持続的な課題であり、モデルが視覚的な入力に根ざした応答を行うのではなく、言語的な事前知識（言語プライア）に依存してしまう「視覚的無視（visual neglect）」を特徴とします。Direct Preference Optimization (DPO) は、モデルを人間の意図に適合させるための標準的なポストトレーニングのパラダイムですが、標準的なテキストベースのDPOは、画像を単なる静的な条件として扱うだけであり、明示的な視覚的監督を欠いているため、マルチモーダルなハルシネーションを軽減するには至りません。

視覚的な好みをDPOに導入しようとする既存の試み（Visual Preference DPO）は、テキストプロンプトを固定したまま、元の画像（$m$）と負の画像（$m'$）を対照させることでペアを構成します。しかし、本論文はこれらの手法における2つの決定的な限界を指摘しています。

1. 理論的不整合な目的関数: 選択肢のペア間で視覚的コンテキストが変化するため、参照ポリシーの分配関数（$Z(m, x)$ および $Z(m', x)$）が相殺されません。これにより、目的関数に残留する手に負えないバイアス項が生じ、元のDPO定式化との理論的な一貫性を損なわせます。
2. 粗い粒度のネガティブサンプル: 現在の手法は、通常、検索やテキストからの画像生成（text-to-image synthesis）によって負の画像を生成します。これらはしばしば、元の入力と比較して顕著なスタイルの違いや大きなセマンティック・ギャップ（意味的な隔たり）を示します。このような粗い相違により、モデルは精密な視覚的グラウンディング（接地）を学習するのではなく、「ショートカット」（例：微細な視覚的事実ではなく、グローバルなスタイルに基づいて画像を拒絶する）を学習してしまいます。

手法

著者らは、理論的な不整合を解決し、微細な視覚的グラウンディングを強制するために設計されたフレームワークである In-Context Visual Contrastive Optimization (IC-VCO) を提案します。これは以下の3つのコアコンポーネントで構成されます。

1. In-Context Visual Contrastive Optimization

分配関数の不一致に対処するため、IC-VCOは、元の画像（$m$）と対照的な画像（$m'$）の両方を共有されたマルチイメージ・コンテキスト $M = [m, m']$ 内に配置することで、トレーニングの設定を再構築します。

• アンカープロンプトの拡張: コンテキストに複数の画像が含まれるため、テキストプロンプメントは、モデルがどの画像に基づいて応答すべきかを明示的に指定するアンカー指示（例：「最初の画像に基づいて回答してください」）と共に拡張されます。
• 理論的一貫性: 同じ共有コンテキスト $M$ とアンカープロンプトの下で応答を比較することにより、分配関数 $Z(M, \hat{x})$ は選択された応答と拒絶された応答の両方に対して同一となります。これにより、分配関数が厳密に相殺され、DPO目的関数の数学的正当性が回復されます。

2. Visual Contrast Distillation (VCDist)

トレーニング設定（マルチイメージ・コンテキスト）と標準的な推論（シングルイメージ入力）の間には乖離が存在します。このギャップを埋めるために、著者らは補助的な正則化子である VCDist を導入します。

• メカニズム: VCDistは、マルチイメージ・コンテキストで学習された好みの分布を「教師」として使用し、シングルイメージ・ポリシー（「生徒」）を導きます。
• デュアル・ゲーティング: 信頼性を確保するため、デュアル・ゲーティング機構が蒸留信号をフィルタリングします。
  • Correctness Gate（正確性ゲート）: 教師信号が信頼できること（確率 > 0.5）を確認します。
  • Confidence Gate（確信度ゲート）: 生徒の確信度が教師よりも低い場合にのみ蒸留を活性化させ、逆方向のペナルティを防ぎます。
• 目的: これにより、シングルイメージ・ポリシーが対照的なトレーニング信号と互換性を保つように促し、訓練時と推論時のコンテキスト間の乖離を減少させます。

3. Contrastive Sample Editing

粗いネガティブサンプルによって引き起こされるショートカット学習を防ぐため、本論文では Contrastive Sample Editing 戦略を導入しています。

• 外科的介入: グローバルな合成や検索の代わりに、この手法は元の画像に対して精密かつ局所的な修正を行います。
• プロセス: エキスパートVLMが、特定の属性、存在、または関係に関する「幻覚の内容を真実にする（誤った主張を正しくする）」、あるいは「矛盾を注入する（正しい主張を誤りにする）」ための編集指示を生成します。
• 保持: 編集パイプライン（Qwen-Image-Editを使用）は、元の縦横比、照明、および背景コンテキストを保持します。これにより、元の画像と編集された画像の違いが、ターゲットとなるセマンティックな概念のみであることを保証します。これにより、モデルはグローバルなスタイルの変化ではなく、微細な視覚的相違を学習することを強制されます。

主な貢献

1. 理論的に厳密な目的関数: IC-VCOは、共有コンテキスト内で視覚的選好最適化を定式化した初めてのフレームワークであり、分配関数を相殺させ、従来のマルチモーダルDPO手法に内在する理論的バイアスを排除します。
2. VCDist 正則化子: Visual Contrast Distillationの導入は、マルチイメージの対照信号を用いてシングルイメージの推論ポリシーを効果的に較正し、訓練時と推論時の分布シフトに対処します。
3. 微細なハード・ネガティブ: 提案されたContrastive Sample Editingパイプラインは、元のデータと厳格なスタイルの整合性を維持する高品質なハード・ネガティブを生成し、モデルに粗いショートカットを利用させるのではなく、微細な視覚的グラウンディングを学習させます。
4. 実証的検証: 本手法は、2つの異なるバックボーンモデル（LLaVA-NeXT-InterleaveおよびLLaVA-OneVision）において、5つの多様なベンチマーク（HallusionBench, AMBER, CRPE, R-Bench, BLINK）で最先端の性能を達成しました。

結果

実験により、IC-VCOは合成サンプルおよび編集済みサンプルの両方の設定において、既存のベースライン（mDPO, V-DPO, S-VCO, SymMPOを含む）を上回ることが示されました。

• 性能向上: LLaVA-NeXT-Interleaveにおいて、IC-VCOは最強のベースラインに対し、合成設定で1.19ポイント、編集設定で1.24ポイントのスコアを向上させました。LLaVA-OneVisionでは、それぞれ0.26および0.48ポイントの向上を見せました。
• 汎用性: 合成サンプルを提案された編集済みサンプルに置き換えることで、すべてのベースライン手法において性能が向上し、微細なハード・ネガティブの有用性が検証されました。
• アブレーション研究: シングルイメージ・ブランチ、VCDist、またはトークンマスクを除去すると性能が大幅に低下し、各コンポーネントの必要性が確認されました。また、マルチイメージ・ブランチがシングルイメージ・ブランチよりも強力な選好信号を提供することを検証し、蒸留アプローチの妥当性を証明しました。

重要性と主張

本論文は、IC-VCOが視覚的選好アライメントのための数学的に厳密な基礎を提供し、従来のマルチモーダルDPO手法を悩ませてきた理論的不整合を解決することを主張しています。理論的に一貫した目的関数と、微細なハード・ネガティブを生成する戦略を組み合わせることで、本手法は粗いグラデーションのショートカットに頼ることなく、マルチモーダルなハルシネーションを効果的に軽減します。

著者らは、本研究をVLMにおけるポストトレーニングの選好アライメントのための特定的なソリューションとして位置付けています。彼らは、この手法が他の安全性メカニズム（デコーディング時の介入や人間によるフィードバックなど）を置き換えるものではなく、それらを補完するものであること、また、特に高リスクなオープンワールドのシナリオにおけるすべてのマルチモーダル・ハルシネーションに対する完全な解決策ではないことを明示しています。主な貢献は、モデルに微細な視覚的証拠を区別させることを強制する、より信頼性の高い最適化フレームワークを確立することにあります。