技術要約: PEA-DPO

問題提起

Direct Preference Optimization (DPO) は、テキストのみの大型言語モデル（LLM）を人間の好みに適合させる上で効果的であることが証明されていますが、これをマルチモーダル大型言語モデル（MLLM）に直接適用すると、決定的な限界である**視覚的不感性（visual insensitivity）**が明らかになります。著者らは、標準的なマルチモーダルDPOが、画像を単なる静的な条件付け入力として扱っており、好みの対象となる能動的なターゲットとして扱っていないことを指摘しています。その結果、モデルは元の画像と、重要な視覚的コンテキストが除去された画像とを区別できず、視覚的証拠に基づいた応答が脆弱になるという問題が生じます。

表現分析と理論的分解を通じて、著者らはこの失敗を2つの明確な形態として定式化しました。

1. 画像間不感性（Across-Image Insensitivity）: モデルが、異なる画像（例：屋外での読書活動の画像とピクニックの画像を区別できないこと）から生成された応答に対して、ほぼ同一の好度スコアを割り当てます。これは、異なる視覚的コンテキスト間の識別能力の欠如を示しています。
2. 画像内不感性（Within-Image Insensitivity）: モデルが、同一画像内の意味的に重要な手がかりと無関係な手がかりを区別できません（例：トイレブラシを一般的な道具と混同するなど）。これにより、正しい視覚的証拠が存在する場合でも幻覚（hallucination）が発生します。

手法: PEA-DPO

これらの限界に対処するため、著者らはPerception-Enhanced Alignment DPO (PEA-DPO) を提案します。このフレームワークは、画像を静的なコンテキストとして扱うパラダイムから、応答の品質と視覚的コンテキストの好みを共同で最適化するパラダイムへと移行させます。

1. 知覚強化型選好データの構築

本手法は、重要な視覚的コンテキストを明示的に除去することで、高品質な視覚的選好ペアを生成します。

• 摂動（Perturbation）: 選択された画像 ($m_w$) から開始し、ランダムなマスクを適用して、候補となる摂動画像セットを生成します。
• CLIPによる選択: CLIP埋め込みを使用し、元の画像と摂動画像の間の意味的類似性を計算します。最も低い類似度スコアを示す摂動画像（最も重要な視覚的コンテキストが除去されていることを示す）を、拒絶された画像（rejected image） ($m_l$) として選択します。
• データ構造: これにより、選好トリプレット $(x, m_w, m_l, y_w)$ が作成されます。ここでモデルは、完全な画像 $m_w$ に条件付けられた際に、コンテキストが削減された画像 $m_l$ に条件付けられた場合よりも、応答 $y_w$ を好むように学習する必要があります。

2. 共同最適化目的関数

PEA-DPOは、2つの補完的な信号を同時に最適化するデュアル目的損失関数を導入します。

• 応答品質選好最適化 (RPO): 標準的なマルチモーダルDPO項であり、モデルは同じ画像 ($m_w$) が与えられた際に、高品質な応答 ($y_w$) を低品質な応答 ($y_l$) よりも好むように学習します。
• 視覚的コンテキスト選好最適化 (VPO): 新しい項であり、モデルは、完全な画像 ($m_w$) に条件付けられた際に、同じ応答がコンテキスト削減された画像 ($m_l$) に条件付けられた場合よりも、応答 $y_w$ を好むように学習します。

最終的な目的関数は、以下の項を組み合わせたものです：
$$\mathcal{L}_{PEA-DPO} = \mathcal{L}_{RPO} + \alpha \cdot \mathcal{L}_{VPO}$$

計算コストを削減し制御性を向上させるため、著者らはさらに以下を行うことで mPEA-DPO へと洗練させています。

• 対数確率比を長さ正規化された対数確率に置き換える（参照モデルを不要にする）。
• シグモイド関数をReLUに置き換え、些細なデータポイントをフィルタリングする。
• 望ましいペアと拒絶されたペアの間に最小限の分離を強制するためのターゲットマージン ($\gamma_r, \gamma_m$) を導入する。

理論的分析

論文では、mPEA-DPOが特定された失敗モードを直接軽減することを実証する理論的証明を提供しています。

• 画像間不感性は、モデルが $m_w$ と $m_l$ を区別できないことを表す、ほぼゼロの画像レベルマージン ($G_m$) に対応します。$\mathcal{L}_{VPO}$ 項は、ここで正のマージンを明示的に強制します。
• 画像内不感性は、正しい視覚的入力があっても $y_w$ と $y_l$ を区別できないことを表す、ほぼゼロの応答レベルマージン ($G_r$) に対応します。$\mathcal{L}_{RPO}$ 項はこのマージンを強制します。
  著者らは、mPEA-DPOにおけるこれらの項の線形結合が、これら両方のマージンを確実に拡大させ、したがって両方の失敗モードを同時に解決することを証明しています。

実験結果

著者らは、LLaVA-v1.5 モデル（7Bおよび13Bパラメータ）を用い、3つの幻覚ベンチマーク（MMHal-Bench、Object HalBench、AMBER）においてmPEA-DPOを評価しました。

• 幻覚の減少: mPEA-DPOは幻覚率を大幅に減少させました。7Bモデルにおいて、ベースモデルと比較してMMHal-Benchの幻覚率を33%減少させました。Object HalBenchでは、応答レベルで92%、オブジェクトレベルで87%の幻覚率減少を達成しました。
• SOTAとの比較: 本手法は、大部分の幻覚指標において、既存のオープンソースRLHF/RLAIFベースライン（例：LLaVA-RLHF、mDPO、OPA-DPO、DAMA）を上回りました。GPT-4VやGemini-2.5-Proのようなプロプライエタリモデルは、MMHal-Benchでの総合スコアが高く、Object HalBenchでのCHAIRスコアが低いものの、mPEA-DPOは他のオープンソース手法と比較して、幻覚率を減少させる点において優れた性能を示しました。特にAMBERベンチマークにおいて、mPEA-DPO (7B) は幻覚率10.3、認知スコア0.6を記録し、幻覚率30.7、認知スコア2.6を記録したGPT-4Vを大幅に上回りました。
• アブレーション研究:
  • RPOとVPOの両方のコンポーネントが個別に効果的であることが判明しましたが、それらを組み合わせることで最良の性能が得られました。
  • 拒絶された画像を構築するための提案された「知覚強化」戦略（CLIP選択による重要コンテキストの除去）は、ランダムなブロックマスキング、回転、クロッピング、または全黒塗りなどの代替戦略よりも優れた性能を示しました。
  • パフォーマンスは訓練データサイズに正の相関を示し、小さなデータセット（2.8kインスタンス）でも有効性が示されました。
• 一般的能力: 一般的なベンチマーク（MMStar, AI2D, LLaVA-Bench, MMMU）の評価では、mPEA-DPOはモデルの指示追従能力や一般的な推論能力を維持、あるいはわずかに向上させており、本手法が一般的な性能を低下させないことが示唆されました。

意義と主張

本論文は、PEA-DPOが現在のマルチモーダル・アライメントにおける根本的なギャップ、すなわちテキストの好みを最適化する際にモデルが視覚的証拠を無視してしまう傾向に対処することを主張しています。視覚的不感性を明示的にモデル化し、デュアル選好学習フレームワークを導入することで、著者らは以下を実証しました。

1. 視覚的不感性は、マルチモーダルDPOにおける測定可能かつ修正可能な失敗モードであること。
2. 視覚的選好信号（完全な画像とコンテキスト削減された画像の比較）を明示的に活用することが、MLLMの応答を視覚的証拠に接地させるために必要であること。
3. 提案手法は、ベースモデルの一般的な言語能力を維持しながら、幻覚を減少させる点で、オープンソースの手法の中で最先端の性能を達成しており、他のオープンソース・ベースラインを凌駕し、特定の幻覚指標においてはプロプライエタリなモデルに対しても競争力のある性能を示すこと。

著者らは、知覚強化型データの生成に伴う追加の計算コストや、カバレッジ指標におけるわずかなトレードオフ（より保守的な生成戦略を示唆）といった限界についても言及していますが、本フレームワークが、より信頼性が高く視覚的に接地されたMLLMへの堅牢な道筋を提供すると結論付けています。