技術的概要：MaPPO（最大事後確率選好最適化）

問題定義

本論文は、大規模言語モデル（LLM）を人間の選好に整合させるために用いられる、現在の選好最適化（PO）手法、特に直接選好最適化（DPO）およびその変種における根本的な限界に取り組む。DPO は、複雑な強化学習のロールアウトを不要にする形で、選好学習を最尤推定（MLE）問題として再定式化することに成功したが、**「絞り込み効果（squeezing effect）」**という致命的な欠陥を導入している。

MLE ベースの目的関数は、選好された応答（$y_w$）と却下された応答（$y_l$）との間の相対的な尤度ギャップの最大化にのみ焦点を当てるため、報酬の絶対的な大きさを見落としがちである。経験的証拠によれば、トレーニングが進行するにつれて、モデルは高品質な応答の確率を高めるのではなく、ギャップを広げるために両方の応答の確率を同時に縮小する傾向がある。これにより以下が生じる：

1. 自信の劣化（Confidence Degeneration）： 高品質な出力の絶対尤度の低下。
2. 不安定性： 特に両方の応答が高品質だがスタイルが異なる「接戦（near-tie）」の場合、MLE 目的関数は人工的な分離を強制し、出力空間の高品質領域から確率質量を奪う。
3. グローバル較正の欠如： トレーニング信号はペアワイズ比較に局所的であり、外部の事前知識や報酬の絶対的な大きさにアンカーされていない。

手法：MaPPO

著者は、データ駆動型の事前報酬知識を最適化目的に統合する、DPO の原理的な拡張である**最大事後確率選好最適化（Maximum a Posteriori Preference Optimization: MaPPO）**を提案する。

中核的な定式化

MaPPO は、最尤推定（MLE）から最大事後確率（MaP）推定へとパラダイムをシフトさせる。

1. 事前知識の統合： この手法は、選択された応答と却下された応答に対する事前報酬推定値（$r_w$ および $r_l$）へのアクセスを前提とする。これらは通常、事前学習済みの報酬モデルまたはオラクルから導出される。
2. MaP ロス： 標準的な DPO ロスに、報酬ギャップ $\Delta r = r_w - r_l$ に基づく較正項が追加される。導出された損失関数は以下の通りである：
   $$\mathcal{L}_{MaP}(\theta) = \mathbb{E}_{(y_w, y_l, x) \sim \mathcal{D}} \left[ -\log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \Delta r \cdot \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right) \right]$$
   ここで、$\Delta r \in [0, 1]$ は却下された応答項に対するスケーリング因子として機能する。
3. メカニズム：
   • 報酬ギャップが大きい場合（明確な選好）、$\Delta r$ は 1 に近づき、MaPPO は標準的な DPO と同様に振る舞う。
   • 報酬ギャップが小さい場合（接戦または両方の応答が高品質）、$\Delta r$ は小さくなる。これにより却下された応答（$y_l$）に対するペナルティが軽減され、モデルがその確率を積極的に抑制するのを防ぐ。これにより絞り込み効果が緩和され、高品質な出力の絶対的な自信が保持される。

主要な特性

• 新たなハイパーパラメータの不要性： MaPPO は、DPO に含まれるもの以外に追加のハイパーパラメータを導入しない。報酬ギャップ $\Delta r$ は、選好ペアを構築するために使用される報酬モデルのスコアから直接導出される。
• 互換性： これは「ドロップイン」型のプラグインとして設計されている。既存の DPO 変種（SimPO、IPO、CPO など）における MLE 成分をシームレスに置き換えることが可能であり、オフライン（静的データセット）およびオンライン/反復的（現在のポリシーから応答を生成）の両方の設定に対応する。
• 理論的安定性： 著者は、MaPPO が DPO に比べて勾配演算子のリプシッツ定数が低いことを示す理論的解析を提供しており、これはより安定した更新と、定常点における $y_w$ と $y_l$ の間の対数確率比の有界性を意味する。

主要な貢献

1. 原理的な一般化： MaPPO は、事前報酬推定値を最大事後確率目的に組み込むことで DPO を一般化し、MLE の過度に単純化された二値分類を超えて進化する。
2. 絞り込み効果の緩和： 報酬ギャップに基づいて却下された応答に重みをつけることで、MaPPO は接戦ペアに対する過剰なペナルティを抑制し、より較正されたポリシーへと導く。
3. 汎用性： この手法はオフラインおよびオンラインの選好最適化の両方をサポートし、アーキテクチャの変更や追加のチューニングを必要とせずに、広範な DPO 変種（SimPO、IPO、CPO、反復 DPO）と互換性がある。
4. 経験的検証： 複数のモデルファミリー（Llama-3、Qwen2.5、Mistral）およびサイズ（1.5B から 32B）にわたる広範な実験により、一貫した改善が実証された。

実験結果

著者は、MaPPO を 3 つの標準ベンチマーク（MT-Bench、AlpacaEval 2.0、Arena-Hard）で評価した。

• 性能向上：
  • AlpacaEval 2.0において、MaPPO は Mistral-7B-Instruct モデルの勝率を 18.24%（DPO）から 30.56%（+12.32 ポイント）に向上させた。
  • Arena-Hardにおいて、同じモデルは 14.2% から 18.4%（+4.2 ポイント）に改善した。
  • Qwen2.5-7B-Instruct モデルの場合、MaPPO は AlpacaEval 2.0 で DPO を +6.23、Arena-Hard で +13.7 改善した。
• 汎化能力： 改善は異なるモデルサイズやシリーズ全体で一貫していた。特に、MaPPO はより小さなモデルが整合性タスクにおいてより大きなベースモデルを上回ることを可能にした。
• 互換性： SimPO、IPO、CPO といった変種に適用した場合、追加の計算コストやハイパーパラメータのチューニングなしに、MaPPO は一貫して成果をもたらした（例：SimPO における AlpacaEval で +7.60）。
• 頑健性： 異なる報酬モデル（低品質なものを含む）を使用したアブレーション研究により、MaPPO がベースラインを一貫して上回ることが示され、事前信号の変動に対する頑健性が示された。
• 学術ベンチマーク： この手法は学術ベンチマーク（IFEval、GPQA、MMLU、GSM8K）における性能を維持または向上させ、一般的な能力に対する顕著な「整合性税（alignment tax）」を課さないことを示唆している。

意義と主張

本論文は、MLE ベースの選好最適化に内在する自信の劣化問題に対するシンプルかつ原理的な解決策として MaPPO を提唱する。明示的に事前報酬知識を統合することで、MaPPO は応答の相対的な順序だけでなく、その絶対的な品質を尊重する、より較正されたトレーニング信号を提供する。

著者は、MaPPO が計算効率を犠牲にすることなくこれらの改善を達成することを強調している。これは、DPO の閉形式のワンステップ最適化構造を維持しており、整合フェーズ中に追加のロールアウト、価値関数、または報酬モデルのトレーニングを必要としない。この研究は、MaPPO を RLHF パイプラインの代替としてではなく、既存の選好トレーニングパイプラインに統合して、より信頼性が高く安定した整合済みモデルを生成するための堅牢で一般的な強化戦略として位置づけている。