技術的サマリー：AdaDPO

1. 問題定義

直接選好最適化（DPO）は、大規模言語モデル（LLM）の整列において、人間のフィードバックからの強化学習（RLHF）に対する支配的な代替手段として登場し、個別の報酬モデルを不要とする簡素化されたパイプラインを提供する。しかし、Feng ら [2024] による最近の理論的解析は、DPO の損失関数に構造的な非対称性があることを特定した。

核心的な問題は勾配の不均衡である。標準的な DPO では、同じ係数 $\beta$ が、選好される回答（$y_w$）と選好されない回答（$y_l$）の両方の対数比に掛けられる。トレーニングが進行し、方策が選好される回答に対してより確信を持つようになるにつれ、選好される確率（$P_w$）に関する勾配の大きさは、選好されない確率（$P_l$）に関する勾配の大きさよりも著しく速く縮小する。具体的には、勾配の比 $|\partial L / \partial P_w| / |\partial L / \partial P_l|$ が 1 未満に落ち、しばしばゼロに近づく。

その結果、モデルは主に悪い回答を抑制することを学び、良い回答を促進することを学ぶことが少ない。この不均衡は損失の構造的性質であり、ハイパーパラメータの産物ではなく、選好される回答と選好されない回答が意味的に近い場合に特に顕著になる。このダイナミクスは長さバイアスと関連付けられており、モデルは必ずしも品質を向上させることなく報酬を最大化するために冗長性を悪用する傾向がある。

2. 手法：AdaDPO

著者らは、最適化の各ステップにおいて選好される確率と選好されない確率の間の勾配の大きさを等しく強制するように設計された変種であるAdaDPO（自己適応型直接選好最適化）を提案する。

核心的なメカニズム

両方の項に対して固定係数 $\beta$ を使用する代わりに、AdaDPO は選好ペアごとの係数 $\beta_w$ と $\beta_l$ を導入する。損失関数は以下のように修正される：
$$\Delta_{\text{AdaDPO}} = \beta_w \log \frac{P_w}{R_w} - \beta_l \log \frac{P_l}{R_l}$$
ここで、$P$ は方策の確率を、$R$ は参照モデルの確率を表す。

理論的導出

バランスの取れた勾配（$|\partial L / \partial P_w| = |\partial L / \partial P_l|$）を達成するために、著者らは係数の比に対する必要条件を導出する：
$$\frac{\beta_w}{\beta_l} = \frac{P_w}{P_l}$$
（あるいは、確率比空間では：$\frac{\beta_w}{\beta_l} = \frac{P_w R_l}{P_l R_w}$）。

実装の詳細

この条件を満たしつつ、最適化ダイナミクスを破綻させない（つまり、係数が勾配を伝播する微分可能なパラメータになることを防ぐ）ために、AdaDPO はstop-gradient演算子を採用する：
$$\beta_w = \beta \cdot \text{sg}\left( \frac{P_w R_l}{P_l R_w} \right)$$
ここで、$\beta_l$ は標準的な DPO のハイパーパラメータ $\beta$ と等しく保たれる。stop-gradient 演算子（sg）は、逆伝播中に比を定数として扱うことを保証し、バニラ DPO における「促進の消失」問題を引き起こす逆確率スケーリングを実質的に相殺する。

安定した AdaDPO：
トークン合計の対数確率が極端な比を生み出す可能性のある長いシーケンスにおけるトレーニングの不安定性に対処するため、著者らは主要な実験で使用される長さ正規化変種を導入する。この変種は、トークンごとの平均対数確率に基づいて適応比を計算し、適応係数に数値クリッピング bound（$C=2.0$）を適用する。この変種は元の DPO のハイパーパラメータ構造を維持し、数行のコード修正のみを必要とする。

3. 主要な貢献

1. 理論的修正： 本論文は、DPO スタイルの損失における等しい勾配の大きさの条件を厳密に導出し、AdaDPO が stop-gradient 演算子を通じてこの条件を正確に満たすことを証明し、勾配の不均衡に対する原理的な修正を提供する。
2. 実証的パフォーマンス： UltraFeedback データセットでトレーニングされた Llama-3-8B-Instruct において、AdaDPO は広範なハイパーパラメータグリッドにわたり、標準的な DPO を一貫して上回る。
3. 汎用性： 自己適応の原理は、既存のハイパーパラメータを変更することなく、SimPO、R-DPO、IPO、CPO、および ORPO を含む広範なペアワイズ対照選好損失ファミリーに適用可能な「ドロップイン」修正であることが示された。

4. 実験結果

著者らは、SimPO とほぼ同一の設定に従い、Llama-3-8B-Instruct と UltraFeedback データセットを使用して、AdaDPO を DPO および SFT ベースラインと比較評価した。

AlpacaEval 2 における主要な知見：

• 長さ制御勝率（LC）： AdaDPO は 48.3% のグローバルベスト LC を達成した（DPO は 46.4%）。
• 生勝率（WR）： AdaDPO は 46.1% のグローバルベスト WR を達成した（DPO は 44.5%）。
• ハイパーパラメータの頑健性： 16 種類の異なる $(lr, \beta)$ 組み合わせにおいて：
  • AdaDPO は 81% の組み合わせで LC に関して DPO を上回った。
  • AdaDPO は 88% の組み合わせで、LC と WR のマージン（長さバイアスの減少を示す）を大きくした。
  • AdaDPO は、高い品質を維持しながら平均応答長を短くし、 gains が冗長性によって駆動されていないことを示唆した。

その他のベンチマーク：

• Arena-Hard： DPO はわずかに高い生勝率（42.9% 対 41.5%）を示したが、95% 信頼区間は大幅に重なっており、統計的に有意な差はないことを示している。
• MT-Bench： AdaDPO（8.03）は DPO（8.01）をわずかに上回ったが、著者らが指摘するように、この差はベンチマークのスケールの分解能以下である。

最適化ダイナミクス：
AdaDPO は、DPO と比較して低い評価損失、高い報酬精度、および大きな報酬マージンを示し、バランスの取れた勾配更新が直接的に整列品質の向上に転換されることを確認した。

5. 意義と主張

本論文は、AdaDPO が DPO およびその変種における根本的な構造的欠陥、すなわち促進ではなく抑制によって学習する傾向に対処すると主張する。

• 改善のメカニズム： 著者らは、長さ制御されたパフォーマンスの改善と長さバイアスの減少が、勾配不均衡の是正の直接的な結果であると主張する。モデルが確信を持つようになっても選好される回答に対して強力な強化信号を受け取り続けることを保証することで、AdaDPO は最適化信号の停滞を防ぐ。
• 実用性： この手法は、新しいデータ収集を必要とせず、モデルアーキテクチャの変更を必要とせず、（標準的な $\beta$ と頑健なクリッピング定数以外に）新しい敏感なハイパーパラメータを必要としない。これは、最大限の影響をもたらす最小限のコード変更として提示されている。
• 範囲： 著者らは、結果を LLM 指示設定におけるオフライン選好最適化に適用されるものとして控えめに位置づけている。彼らは明示的に、モデル間検証、他のデータセットへの転送、およびオンライン RL や安全性の目的への拡張は将来の課題であり、現在の主張ではないと述べている。

結論として、本論文は、DPO スタイルの目的のパフォーマンスに対する主要な制約は、慎重なハイパーパラメータ調整ではなく勾配のバランスであり、AdaDPO がこの問題に対する一般的で理論的に裏付けられた解決策を提供すると提唱している。