技術要約：好みの最適化における報酬の正規化

問題提起

DPO（Direct Preference Optimization）やSimPOのような直接アライメントアルゴリズム（DAA）は、強化学習（RLHF）と比較して計算効率が高いため、大規模言語モデル（LLM）を人間の好みに適合させるための標準的な手法となっています。しかし、近年の研究により、これらのDAAには、その暗黙的な報酬モデルが**過剰最適化（over-optimization）**されるという決定的な限界があることが明らかになりました。

この主な現れが**尤度置換（likelihood displacement）**であり、これは訓練中に、選好された回答と選好されない回答の両方の尤度が同時に低下する現象です。これは、標準的なDAAの目的関数（DPO、SimPO）が回答ペア間の報酬の差を最適化する際、分配関数 $Z(x)$ が数学的に相殺されてしまうために起こります。その結果、モデルは回答空間全体における全確率質量を較正された推定値として維持するインセンティブを持ちません。この正規化の欠如は、特に「未学習」の回答（訓練ペアに含まれていないもの）に対して、不適切な確率シフトを引き起こし、潜在的に望ましくない、あるいは有害な振る舞いをもたらす可能性があります。

高次元の埋め込み類似性や不十分な正則化といった既存の過剰最適化の仮説は、参照ベース（例：DPO）と参照フリー（例：SimPO）の両方の手法にわたって一般化することができません。さらに、先行研究の分析は、正規化という共通のメカニズムではなく、個別のDAAの事例に焦点を当てることが多いです。

手法

著者らは、報酬の過剰最適化は、暗黙的な報酬における正規化の欠如に起因すると考えています。これに対処するため、彼らは、好みのペア内における選好された回答（$y_w$）と拒絶された回答（$y_l$）の総長さ正規化確率質量を保存するように設計された正則化項を導入します。

正則化項

コアとなる洞察は、パラメータ化された言語モデルがソフトマックスを適用する場合、出力分布は訓練中を通じて正規化された状態（分配関数 = 1）を維持すべきであるということです。すべての可能な回答にわたる完全な分配関数を推定することは不可能であるため、著者らは「観測された」回答に対して正規化を強制します。

彼らは、正則化ペナルティ $R(\pi_\theta, \pi_{ref}, x, y_w, y_l)$ を以下のように定義します：
$$R = \lambda \left( \log \frac{\bar{\pi}_\theta(y_w|x) + \bar{\pi}_\theta(y_l|x)}{\bar{\pi}_{ref}(y_w|x) + \bar{\pi}_{ref}(y_l|x)} \right)^2$$
ここで：

• $\bar{\pi}$ は（長さバイアスを軽減するための）長さ正規化された確率を表します。
• $\lambda$ はハイパーパラメータです。
• この項は、現在のモデルと参照モデルによって割り当てられた合計確率質量に対する、対数比の二乗を最小化します。

このペナルティは標準的な目的関数に次のように追加されます：

1. N-DPO: $L_{N-DPO} = L_{DPO} + R$
2. N-SimPO: $L_{N-SimPO} = L_{SimPO} + R$

メカニズム分析

本論文では、この正則化項の理論的な勾配分析を提供しています。モデルパラメータ $\theta$ に対する $R$ の勾配は、個々のトークンの尤度に反比例します。

• アウトライア・トークン（外れ値トークン）: 分析の結果、尤度置換は、非常に低い尤度を持つ少数のアウトライア・トークンによって引き起こされていることが明らかになりました。これらのトークンが勾配更新を支配しています。
• 緩和策: 全体の回答確率が減少すると、正則化項は、これらの低尤度のアウトライア・トークンの尤度を主に増加させる勾配を生成します。これにより、報酬分布が再形成され、置換に伴う大規模な不自然な確率低下を防ぎつつ、生成に関連する高尤度のトークンへの影響を最小限に抑えます。

主な貢献

1. 正規化の欠如の特定: 著者らは、未学習の回答の分布を考慮できないこと（目的関数による分配関数の相殺による）が、どのように尤度置換を招くかを明らかにしました。
2. メカニズムの解明: 尤度置換をアウトライア・トークンへの確率シフトの集中に関連付け、勾配分析を通じて、正則化が低尤度トークンを利用することでこれらのシフトを緩和することを実証しました。
3. 新しい目的関数: 提案された正則化項を組み込んだN-DPOおよびN-SimPOを提案し、これらは参照ベースおよび参照フリーの両方のアライメント手法に適用可能です。
4. 実証的検証: これらの修正された目的関数が、生成の質と一般的なベンチマーク能力のトレードオフを改善することを実証しました。

実験結果

著者らは、Mistral-7B-Instruct、Llama-3.1-8B-Instruct、およびOLMo-7B-SFTを用い、UltraFeedbackデータセットを用いてN-DPOおよびN-SimPOを評価しました。

• 生成の質 (AlpacaEval):

  • Llama-3.1-8B-Instructにおいて、N-DPOは標準的なDPOと比較して、AlpacaEval2 (Length-Controlled) スコアで20%以上の相対的な向上を達成しました。
  • OLMo-7B-SFTにおいて、N-SimPOはSimPOと比較して、AlpacaEval2 (Raw Win-Rate) で75%を超える相対的な向上を示しました。
  • 提案手法は、DPO+SFTやDPOPといった他の正則化ベースラインを概して上回りました。

• 一般的なベンチマーク性能:

  • 「生成能力の向上が一般的能力を低下させる」という典型的なトレードオフとは対照的に、N-DPOおよびN-SimPOは、常識や推論のベンチマーク（MMLU、ARC、HellaSwagなど）においてスコアを維持または向上させました。
  • Llama-3.1-8B-Instructについては、N-DPOは生成の質を向上させると同時に、平均ベンチマークスコアを3%以上向上させました。

• 報酬モデリング:

  • 正則化項を用いて訓練されたモデルは、保持データセット（HH-RLHF、HelpSteer2）において、標準的なDPO/SimPOと比較して、同等または優れた報酬モデリング精度を示しました。一方、DPO+SFTおよびDPOPは大幅な精度の低下を示しました。

• 尤度のダイナミクス:

  • 訓練曲線により、正則化が尤度置換を緩和することが確認されました。N-DPOでは、選好された回答の尤度は安定していましたが、標準的なDPOでは大幅に低下していました。
  • トークンレベルの分析により、正則化が特に最小トークン報酬（アウトライア）を対象とし、修正していることが確認されました。

意義と主張

本論文は、報酬の正規化が、直接アライメントアルゴリズムの成功における、これまで見落とされていた重要な要素であることを主張しています。観測された回答に対する確率質量の保存を明示的に強制することにより、提案手法は以下のことを実現します：

1. 尤度置換の緩和: アウトライア・トークンの挙動を修正することにより、有害な振る舞いにつながる可能性のある不自然な確率シフトを防ぎます。
2. トレードオフの改善: 一般的な能力を犠牲にすることなく、好みをより効果的に学習することを可能にし、DAAの信頼性を制限してきた「過剰最適化」の問題に対処します。
3. 汎用性: このアプローチは、参照ベース（DPO）と参照フリー（SimPO）の両方のフレームワークにおいて有効であり、過剰最適化のための統一されたメカニズムを示唆しています。

著者らは、彼らの分析が、なぜDAAが（アウトライア・トークンのシフトによって）尤度を減少させているにもかかわらず生成の質を向上させるのかという理由を解明し、低尤度トークンを利用した正則化が報酬分布を再形成するための効果的な戦略であることを示していると結論付けています。また、現在の分析はオフライン設定に焦点を当てているものの、これらの知見は、好みの最適化における報酬モデルの粒度の高い挙動に関するさらなる研究を促すものであると述べています。