技術的サマリー：RLHF を超えて：アライメントの統合された理論的枠組み

問題定義

人間のフィードバックに基づく強化学習（RLHF）は、大規模言語モデル（LLM）を人間の嗜好に整合させるための支配的なパラダイムとなっています。しかし、本論文は、現在の RLHF および関連するアライメント手法の理解において、重要な理論的ギャップが存在することを指摘しています：

1. 正当性の欠如: 既存の理論は、RLHF の目的関数を同義反復（目的関数自体の集団版への収束）として扱うことが多く、なぜそれがターゲット言語モデルに収束するのかという学習理論的な正当性を提供していません。
2. 互換性のない枠組み: 異なる手法（例：DPO、RLHF、REBEL）は、異なる理論的枠組みの下で分析されており、それらの収束保証を直接比較することを妨げています。
3. RLHF のジレンマ: 標準的な RLHF 目的関数は、正則化強度 $\beta$ に関して漸近的なジレンマに直面します。$\beta$ が固定されたままだと、モデルは過小適合し（参照方策に留まりすぎ）、データが増加するにつれて $\beta$ がゼロに減衰すると、解が崩壊する可能性があります。
4. 経験的 vs 理論的ギャップ: 経験的には、オンポリシー目的関数である RLHF は、直接嗜好最適化（DPO）のような尤度ベースの手法よりも優れていることがよくありますが、既存の理論は各手法に対して個別の場当たり的な保証しか提供していないため、この優位性を説明できません。

著者らは、アライメントを報酬の最大化ではなく、ペア嗜好からの分布学習として再定義することを提案します。核心的な問いは、「どのような仮定の下で、ターゲット言語モデル（$\pi^*$）へ証明可能に収束する訓練目的関数を導出できるか？」です。

手法

本論文は、ターゲット（オラクル）言語モデル $\pi^*$ の存在を仮定し、嗜好フィードバックが $\pi^*$ に関する情報をどのように明らかにするかを明示的にモデル化します。

1. 嗜好モデル

著者らは、ブラッドリー・テリー（BT）モデルを仮定します。ここで、プロンプト $x$ が与えられたとき、応答 $a$ を $b$ よりも好む確率は、外部の報酬関数ではなく、ターゲットモデルの確率によって直接決定されます：
$$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$$
ここで、$\gamma > 0$ はハイパーパラメータです。この仮定は、嗜好モデルが明示的に言語モデルであることを意味し、報酬と LM の間の関係を導出するために「全方策」仮定に依存する DPO と対照的です。

2. 提案された目的関数

この分布学習の視点に基づき、著者らは 3 つの原理的なアライメント目的関数を導出します：

• 嗜好最尤推定（PMLE）:
  この目的関数は、BT 仮定の下での観測されたペア嗜好の尤度を最大化し、参照方策 $\pi_0$ への KL 発散によって正則化されます。
  $$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$$
  明示的な正則化項を持たない尤度比を最小化する DPO と異なり（潜在的に崩壊した分布につながる可能性あり）、PMLE は安定性を確保するために明示的な KL 項を含みます。

• 嗜好蒸留:
  このアプローチは、まず報酬モデル $\hat{R}$（嗜好シミュレータの学習に相当）を学習し、その後、この嗜好分布を言語モデルに蒸留します。REBEL のような二乗誤差を使用するのではなく、学習されたシミュレータとターゲット方策の二値嗜好分布間の KL 発散を最小化します：
  $$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$$
  この定式化は BT モデルから明示的に導出され、二乗誤差の統計的正当性の問題を回避します。

• 逆 KL（RKL）最小化:
  目標が分布学習であることを認識し、著者らは逆 KL 発散 $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$ の最小化を提案します。$\pi^*$ は未知であるため、報酬モデルから導出された推定量 $\hat{\pi}$ を代入します。
  $$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$$
  この目的関数は RLHF に似ていますが、追加のエントロピー項（$-\gamma H(\pi(x))$）を含みます。著者らは、これが RLHF の修正として機能し、標準的な RLHF が $n \to \infty$ において真の $\pi^*$ に収束しない漸近的なジレンマを解決すると主張します。

3. 理論的保証

本論文は、3 つの手法すべてに対して非漸近的な $O(1/n)$ 収束保証を提供します。具体的には、前方 KL 誤差 $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$ がデータセットサイズ $n$ に対して $O(1/n)$ の速度でゼロに収束することを証明しています。

• PMLE と嗜好蒸留: 方策クラス $\Pi$ のカバレッジ係数に依存する境界を達成します。
• 逆 KL: 報酬誘導モデルクラス $\mathcal{P}_\gamma(\mathcal{R})$ のカバレッジ係数に依存するより tight な境界を達成します。これはしばしば $\Pi$ のカバレッジ係数よりも小さくなります。これは、オンポリシー手法（RKL/RLHF など）が尤度ベースの手法（PMLE/DPO など）よりも経験的に優れている理由を理論的に説明するものです。

主要な結果

理論的知見

• RLHF の正当化: RKL 目的関数は、RLHF 目的関数に対する強力な理論的正当化を提供します。エントロピー補正が適用される限り、それは一貫した分布学習目的関数の特殊なケース（$\gamma \to 0$）であることを示しています。
• ジレンマの解決: 理論的分析と玩具実験（図 1）は、正則化ジレンマにより標準的な RLHF が $n \to \infty$ において非ゼロ誤差で飽和する一貫性の欠如に苦しむのに対し、提案された RKL 手法は真のターゲットモデルに収束することを示しています。
• オンポリシー手法の優位性: この理論は、逆 KL（RLHF に類似）が、方策クラス全体ではなく報酬モデルクラスのより小さな複雑さを利用するため、PMLE（DPO に類似）よりも優れた収束保証を享受することを確認しています。

経験的知見

実験は 2 つのタスクで行われました：

1. TL;DR 要約: Pythia-2.8B および Pythia-6.9B モデルを使用。
   • 勝率: 提案手法（PMLE、嗜好蒸留、逆 KL）は、ベースライン（DPO、REBEL、RLHF）と比較して一貫して高い GPT-4 勝率を達成しました。
   • KL 発散: PMLE は、DPO と比較して参照モデルに対する KL 発散が有意に低く、明示的な正則化子の利点を検証しました。
2. 一般チャット（UltraFeedback）: LLaMA-3-8B-Instruct を使用。
   • MT-Bench、AlpacaEval 2.0、Arena Hard で評価。
   • PMLE と嗜好蒸留は、ほとんどのベンチマークで DPO と REBEL を上回り、特に AlpacaEval 2.0 と Arena Hard で顕著な改善を示しました。

意義と主張

本論文は、ペア嗜好からの分布学習として問題を扱う、アライメントの最初の統合された理論的枠組みを提供すると主張しています。主な貢献は以下の通りです：

1. 統合された視点: 既存の手法（DPO、RLHF、REBEL）を単一の確率的仮定の下で統合し、それらの隠れた仮定を明示化します。
2. 理論的基盤: ペアフィードバックからターゲット分布を学習することに対する厳密な非漸近的 $O(1/n)$ 収束保証を提供します。これは以前はこの設定では利用できませんでした。
3. 経験的傾向の説明: オンポリシー目的関数（RLHF）が尤度ベースの目的関数（DPO）よりも経験的に優れているという観察に対し、報酬モデルクラスと方策クラスのカバレッジ特性の違いに起因するとする、最初の理論的確認を提供します。
4. RLHF の修正: 標準的な RLHF 目的関数の特定の欠陥（一貫性を欠くエントロピー項の欠如）を特定し、RLHF の実用的な利点を維持しつつ理論的一貫性を保証する修正された目的関数（RKL）を提案します。

著者らは、彼らの手法が強力なベースラインと競合するものの、主な価値は「なぜ」これらの手法が機能し、どのように改善できるかを説明する理論的枠組みにあると結論付けています。今後の研究として、モード探索型とモードカバリング型の目的関数の探求、および代替発散への枠組みの拡張が提案されています。