技術要約：報酬分割による価値フリーな方策最適化

問題提起

大規模言語モデル（LLM）を人間の好みに適合させる作業は、通常、人間からのフィードバックに基づく強化学習（RLHF）または直接選好最適化（DPO）に依存しています。しかし、これらのパラダイムは以下のようなスケーラビリティと安定性の課題に直面しています。

• RLHF は、ペアごとの選好に関するコストの高い人間によるアノテーション、個別の報酬モデル（RM）の訓練、そしてサンプル効率が悪くハイパーパラメータに敏感な不安定な強化学習ループ（PPOなど）を必要とします。
• Direct Preference Optimization (DPO形式) の手法は、明示的なRMやRLのループを排除しますが、精緻なペア選好データを必要とします。モデルが向上するにつれ、高品質な応答同士を区別することが困難になり、アノテーションコストを押し上げています。
• 単一軌跡学習（Single-Trajectory Learning） は、$(prompt, response, scalar\_reward)$ のタプルを用いる実用的な代替案を提供します（例：グッドボタン／バッドボタンによるアノテーション）。しかし、Direct Reward Optimization (DRO) といった既存の手法は、方策と価値関数を共同で学習することに依存しています。この共同最適化は、価値推定の誤差が方策の訓練にバイアスを与えるため、分散、不安定性、およびオフポリシー・データへの敏感さを導入します。

核心となる問題は、補助的な価値関数を学習する複雑さや不安定さを排除しつつ、スカラー報酬データから直接方策を最適化するための、安定、スケーラブル、かつシンプルな手法を必要としていることです。

手法：報酬分割最適化 (RPO)

著者らは、学習された価値関数の必要性を排除するために、KL正則化下における最適方策の解析的形態を活用した、価値フリーな目的関数である Reward Partitioning Optimization (RPO) を提案しています。

理論的基礎

KL正則化された報酬最大化における最適方策の定式化から出発します：
$$\pi^*(y|x) = \pi_{ref}(y|x) \exp\left(\frac{1}{\tau} (r(x, y) - V^*(x))\right)$$
ここで、$V^*(x)$ は報酬を正規化するための分配関数として機能するソフト価値関数です。従来のDROのような手法は、$V^*(x)$ を個別のニューラルネットワークを用いて近似しますが、これは方策（$\pi_\theta$）と価値（$V_\phi$）の結合された最適化を招きます。

RPOは、データから直接分配関数を経験的に推定することで、これを回避します。与えられたプロンプト $x$ に対して、この手法はデータセット内の利用可能なすべての応答 $y_j$ を集計して、経験的分配関数 $\hat{Z}(x)$ を計算します：
$$\hat{Z}(x) = \sum_{j \in I_x} \pi_{ref}(y_j|x) \exp\left(\frac{1}{\tau} r(x, y_j)\right)$$
ここで、$I_x$ はプロンプト $x$ を持つサンプルのインデックス集合です。したがって、経験的価値は $\hat{V}(x) = \tau \log \hat{Z}(x)$ となります。

最適化目的

RPOは、学習された方策と参照方策の間の対数比に対する直接的な回帰として学習タスクを定式化します。損失関数は、予測された対数比と、中心化・スケーリングされた報酬との間の二乗誤差を最小化します：
$$\mathcal{L}_{RPO}(\theta) = \frac{1}{2} \mathbb{E}_{(x,y,r) \sim D} \left[ \left( \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} - \frac{1}{\tau}(r(x, y) - \hat{V}(x)) \right)^2 \right]$$

本手法の主な特徴は以下の通りです：

• Value-Free（価値フリー）: 補助的な価値ネットワークを訓練しません。$\hat{V}(x)$ は、参照方策と観測された報酬からオンザフライで計算されます。
• 安定した勾配: 勾配更新は方策パラメータのみに依存し、学習された価値推定器へのバックプロパゲーションを回避します。
• オフライン互換性: 本手法は完全にオフラインであり、オンラインRLループを必要とせずに大規模なデータセットにスケールします。

主な貢献

1. RPOの提案: 分配関数の定式化を活用することで、価値推定を経験的報酬正規化に置き換える、新しい単一軌跡方策最適化手法。
2. DROの分析: 共同の方策・価値最適化による不安定性を指摘し、Direct Reward Optimizationに対する理論的および実践的な批判を行う。
3. 形式的導出: RPOが分配関数の定式化を利用することで、最適方策の構造を近似することを示す証明。
4. 広範な評価: エンコーダ・デコーダ（Flan-T5）およびデコーダのみ（Mistral, LLaMA, Qwen）のアーキテクチャにわたる包括的な実験を行い、SFT、KTO、DROに対して一貫した優位性を実証。

実験結果

著者らは UltraFeedback データセット、および複数のベンチマーク（AlpacaEval, MT-Bench, IFEval, GSM8K）においてRPOを評価しました。

ドメイン内パフォーマンス (UltraFeedback)

• 指標: RPOは、自動指標（BERTScore, ROUGE-L, Distinct-2）および安全性（Toxicity）において、一貫してSFT、KTO、DROを上回りました。
• LLM-as-a-Judge: GPT-4oおよびClaude-3.5による評価において、RPOはベースラインに対して高い勝率を達成しました。
• 安定性: KLダイバージェンス分析により、RPOは滑らかで制御された軌跡を維持する一方で、DROは（特にデコーダのみのモデルにおいて）強い発散を示し、KTOは振動を示すことが示されました。
• 効率性: RPOは、すべてのモデルスケールにおいて、DROやKTOと比較して高速な収束と低い訓練時間を実現しました。

分布外 (OOD) 汎化

• RPOは、タスクに依存するものの堅牢な改善を示しました。利得は、指示追従ベンチマーク（AlpacaEval, IFEval）で最も顕著でした。
• 推論タスク（GSM8K）およびマルチターン会話（MT-Bench）における性能は、モデルファミリーによって変動はあるものの、一貫して緩やかな改善を示しました。

アブレーション研究

• 温度 ($\tau$): 本手法は中程度の平滑化（$\tau=5.0$）には頑健ですが、非常に鋭いスケーリング（$\tau=0.1$）では大幅な性能低下を招き、最適化が不安定になります。
• 経験的正規化 ($\hat{V}(x)$): プロンプトレベルの報酬正規化を除去すると、意味的類似性、多様性、および安全性において一貫した劣化が生じ、その決定的な役割が確認されました。
• データ密度: プロンプトあたりの完了数が減少すると性能が低下し、密度25%の設定では品質が大幅に低下しました。これは、正確な分配関数推定のために、プロンプトごとの多様な報酬分布に依存していることを浮き彫りにしています。
• ノイズへの堅牢性: RPOは中程度の報酬ノイズ（$\sigma=0.1, 0.5$）に対しては安定していますが、ノイズ強度が上昇すると性能は低下します。ただし、強い破損（$\sigma=1.0$）の下でも崩壊することはありませんでした。

意義と限界

本論文は、RPOが既存の整列（アライメント）手法に対するシンプル、スケーラブル、かつ安定した代替案を提供すると主張しています。価値関数の学習を排除することで、最適化の複雑さと分散を軽減し、絶対的な報酬監督を提供します。著者らは、ペア選好データが不足しているがスカラーフィードバックが利用可能なシナリオにおいて、RPOがスケーラブルな選好最適化の有望な方向性であると位置付けています。

著者らが認める限界:

• データ要件: RPOは、分配関数を効果的に推定するために、複数の完了が存在するグループ化されたデータに依存しています。プロンプトレベルの多様性が不十分な場合、性能が低下します。
• 報酬の質: 中程度のノイズには耐性がありますが、本手法は依然として報酬アノテーションの質に依存しており、深刻な破損はアライメントに悪影響を及ぼします。
• 評価範囲: 現在の評価は主に指示追従とアライメントのベンチマークに焦点を当てています。より広いドメイン、多言語設定、および長期的な推論タスクについては、汎化性能を完全に評価するためにさらなる研究が必要であると著者らは述べています。