テクニカル・サマリー: RSPO: 大規模言語モデルにおける正則化されたセルフプレイ・アライメント

1. 問題提起

セルフプレイ・アライメントは、選好最適化を2プレイヤー・ゲームとして定式化することにより、大規模言語モデル（LLM）の反復的な微調整を行う強力な手法として台頭しています。このフレームワークにおける目標は、一般的な選好モデルに基づき、LLMのポリシーが競合するポリシーよりも好ましい応答を生成するナッシュ均衡（NE）を見つけることです。効果的ではあるものの、既存のセルフプレイ手法（例：SPPO）は、参照ポリシーに対する明示的な正則化を欠いていることがよくあります。

このような正則化の欠如は、選好モデルが不正確、誤設定、あるいは表現力が限定的である場合（例：PairRMのような小規模な報酬モデル）、**過剰最適化（over-optimization）**を引き起こします。制約がないと、ポリシーは参照モデルから大きく逸脱し、結果として性能の低下、応答分布の崩壊、および多様性の減少を招きます。最近の手法（例：Nash-MD）の中には正則化を取り入れているものもありますが、それらは通常、**逆KLダイバージェンス（Reverse KL divergence）**に限定されており、他のダイバージェンス尺度への汎用が困難な特殊なサンプリング手順（幾何学的混合ポリシー）を必要とします。柔軟な正則化戦略をサポートしながら、理論的な収束保証を維持できる統一されたフレームワークは存在していません。

2. メソドロジー: 正則化されたセルフプレイ・ポリシー最適化 (RSPO)

著者らは、既存のセルフプレイ手法を統合し、多様な正則化戦略の「プラグアンドプレイ」的な統合を可能にする新しいフレームワークであるRSPOを提案しています。

コア・フレームワーク

RSPOは、平均二乗セルフプレイ損失と重み付き正則化項を組み合わせた損失関数 $L_{RSPO}$ を定義します。
$$L_{RSPO} = \mathbb{E}_{y \sim \pi_t} \left[ \left( \log \frac{\pi_\theta(y)}{\pi_t(y)} - \eta \left( G(y, \pi_t, \mu) - B(\pi_t, \mu) \right) \right)^2 \right] + \lambda R(\pi_\theta, \mu)$$

ここで：

• $G(y, \pi_t, \mu)$: 更新方向であり、通常は選好勾配 $P(y \succ \pi_t)$ に設定されます。
• $B(\pi_t, \mu)$: 分散削減のためのベースライン関数（$1/2$ に設定）。
• $R(\pi_\theta, \mu)$: 現在のポリシー $\pi_\theta$ と参照ポリシー $\mu$ の間の距離を測定する、一般的な凸正則化関数。
• $\lambda$: 正則化温度。

主要なメカニズム

1. 統合と簡潔性: RSPOは、損失関数に $\lambda R(\pi_\theta, \mu)$ という項を加えるだけで、既存の無正則化手法（SPPOなど）を一般化します。また、Nash-MDのような正則化された手法も、特殊な更新方向を持つ逆KL正則化下のRSPOの特定の一事例であることを示し、Nash-MDを一般化しています。
2. 柔軟な正則化: 特殊なサンプリング手順を必要とするNash-MDとは異なり、RSPOは任意の正則化関数 $R$ を許容します。著者らは以下の実験を行っています：
   • 逆KLダイバージェンス ($D_{KL}(\pi \parallel \mu)$)
   • 順KLダイバージェンス ($D_{KL}(\mu \parallel \pi)$)（重要度サンプリングまたは直接再サンプリングにより推定）
   • カイ二乗（$\chi^2$）ダイバージェンス
   • 線形結合（例：順KL ＋ 逆KL）
3. 理論的保証: 著者らは、RSPOの損失を最適化することが、**一般化磁気ミラー降下法（Generalized Magnetic Mirror Descent: GMMD）の枠組み内での強化学習を実行することと等価であることを確立しました。正則化関数 $R$ がエントロピー関数に対して1-強凸であるという仮定の下で、RSPOは対応する正則化選好最適化ゲームのナッシュ均衡への最終イテレート収束（last-iterate convergence）**を達成することが証明されています。

3. 主な貢献

• フレームワークの提案: セルフプレイ最適化の目的と特定の正則化の選択を切り離し、様々なダイバージェンス尺度の単純な統合を可能にするモジュール式フレームワークであるRSPOを導入しました。
• 理論的拡張: 逆KL正則化ゲームから一般的な正則化ゲームへと収束保証を拡張し、RSPOが正則化されたゲームのNEに収束することを証明しました。
• 正則化の経験的分析: 異なる正則化手法の明確な効果を明らかにする系統的な研究を実施しました：
  • 逆KL: 生の勝率を大幅に向上させ、過剰最適化を抑制するのに役立ちます。
  • 順KL: 応答の長さを短縮する傾向がありますが（長さバイアスへの対処）、相対的凸性の仮定に違反するため、単独で使用すると勝率を低下させる可能性があります。
  • 組み合わせ戦略: 順KLと逆KLの線形結合は、長さ制御された勝率（LCWR）を維持しながら多様性を向上させ、最良のバランスを実現します。
• パラメータ効率: RSPOが、より大規模な選好モデルを使用する手法と同等の性能を、大幅に少ないパラメータ数で達成できることを実証しました。

4. 実験結果

著者らは、AlpacaEval-2、Arena-Hard、MT-Bench、および ArmoRM を含むベンチマークを用いて、Mistral-7B、LLaMA-8B、および Gemma-2B でRSPOを評価しました。

• 性能向上: チューニングされた正則化（特に順KLと逆KLの組み合わせ）を用いたRSPOは、無正則化のSPPOベースラインを大幅に上回りました。
  • Mistral-7B: AlpacaEval-2におけるLCWRは、28.5% (SPPO) から 35.4% へ向上。
  • LLaMA-8B: LCWRは 38.77% から 43.66% へ向上。
  • Gemma-2B: LCWRは 50.54% から 51.83% へ向上。
• 堅牢性: 過剰最適化により後半のイテレーションで性能が低下した無正則化のSPPOとは異なり、RSPOはイテレーションを通じて性能を維持または向上させました。
• 多様性: 逆KL正則化を用いたRSPOは、特定の文脈において応答の多様性を高める（Self-BLEUスコアが低くなる）ことが観察されました。これは、「正則化は多様性を減少させる」という直感に反するものですが、参照ポリシーのマルチモーダルな分布に起因すると考えられます。
• 効率性: LLaMA-8Bに対して0.5Bの選好モデル（PairRM）で訓練されたRSPOは、8Bの選好モデル（GPM-8B）で訓練されたSPPOと同等の性能を達成しました。これは、総パラメータ数の47%削減を意味します。

5. 意義と主張

本論文は、RSPOが正則化されたセルフプレイ・アライメントの探索に向けた強力な基盤を提供すると主張しています。その意義は以下の通りです：

1. 過剰最適化問題の解決: 正則化を明示的に組み込むことで、実用的なLLMアライメントにおける重要な課題である、不正確な選好モデルに関連するリスクを軽減します。
2. 柔軟性と汎用性: 逆KLダイバージェンスへの依存を打破し、研究者が単一の理論的に健全なフレームワーク内で、異なるダイバージェンス尺度（例：順KLによる長さ制御、逆KLによる性能向上）の固有の利点を活用できるようにします。
3. 実用的インパクト: 複雑なアーキテクチャの変更や特殊なサンプリング手順を必要とせず、既存のセルフプレイ・パイプラインに対して「プラグアンドプレイ」のソリューションとして、顕著な経験的改善をもたらします。

著者らは、正則化は単なる技術的な詳細ではなく、セルフプレイ・アライメントを安定させ、効果的に行うための不可欠な構成要素であり、モデルがより高品質で、多様で、堅牢な応答を実現することを可能にすると結論付けています。