技術的概要：破滅的忘却を防止するためのロバストな方策最適化

問題定義

大規模言語モデル（LLM）は、通常、安全性や有用性との整合性を取るための人間のフィードバックに基づく強化学習（RLHF）から始まり、その後、特定の下游タスク（例：数学的推論、コーディング）のための微調整を行う、多段階のパイプラインを通じて訓練されます。このパラダイムにおける決定的な脆弱性は「破滅的忘却」です。つまり、わずかな下游の更新さえも、安全性ガードレールのような以前に学習された行動を劣化させる可能性があります。

先行研究は、事後的に能力を維持するための「下游時緩和戦略」（例：リハーサル、パラメータ効率型微調整、正則化、またはモデルマージ）に主に焦点を当ててきました。しかし、著者らは、これらの手法が特定の下游手順に依存しているため不十分であると主張します。もしモデルが後にこれらの特定のプロトコルから逸脱する「通常の」微調整にさらされた場合、以前に学習された行動は依然として脆いままです。核心的な課題は、下游タスクや使用されるアルゴリズムに関わらず、ベース方策そのものが将来の適応に対してロバストであることを確保することです。

手法：微調整ロバスト方策最適化（FRPO）

著者らは、将来の下游シフトに対する安定性のためにベース方策を最適化するように設計されたフレームワークである**微調整ロバスト方策最適化（FRPO）**を提案します。

1. 問題定式化：最大最小ロバスト性

著者らは、この問題を最大最小最適化として形式化します。現在の方策 $\pi_\theta$ における期待報酬のみを最大化するのではなく、目的関数は、$\pi_\theta$ の KL 有界近傍内に存在する任意の下游方策 $Q$ によって達成可能な最小報酬を最大化することを目指します。

最適化問題は以下のように定義されます：
$$\max_{\pi_\theta} \left( \inf_{Q: \mathbb{E}[\text{KL}(Q \parallel \pi_\theta)] \le \rho} \mathbb{E}_{x,y \sim Q}[r(x,y)] - \beta \text{KL}(\pi_\theta \parallel \pi_{\text{ref}}) \right)$$

ここで、$\rho$ は KL 近傍の半径を表し、信頼領域、小さな学習率、または LoRA 制約などの、標準的な下游微調整の制約を反映しています。この制約は、プロンプト分布全体での期待値として課され、タスク関連プロンプトにおける大きなシフトを許容しつつ、ベース方策との平均的な近接性を維持することを可能にします。

2. 理論的導出

分布ロバスト最適化の双対性理論（特に $f$-divergence 制約の下）を用いて、著者らは内側の最小化問題の双対形式を導出します。

• エントロピックリスク目的関数： 双対定式化により、ロバストな目的関数はエントロピックリスク目的関数の最適化と等価であることが示されます。$Q$ に関する内側の最小化は、以下の最大化問題に変換されます：
  $$-\lambda \log \mathbb{E}_{y \sim \pi_\theta} \left[ e^{-r(x,y)/\lambda} \right]$$
  ここで、$\lambda$ はリスク感受性を制御する調整可能なハイパーパラメータです。
• 解釈： この目的関数は、標準的な期待報酬最大化よりも、低報酬の軌道に対してより重くペナルティを課します。これは実質的に、方策空間内の報酬ランドスケープにおいて「平坦な」領域を追求するものであり、小さな摂動（下游微調整）が性能の急激な低下を招かないことを保証します。
• 極限ケース： $\lambda \to \infty$ となると、この目的関数は期待報酬を最大化する標準的な GRPO（Group Relative Policy Optimization）目的関数を回復します。

3. アルゴリズム的実装

著者らは、追加の計算オーバーヘッド（例：学習されたクリティックや追加のフォワードパスなし）を導入することなく、この新しい目的関数を最適化するためにGRPOアルゴリズムを適応させます。

• 重要度サンプリング： 新しい方策下での期待値は、重要度サンプリングを通じて遅延方策 $\pi_{\text{old}}$ からのサンプルを用いて推定されます。
• クリッピングとベースライン： 安定性を確保するために、アルゴリズムは重要度比に対する PPO スタイルのクリッピングを採用します。重要なのは、$\lambda$ が大きい場合の対数分配関数の勾配における高い分散を相殺するために、著者らがベースライン項を導出したことです。
• バイアス低減： 対数分配関数のモンテカルロ推定は、$O(1/G)$ のバイアス（ここで $G$ はグループサイズ）を導入します。著者らは、このバイアスを $O(1/G^2)$ に低減するためにジャックナイフ手法（1 つ除外推定）を採用し、小さなグループサイズでも安定した収束を確保しています。

主要な貢献

1. ロバストな RLHF フレームワーク： この論文は、KL ボール内のすべての下游シフトを考慮する最大最小定式化を導入します。この定式化が、方策空間における報酬の平坦性を最適化するエントロピックリスク目的関数と数学的に等価であることを示し、理論的基盤を提供します。
2. FRPO アルゴリズム： 追加の計算を必要としない、GRPO の実用的なドロップイン代替手段です。既存の RLHF パイプラインとシームレスに統合され、安定性のための導出されたベースラインを含み、$\lambda \to \infty$ において標準的な GRPO を回復します。
3. 実証的検証： 手法は、安全性整合と数学的推論を含む多様なシナリオで評価され、標準的な微調整や他のロバスト性ベースラインと比較して、以前の能力の保存において優れていることが示されました。

実験結果

著者らは、FRPO を安全性トレーニングと数学的推論という 2 つの主要なシナリオで評価しました。

1. 安全性トレーニング（安全性ガードレール）

• 設定： モデル（Mistral-v0.1 および Qwen2.5）は、FRPO を用いて変化する $\lambda$ で安全性データセット上で訓練され、その後、下游タスク（指示追従のための Alpaca、数学のための GSM8K、RL 用の UltraFeedback）で微調整されました。
• 知見：
  • FRPO で訓練されたモデル（$\lambda \approx 0.2$）は、標準的な GRPO と比較して、微調整後に安全性拒絶率が著しく高く、有害性スコア（StrongREJECT）が低く維持されました。
  • この手法は、全パラメータ SFT、さまざまな学習率、LoRA などの積極的な微調整設定下でも、安全性ガードレールを効果的に維持しました。
  • トレードオフ分析： 小さな $\lambda$ は安全性をよりよく維持する一方、大きな $\lambda$ は安全性の犠牲を伴ってわずかに有用性を向上させました。最適な $\lambda$ はタスクに依存しますが、安全性に関しては一般的に低い値であることが判明しました。
  • 下游パフォーマンス： 重要なのは、FRPO は GRPO と比較して下游タスクのパフォーマンス（例：GSM8K の精度、MMLU スコア）を損なわなかったことであり、安全性の保持が新しいタスクの学習失敗によるものではないことを確認しました。

2. 継続的学習（数学からコードへ）

• 設定： モデルはまず数学的推論（MATH データセット）で訓練され、その後、コード生成（OpenCodeInstruct）で微調整されました。
• 知見：
  • 数学報酬のより高い分散に最適化された $\lambda = 2.0$ の FRPO は、GRPO よりも数学的精度を著しくよく維持しました。
  • 具体的には、FRPO はコード微調整後の MATH500 ベンチマークにおいて、GRPO と比較して22% 高い精度を維持し、コーディングベンチマーク（MBPP+）でも同等の向上を達成しました。

3. 除去実験

• SAM との比較： 著者らは、FRPO をシャープネス感知最小化（SAM）と比較しました。パラメータ空間で動作する SAM は GRPO よりもいくつかの改善を提供しましたが、方策/KL 空間で動作する FRPO は優れていました。著者らは、パラメータ空間における SAM の L2 ボールは下游方策のシフトを完全に捉えるものではなく、KL ボールは出力分布のシフトを直接制約すると指摘しています。
• $\lambda$ の役割： 実験により、$\lambda$ が平均報酬と分散の間のトレードオフを制御することが確認されました。最適な $\lambda$ は、報酬の標準偏差と KL バジェット $\rho$ と相関しています。

意義と主張

この論文は、下游微調整に対するロバスト性は、後の介入に依存するのではなく、RLHF 中にベース方策に直接組み込まれるべきであると主張します。KL 有界近傍内での報酬安定性を最適化することで、FRPO は「報酬平坦な」領域に位置する方策を特定し、それらを本質的に破滅的忘却に対して耐性のあるものにします。

著者らは、FRPO を以下の点で汎用的な解決策として位置づけています：

• 多様なドメイン（安全性、数学、コーディング）で機能する。
• 標準的な GRPO と比較して追加の計算コストを必要としない。
• 特定の下游微調整プロトコルに依存しない、LLM における継続的学習のための原理的かつ数学的に裏付けられたアプローチを提供する。

この研究は、将来の適応に対するロバスト性を最適化するという原則が、RLHF を超えて事前学習や教師あり微調整にも拡張可能であり、整合性と継続的学習研究における新たな方向性を提供することを示唆しています。