EEPO: サンプル・アンド・フォゲットによる探索強化方策最適化の技術的サマリー

本論文は、大規模言語モデル（LLM）における検証可能報酬付き強化学習（RLVR）の課題である「探索と活用のバランス」に焦点を当て、EEPO（Exploration-Enhanced Policy Optimization） という新しいフレームワークを提案しています。特に、既存の GRPO（Group Relative Policy Optimization）法で見られる「エントロピーの崩壊（Entropy Collapse）」を解決し、より汎用的な推論能力を獲得するための手法を詳述しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義：エントロピーの崩壊と探索の不足

現在の RLVR（特に GRPO を用いた推論モデルの学習）では、以下の問題が発生しています。

• エントロピーの崩壊: 学習が進むにつれて、方策（Policy）が特定の正解パターン（支配的なモード）に過度に集中し、出力の多様性（エントロピー）が急激に低下します。
• 自己強化ループ: 支配的なモードからサンプリングされた回答が報酬を受け、そのモードがさらに強化されるという悪循環が生まれます。これにより、モデルは他の潜在的に優れた推論経路を探索できなくなります。
• 汎化性能の低下: 学習データ分布（In-distribution）での精度は向上しますが、未知の分布（Out-of-Distribution: OOD）や難易度の高いベンチマーク（例：AMC 2023）では性能が劣化します。これは、モデルが特定のトレーニングパターンに過剰適合（Overfitting）し、汎用的な推論パターンを発見できていないためです。
• 既存手法の限界: 温度パラメータの調整やエントロピー正則化などの「無差別なランダム化」手法は、分布を平坦にしますが、支配的なモードからの確率質量を十分に減らすことができず、自己強化ループを断ち切るには至りません。

2. 手法：EEPO（Exploration-Enhanced Policy Optimization）

EEPO は、ロールアウト（試行生成）プロセスの内部に**「サンプル・アンド・フォゲット（Sample-then-Forget）」**メカニズムを導入することで、支配的なモードからの繰り返しサンプリングを防止します。

2.1 基本的なフロー

GRPO のロールアウトを 2 段階に分け、その間に「忘却（Unlearning）」ステップを挿入します。

1. ステージ 1 サンプリング: 現在のロールアウトモデル（$\pi_{rollout}$）から $G/2$ 個の軌道（回答）をサンプリングします。
2. 適応的忘却（Unlearning）: サンプリングされた軌道に対して、モデルを一時的に更新し、これらの回答を「忘れる」ようにします。これにより、支配的なモードの確率質量が抑制されます。
3. ステージ 2 サンプリング: 更新されたモデルから、残りの $G/2$ 個の軌道をサンプリングします。この段階では、ステージ 1 で抑制された領域とは異なる、探索的な回答が生成されやすくなります。
4. 方策更新: 両ステージで得られた全 $G$ 個の軌道を用いて、標準的な GRPO の目的関数に基づき、メインのポリシーモデル（$\pi_{\theta}$）を更新します。

2.2 忘却メカニズムの 3 つの設計

ロールアウト探索に適応させるため、以下の 3 つの設計を採用しています。

1. エントロピー条件付き活性化:
   • 常に忘却を行うのではなく、エントロピーが閾値（$\alpha$）を下回った（探索が低下した）時だけ活性化します。これにより、健全な探索段階での干渉を防ぎます。
2. 相補的忘却損失（Complementary Unlearning Loss）:
   • 通常の負の対数尤度（NLL）ではなく、$L_{comp} = -\log(1 - p_{clip})$ を使用します。
   • この損失関数は、確率が高い（支配的な）トークンに対して強いペナルティを課し、確率が低いトークンには弱いペナルティを課します。これにより、支配的なモードを意図的に抑制します。
3. 一時的な単一ステップ更新:
   • 忘却は、メインのポリシー最適化とは独立して、ロールアウトモデルに対して 1 ステップの勾配更新のみ行います。
   • この効果は現在のイテレーション内のロールアウト段階に限定され、累積されず、最終的な方策パラメータには直接影響しません。これにより、計算コストを抑えつつ、探索のみを強化できます。

3. 主要な貢献

• 新しい探索メカニズムの提案: 目的関数の修正や無差別なランダム化ではなく、ロールアウトプロセス自体に介入し、支配的なモードを「一時的に忘却」させることで、能動的に探索を誘導する手法を提案しました。
• 自己強化ループの断ち切り: 支配的な回答が繰り返しサンプリングされる悪循環を物理的に遮断し、モデルが低密度な領域（他の推論経路）を探索することを可能にしました。
• 効率的な実装: 忘却処理は軽量であり、トレーニング時間の大幅な増加を伴わず、既存の GRPO フレームワークに容易に統合可能です。

4. 実験結果

5 つの数学推論ベンチマーク（Minerva Math, OlympiadBench, AMC 2023, AIME 2024/2025）において、3 つの異なる LLM（Qwen2.5-3B, Llama3.2-3B-Instruct, Qwen3-8B-Base）で評価を行いました。

• 性能向上:
  • Qwen2.5-3B: GRPO 対して平均相対改善 24.3%（21.0% → 26.1%）。
  • Llama3.2-3B-Instruct: GRPO 対して平均相対改善 33.0%（17.6% → 23.4%）。
  • Qwen3-8B-Base: GRPO 対して平均相対改善 10.4%（34.7% → 38.3%）。
  • 特に AMC 2023（OOD ベンチマーク）では、GRPO が 30.3% だったのに対し、EEPO は 45.0% を達成し、汎化性能の劇的な向上を示しました。
• エントロピーの維持: 学習を通じてエントロピーが急激に低下する GRPO と異なり、EEPO は高いエントロピーを維持し、ステージ 2 ではさらにエントロピーが増加することが確認されました。
• トレーニング効率: 既存の探索強化手法（温度上昇など）はトレーニング時間を大幅に増加させるのに対し、EEPO は標準的な GRPO と同等のトレーニング時間で高性能を達成しました。

5. 意義と結論

EEPO は、RLVR における「探索と活用」のトレードオフを解決するための実用的かつ効果的なアプローチです。

• 戦略的探索: 単なるランダム化ではなく、「支配的なモードを意図的に排除する」という戦略的な探索を実現しました。
• 汎化能力の向上: 学習データへの過剰適合を防ぎ、未知の難問に対する推論能力を大幅に向上させます。
• 実用性: 計算コストを増大させることなく、既存の GRPO パイプラインに組み込むことが可能です。

本論文は、LLM の推論能力をさらに引き出すために、探索プロセスの設計が重要であることを示唆し、今後の RLVR 研究における新しい方向性を提示しています。