技術的サマリー：効率的な RL 事後学習のための学習ゾーンエネルギー（LZE）

1. 問題定義

強化学習（RL）の事後学習は、GRPO（Group Relative Policy Optimization）や DAPO などのアルゴリズムを活用し、大規模言語モデル（LLM）における数学的推論を引き出すための支配的なパラダイムとなっている。しかし、既存の手法は、ほぼすべてのプロンプトにロールアウトと勾配予算を均等に配分している。このアプローチは、以下の根本的な非効率性に悩まされている。

• 習得済みプロンプト: モデルが既に確実に解けるサンプルは、アドバンテージ項が消失するため、学習信号への寄与が極めて小さい。
• 到達不能プロンプト: モデルの現在の能力を遥かに超えるサンプルは、ほとんど実行可能な勾配情報を生成しない。
• 非効率性: 計算予算の相当部分が、これらの「情報量の少ない」グループに浪費される一方で、モデルの「学習ゾーン」（結果が混在し、勾配が最も情報量が多い領域）は十分に活用されていない。

既存の解決策、すなわち静的なカリキュラム学習や、全正解・全不正解の結果に基づいて保持/破棄するバイナリオンライン拒否などは、いずれも硬直的すぎるか、進化中のポリシーに適応できず、または解けるかどうかを予測するために高価な補助モデル（例：隠れマルコフモデル）に依存している。

2. 手法：学習ゾーンエネルギー（LZE）

著者らは、モデルのアクティブな学習フロンティアに計算を集中させる、完全オンラインかつ軽量なデータ選択フレームワークである**学習ゾーンエネルギー（LZE）を提案する。LZE の核心は、各トレーニングステップにおいて各プロンプトグループに対して計算される、閉形式の学習ゾーンエネルギースコア（$E_i^{(t)}$）**である。

エネルギースコア

このスコアは、3 つの相補的な信号を単一のスカラーに融合する。
$$E_i^{(t)} = \underbrace{D_i^{(0)}}_{\text{難易度アンカー}} \cdot \underbrace{4p_i^{(t)}(1 - p_i^{(t)})}_{\text{結果の不確実性}} \cdot \underbrace{(1 + \alpha m_i^{(t)})}_{\text{モーメンタム}}$$

1. 結果の不確実性（$4p(1-p)$）: 現在のグループ通過率 $p_i^{(t)}$ に基づく。この項は $p=0.5$ で最大値を取り、$p=0$ または $p=1$ で消失する。これは、モデルが一貫して失敗も成功もしない「学習ゾーン」を直接ターゲットとする。理論的には、この項は GRPO 勾配推定量の分散と整合する。
2. 難易度アンカー（$D_i^{(0)}$）: $1 - p_i^{(0)}$ と定義された固定された事前分布であり、ここで $p_i^{(0)}$ は初期通過率である。これは、ポリシーノイズにより一時的に $p=0.5$ 付近に位置する、元々易しかったプロンプトにカリキュラムが収束するのを防ぎ、モデルが歴史的に困難な問題に焦点を当てることを保証する。
3. 通過率モーメンタム（$m_i^{(t)}$）: $p_i^{(t)} - \mu_i^{(t-1)}$ と定義され、ここで $\mu$ は過去の通過率の指数移動平均（EMA）である。この項は因果的なハイパスフィルタとして機能し、ポリシーが積極的に改善しているプロンプトを増幅し、学習が停滞しているものを抑制する。

トレーニングアルゴリズム

LZE は二段階の選択プロセスを採用する。

• 後方選択（Top-K）: 各ステップにおいて、システムはすべてのアクティブなプロンプトに対してエネルギースコアを計算する。ポリシー勾配更新のために、上位 $\kappa$ 分（例：40%）を保持する。探索をバランスさせるため、ランキング前にガンベルノイズが追加される。
• 前方剪定とリプレイ: エポックレベルにおいて、$T_{prune}$ 連続エポックで 100% の正解率を達成したプロンプトは「剪定プール」に移され、ロールアウト生成時にスキップされる。定期的に、これらの剪定されたプロンプトの一部が再評価（リプレイ）され、忘却の検出と回復が行われる。

3. 理論的貢献

本論文は、設計選択に対する理論的根拠を提供する。

• 勾配の情報量: 著者らは（定理 1）、標準的な固定ベースライン近似の下では、プロンプトに対する GRPO 勾配推定量の分散が、ベルヌーイ分散 $p(1-p)$ にほぼ比例することを証明する。これにより、エネルギースコアにおける不確実性項が勾配の情報量の主要な駆動因子であることが確認される。
• 信号処理解釈: モーメンタム項は（命題 2）、通過率系列に適用された因果的ハイパスフィルタの出力と等価であることが示され、急速なポリシー変化を捉える役割を数学的に正当化する。
• アテンションの類比: エネルギースコアは、サンプルレベルのアテンションメカニズムとして解釈される。ここで、難易度アンカーがキーとして、現在の状態がクエリとして、そしてスコアがアテンション重みとして機能する。

4. 実験結果

LZE は、Qwen ファミリーモデル（1.5B から 8B）を用い、GSM8K、MATH、DAPO-MATH データセットで評価され、AMC23 および AIME25 における分布外（OOD）テストも行われた。

• 性能: トレーニングデータの各ステップあたり 40% しか使用していないにもかかわらず、LZE はすべての設定においてフルデータベースラインと同等かそれ以上の性能を示す。
• OOD 汎化: この手法は OOD ベンチマークで顕著な向上をもたらす。特定のモデル/データセットの組み合わせにおいて、AIME25 で**+45.9%、AMC23 で+18.2%**の改善が見られた。
• 効率性: スコア更新のためのフルロールアウトカバレッジを維持しつつ、バックプロパゲーションを上位 40% のプロンプトに制限することで、LZE はトレーニング FLOPs を推定36% 削減する。
• ウォールクロック時間: この手法はトレーニング時間を大幅に短縮し、ベースラインよりも 1.40 倍から 1.65 倍速く収束に達する。前方剪定機がアクティブな場合、さらに 1.91 倍までの高速化が達成される。
• アブレーション研究: 不確実性項を除去すると最大の性能低下が生じ、学習ゾーン仮説が検証される。モーメンタム項は OOD 汎化に不可欠であり、難易度アンカーは選択が元々易しいプロンプトに収束するのを防ぐ。

5. 意義と主張

本論文は、LZE が RL 事後学習の非効率性に対する原理的、軽量、かつ完全オンラインな解決策を提供すると主張する。その意義は以下の点にある。

1. 補助的オーバーヘッドの排除: 学習された生成状態モデルやオフライン前処理を必要とする以前の手法とは異なり、LZE は追加モデルを必要としない閉形式スコアを使用する。
2. 動的適応: 静的なカリキュラム手法とは異なり、進化中のポリシーに継続的に適応する。
3. 理論的整合性: 選択基準は、ポリシー勾配更新の期待される大きさと数学的に整合しており、計算リソースが最も高い学習信号を生む場所に費やされることを保証する。
4. スケーラビリティ: このアプローチは、任意のグループベース RL アルゴリズム（例：GRPO、DAPO）と互換性があり、基盤オプティマイザの変更を必要としないため、モデルスケールを超えて広く適用可能である。

著者らは、実験が現在、二値検証可能な報酬を持つ数学的推論タスクに限定されており、オープンエンドな設定やノイズの多い報酬設定への転移可能性は今後の研究における未解決の課題であると指摘している。