🤖 machine learning

ESPO: Early-Stopping Proximal Policy Optimization

本論文は、失敗する推論経路を動的に終了させてノイズを除去し計算リソースを節約する強化学習アルゴリズムであるESPO（Early-Stopping Proximal Policy Optimization）を提案するものであり、これによりAIMEやMATH-500などのベンチマークにおける数学的推論性能を向上させると同時に、トークン使用量を20%以上削減する。

原著者： Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、時として過信しやすい生徒（大規模言語モデル）に、複雑な数学の問題を解く方法を教える場面を想像してください。

問題：間違った方向への「埋没コスト」

これらのモデルを訓練する現在の手法（PPO）では、生徒に問題が提示され、その解答をステップバイステップで書き出すよう求められます。

ここで重要な点があります：生徒が最初の文でわずかな間違い（例えば、数値の誤認や誤った公式の選択）を犯した場合、その後の文章全体が台無しになります。その後の500語をどれほど美しく書き上げても、答えは間違っていることになります。

しかし、標準的な訓練手法は、間違いを犯した後でも、厳格な単語数制限に達するまで生徒に書き続けることを強要します。

無駄： コンピュータは、決して「良い評価」を得ることのない数百語の無意味な文章を生成するために、時間とエネルギーを費やします。
混乱： 教師（アルゴリズム）は、生徒に何を教えるかを決めるために文章全体を評価しますが、そこで混乱を招きます。末尾の巨大な「悪い」テキストの塊を見て、「ああ、生徒は文の終わりが下手だった」と思い込み、問題の発生源が最初にあることに気づかないのです。この「ノイズ」が学習を遅らせ、非効率にします。

解決策：ESPO（「早期停止」コーチ）

この論文は、ESPO（Early-Stopping Proximal Policy Optimization：早期停止近接方策最適化）と呼ばれる新しい手法を提案しています。ESPOを、生徒をリアルタイムで監視し、「止まれ！軌道から外れている。やり直そう」と言う権限を持つコーチと想像してください。

ESPOの仕組みを、簡単な比喩を用いて説明します。

1. 「後悔」レーダー
生徒が単語を選ぶたびに、モデルは「後悔スコア」を計算します。

比喩： 生徒には、どの単語が最善かという直感（「貪欲」な選択）があると想像してください。もし彼らがその直感と大きく異なる単語を選んだ場合、後悔スコアは上昇します。
魔法： ESPOは、新しい教師や人間が各ステップを評価する必要はありません。単語選択の背後にある数学的根拠である生徒自身の内部の「直感」を見るだけで、彼らが躊躇しているか、無謀に推測しているかを判断します。

2. 「価値」ゲート
コーチはまた、「価値メーター」も確認します。このメーターは、現在の経路に残っている「良い」部分を予測します。

論理： 生徒が有望な経路（高価値）にいる場合、コーチは小さな間違いから回復するために少しの余裕を与えます。しかし、経路が絶望的（低価値）に見え、かつ生徒が高い後悔（混乱）を示している場合、コーチは即座に電源を切ります。

3. 「吸収的失敗」ルール
ESPOが生徒を停止させたとき、単に「やり直せ」と言うだけではありません。その特定の瞬間を終端失敗としてマークします。

比喩： 生徒に500語のナンセンスを書かせてから、その文章全体をゼロ点にするのではなく、ESPOは「ここで間違いを犯した。残りの文章は存在しない」と言います。
利益： これにより、生徒に対して非常に明確で鋭いシグナルが送られます。「間違いはまさにここで起こったのであって、最後ではない」と。これにより、生徒は後に続くゴミのようなテキストのノイズなしに、どこで間違えたかを正確に学ぶことができます。

結果：より速く、賢く、安価に

この論文は、AIME や AMC などの数学コンペティションのような数学的問題を用いて、さまざまなサイズのモデルでこの手法をテストしました。

より良い成績： ESPOで訓練されたモデルは、標準的な手法と比較して、これらの難易度の高い数学テストで実際に高いスコアを獲得しました。より多くの問題を正しく解きました。
エネルギーの節約： モデルが間違っていると分かると書き続けるのをやめたため、通常は無意味なテキストの生成に浪費されるコンピュータパワー（トークン）の20%以上を節約しました。
追加の教師不要： 推論の各ステップを評価するために人間を雇う必要がある他の手法とは異なり、ESPOはモデル自身の内部シグナルを使用してこれを自動的に実行します。

まとめ

要約すると、ESPOは、すでに破綻した思考の連鎖に時間とエネルギーを浪費しないようにする訓練技術です。「悪い」部分を早期に切断し、間違いがどこで発生したかを明確にマークすることで、モデルがより速く学び、より難しい問題を解決し、より少ない計算資源で済むように支援します。

技術概要：ESPO（Early-Stopping Proximal Policy Optimization）

問題定義

大規模言語モデル（LLM）における強化学習（RL）、特に長期的な推論タスクにおいて、標準的なアルゴリズムである近接方策最適化（PPO）は、「ロールアウト継続問題」に悩まされています。モデルが早期に回復不可能な推論エラー（例えば、数学的な計算ミスや論理的誤謬）を犯した場合、標準的な PPO は、固定された時間範囲（ $T_{max}$ ）に達するまで、ポリシーにトークンの生成を強制的に継続させます。

このプロセスは、以下の 2 つの重大な非効率性を導入します：

計算資源の浪費：モデルは、決して正の報酬を受けないトークンに対して多大な計算リソースを費やします。
勾配ノイズ：失敗後のこれらのトークンは、成功した軌道からのトークンと共にアドバンテージ推定に含まれます。これにより、「失敗後のノイズ」が勾配方向を汚染し、学習プロセスを実際の失敗モードから逸れさせ、タスクを解決する代わりにポリシーがログオッズの spread を縮小させることを誘発する可能性があります。

既存の解決策、例えばプロセス報酬モデル（PRM）は、中間ステップの人間による注釈に多大なコストを要します。GRPO や DAPO などの他の手法はクレジット割り当てを改善しますが、依然としてすべての軌道に対して完全な時間範囲を使い果たします。学習された終了モジュール（Option-Critic など）はモデルの複雑性を増大させ、個別の最適化目的を必要とします。

手法：ESPO

著者らは、ESPO（Early-Stopping Proximal Policy Optimization）を提案します。これは、追加の報酬モデルや人間の注釈を必要とせず、軌道の失敗をオンザフライで検出し、ロールアウトを早期に終了させる軽量メカニズムです。ESPO は PPO 目的そのものではなく、ロールアウト収集フェーズを修正します。

中核コンポーネント

ステップごとの代理後悔（ $g_t$ ）：
ESPO は、アクターが既に生成したログオッズのみを使用して、各時間ステップで後悔シグナルを計算します。これは、サンプリングされたトークンがポリシーの最も好まれる（貪欲な）行動からの乖離を測定します：
$g_t = \max_{a \in V} \log \pi_\theta(a | s_t) - \log \pi_\theta(a_t | s_t)$
大きな $g_t$ は、モデルがモードよりも著しく好まれない行動をサンプリングしたことを示し、正しい推論経路からの逸脱の可能性を示唆します。
正規化累積停止統計量（ $z_t$ ）：
訓練中のスケール変化に対処するため、 $g_t$ はバッチレベルの指数移動平均（EMA）統計量（ $\mu_g, \sigma_g$ ）を用いて正規化されます。この正規化されたシグナルは、累積後悔値を形成するために時間的に平滑化されます：
$z_t = \alpha_s z_{t-1} + (1 - \alpha_s) \tilde{g}_t$
重要なのは、現在のロールアウト内の将来のステップからの情報漏洩を防ぐため、EMA 統計量はバッチ境界でのみ更新されることです。
値ゲート付き早期終了：
累積後悔が現在の状態の推定値を著しく超える場合、ロールアウトは終了されます：
$z_t > \beta \cdot \max(V_\phi(s_t), \epsilon)$
このゲート機構により、高い予測将来リターン（高い $V_\phi$ ）を持つ状態は、逸脱に対してより多くの許容度を与えられ、正解だがモードではないトークン（高エントロピーステップ）の早期終了を防ぎます。
吸収失敗遷移：
終了時、軌道は吸収失敗状態として扱われます。停止ステップは終了ペナルティ（ $r_{fail}$ ）を受け取り、それ以上のデコーディングは行われません。これにより、負の時間差（TD）誤差が検出された失敗ステップに集中し、その後の無関係なトークンのノイズなしに、一般化アドバンテージ推定（GAE）を通じてエラーシグナルがクリーンに逆伝播することを可能にします。
クリティックウォームアップ：
ランダムに初期化されたクリティックの高い分散による誤った早期終了を防ぐため、ESPO は適応的なウォームアップ期間を採用します。クリティックが安定した学習ダイナミクスを示すまで、停止ルールは無効化されます。

主要な貢献

効率的なロールアウト終了：ESPO は、標準的なアクター・クリティック PPO に既に存在するシグナル（ログオッズと値推定）のみを使用して、失敗する軌道を検出し切断するメカニズムを導入し、実質的に追加の計算を必要としません。
ノイズ低減：切断を終了ペナルティ付きの吸収失敗状態として扱うことで、ESPO は負の TD 誤差を失敗点に隔離し、標準的な PPO における勾配更新を通常汚染する「失敗後のノイズ」を除去します。
直交性：この手法は、既存のクレジット割り当ての改善（GRPO や DAPO など）と直交しており、任意の PPO スタイルのアドバンテージ推定器の上にレイヤリングできます。
外部監督の不要：PRM と異なり、ESPO はステップレベルの人間の注釈や個別の報酬モデルを必要としません。

実験結果

著者らは、3 つのベンチマーク（AIME 2024、AMC 2023、MATH-500）における数学的推論のために訓練されたDeepSeek-R1-Distill-Qwen-1.5Bおよび7Bモデル上で ESPO を評価しました。

性能向上

7B スケール：ESPO は、すべてのベンチマークで標準的な PPO および DAPO を上回りました：
- AIME 2024：46.28%（PPO 45.25%、DAPO 45.57% 対比）
- AMC 2023：85.83%（PPO 82.94%、DAPO 83.76% 対比）
- MATH-500：87.42%（PPO 85.43%、DAPO 85.95% 対比）
- 平均精度：73.17%（PPO 71.20%、DAPO 71.76% 対比）。
1.5B スケール：ESPO は平均精度 59.09% を達成し、PPO（57.03%）および DAPO（58.29%）を上回りました。

効率性向上

トークン節約：ESPO は、7B スケールにおいて PPO に対して20% 以上、DAPO に対して**約 19%**の累積ロールアウトトークンを削減しました。
アブレーション研究：
- クリティックウォームアップを除去すると性能が 2.1 ポイント低下し、較正されていない値ベースラインからのバイアスを防ぐその役割を確認しました。
- 終了失敗ペナルティを除去すると性能が 2.6 ポイント低下し、集中した負の TD シグナルの重要性を浮き彫りにしました。
- ランダム停止（バリアント F）は、同様のトークン節約にもかかわらず、著しく低い精度（46.3% 対 42.4%）を達成しました。これは、改善が単に短いシーケンスで訓練することから生じるのではなく、軌道が（後悔/値に基づいて）どこで切断されるかによって生じることを証明しています。

意義と主張

本論文は、ESPO が LLM における長期的推論の進展のためのスケーラブルで計算効率的なフレームワークを提供すると主張しています。その主な意義は、ロールアウト継続問題を解決することにあります：

回復不可能な軌道における無駄な計算の排除。
補助的な報酬モデルや人間の注釈を必要とせずに、失敗後のノイズを除去することによるポリシー勾配の浄化。
探索の維持：この手法はエントロピーの崩壊を引き起こしません。実際、非失敗トークンに対してポリシーを分布を鋭くすることを強いる誤った勾配シグナルを除去することで、PPO に比べてエントロピー減衰の速度を遅らせます。

著者らは、「誤っているが非常に自信がある」（ログオッズのギャップが小さい）モデルに関する限界と、切断率の調整における手動ハイパーパラメータ調整の必要性に言及し、適応メカニズムやマルチターンエージェント設定への拡張に関する将来の作業を提案しています。