💬 NLP

Adapt to Thrive! Adaptive Power-Mean Policy Optimization for Improved LLM Reasoning

本論文は、一般化されたパワーマイアンの目的関数とフィードバック適応型クリッピングを通じて大規模言語モデルの推論を強化する新しい強化学習フレームワークである適応型パワーマイアン方策最適化（APMPO）を導入し、複数の推論タスクにおいて最先端のベースラインを上回る性能を達成することを示す。

原著者： Yiming Huang, Zhenbo Shi, Shuzheng Gao, Cuiyun Gao, Peiyi Han, Chuanyi Liu

公開日 2026-05-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yiming Huang, Zhenbo Shi, Shuzheng Gao, Cuiyun Gao, Peiyi Han, Chuanyi Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの経験の浅い学生に、複雑な数学の問題を解く方法を教えると想像してください。あなたはその学生に問題を提示し、彼らが解こうとするのを待ち、正解か不正解かを伝えます。これが、大規模言語モデル（LLM）の推論能力を向上させるために用いられる手法、「検証可能な報酬を用いた強化学習（RLVR）」の基本的な考え方です。

しかし、この論文は、現在の指導方法がやや硬直的であると主張しています。学生のスキルが絶えず変化しているにもかかわらず、初日から最終日まで同じ「授業計画」と同じ「交通規則」が用いられているのです。

著者たちは、APMPO（Adaptive Power-Mean Policy Optimization：適応的パワーマイニング方策最適化）と呼ばれる新しい手法を提案しています。APMPOを、学生のリアルタイムのパフォーマンスに応じて指導スタイルを変える「賢く適応的なコーチ」と考えてください。これには、主に 2 つの得意技があります。

1. 「ジャスト・ミドル」な目的関数（PMPO）

問題点：
現在の手法は、2 つの極端な状態のようです。

「熱狂的な応援団」（算術平均）： この手法は、たとえ偶然の成功であっても、たった一つの正解に対して過度に興奮します。まるで、一人の学生が問題を正解したのを見て、コーチが即座にクラス全体に「これが問題を解く唯一の方法だ！」と叫ぶようなものです。これにより、学生は特定の解法に固執し、他の可能性を探求することをやめてしまいます（これを「エントロピーの崩壊」と呼びます）。
「厳格な批評家」（幾何平均）： この手法はあまりにも慎重です。「答えのどの部分でも不安定なものがあれば、全体として悪い」と言います。まるで、コーチが学生が毎回 100% 成功すると確信するまで、新しい戦略を試すことを許さないようなものです。これにより、学生は新しい正しい解法を発見することが永遠にできなくなります。

APMPO の解決策：
APMPO は、「ジャスト・ミドル（ちょうど良い）」なアプローチを採用します。これは、いつ「熱狂的な応援団」になり、いつ「厳格な批評家」になるべきかを知っているコーチのようなものです。

トレーニングの初期（学生が苦労しているとき）： コーチは「熱狂的な応援団」として振る舞います。見つかったいかなる正解のシグナルも増幅し、学生が成功への「いかなる」経路も見つけられるよう、探求を促します。
トレーニングの後期（学生が上達しているとき）： コーチは「厳格な批評家」へと移行します。一貫性を求め始め、学生が単に運が良かっただけではなく、実際に論理を理解していることを確認します。

これにより、学生が早期に行き詰まったり、長期間過度に慎重になりすぎたりすることなく、この 2 つのモードの間を自動的に滑らかに移行します。

2. 「動的な速度制限」（FAC）

問題点：
標準的な手法は、学生が 1 ステップで思考を変化させる量に対して、固定された速度制限を使用します。

学生が「穏やかなゾーン」（フィードバックが明確で一貫している領域）にいる場合、固定された速度制限は遅すぎます。学生がより大きなステップを踏むことを許されれば、より速く学習できたはずです。
学生が「荒れたゾーン」（フィードバックがノイズを含んでいるか、混乱している領域）にいる場合、固定された速度制限は高すぎます。学生が巨大で無謀なステップを踏み、転倒してしまう可能性があります。

APMPO の解決策：
APMPO は、動的な速度制限（フィードバック適応クリッピング）を使用します。

シグナルが明確で安定しているとき： コーチは「道は空いている！スピードを上げて、より大きなステップを踏み、速く学べ」と言います。
シグナルがノイズを含んでいるか混乱しているとき： コーチは「道は滑りやすい！転ばないように、小さく慎重なステップを踏んで遅く進め」と言います。

これにより、学生は安全なときは攻撃的に学習し、リスクがあるときは慎重に学習することが保証されます。

結果：より賢く、速く学習するモデル

この論文は、この「適応的なコーチ」を、数学、コーディング、視覚的推論に関する 9 つの異なるデータセットでテストしました。

比喩： 他のランナーが地形に関係なく一定のペースで走り続けるレースを想像してください。APMPO は、平坦な道では疾走し、岩だらけの道では慎重に進むランナーです。
結果： APMPO は、現在の最高水準の手法を一貫して凌駕しました。例えば、数学のベンチマークでは、以前の最高水準の手法と比較して成功率が約 3 ポイント向上しました。また、「一つの解法に固執する」という問題（思考の多様性の欠如）を回避しつつ、正解への収束をより速く行うこともできました。

要約すると： APMPO は、モデルが変化する能力に即して、いつスピードを追求し、いつ慎重さを求めるべきかを正確に知っているコーチをモデルに与えることで、AI の推論能力を向上させます。

技術的概要：LLM の推論能力向上のための適応的パワーマン政策最適化

問題定義

検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）の推論能力を強化するための重要なパラダイムとして浮上しています。しかし、グループ相対政策最適化（GRPO）やその派生手法などの既存の RLVR 手法は、トレーニング中のモデルの進化しつつある推論能力と整合しない静的な政策最適化スキームに依存しています。著者らは、現在のアプローチに以下の 2 つの主要な限界を特定しました。

静的な目的関数: 既存の手法は、トレーニング全体を通じて固定された目的関数（例えば、GRPO の算術平均や GMPO の幾何平均）を採用しています。
- 算術平均（GRPO）: 高報酬の外れ値に対して極めて敏感です。これは初期段階で稀な正しい信号を増幅しますが、特定の解への過学習を招き、エントロピーの崩壊（単一の戦略への早期収束）を引き起こすことがよくあります。
- 幾何平均（GMPO）: 分散にペナルティを課すことで一貫性を強制します。これはエントロピーの崩壊を防ぎますが、過度に保守的であり、特に正しい経路が希少であるトレーニング初期段階において、有望だが不安定な推論経路を排除する可能性があります。
- ギャップ: いずれのアプローチも、学習ダイナミクスに合わせて感度を動的に調整し、信号の増幅（探索）と分布の一貫性（安定性）のバランスを取ることはできません。
静的な政策最適化制約: 標準的なアルゴリズムは、バッチ内の報酬信号の統計的安定性に関わらず、トレーニングを安定させるために固定されたクリッピング閾値（信頼領域）を使用します。
- 課題: 報酬信号の安定性はバッチによって異なります。静的な制約は最適ではありません。安定したバッチに対しては過度に制限的（学習を阻害）であり、不安定なバッチに対しては過度に寛容（有害な更新のリスク）です。

手法：APMPO

これらの限界に対処するため、著者らは**適応的パワーマン政策最適化（APMPO）**を提案しました。これは、**パワーマン政策最適化（PMPO）とフィードバック適応的クリッピング（FAC）**という 2 つの中核的な革新を統合したものです。

1. パワーマン政策最適化（PMPO）

PMPO は、モデルのリアルタイムのパフォーマンスに基づいて算術平均と幾何平均の間を適応的に補間する、一般化されたパワーマン目的関数を導入します。

メカニズム: パワーマンの指数 $p$ は、現在のバッチの平均報酬（ $\mu_R$ ）を用いた指数減衰関数によって動的に決定されます。
$p = \exp(-\gamma \cdot \mu_R)$
適応的動作:
- 探索フェーズ（低 $\mu_R$ ）: パフォーマンスが低い場合、 $p \to 1$ となります。目的関数は算術平均のように振る舞い、稀な正しい推論経路の迅速な発見を促進するために高報酬の外れ値を優先します。
- 統合フェーズ（高 $\mu_R$ ）: パフォーマンスが向上するにつれて、 $p \to 0$ となります。目的関数は幾何平均へと移行し、一貫性を強制して過学習に対する正則化を行い、学習を安定させます。

2. フィードバック適応的クリッピング（FAC）

FAC は、固定されたクリッピング境界を、報酬信号の統計的安定性に基づいて信頼領域を調整する適応メカニズムに置き換えます。

フィードバック安定性スコア（FSS）: 信号の品質を評価するために各バッチで計算される指標です。
$FSS = \frac{\mu_R}{\sigma_R + \delta}$
ここで、 $\mu_R$ は平均報酬、 $\sigma_R$ は標準偏差です。高い FSS は高信頼性で安定したフィードバックを示し、低い FSS はノイズの多い不安定なフィードバックを示します。
適応的上限: 上限クリッピング境界（ $\epsilon_{ada}$ $ϵ_{a d a}$ ）は、双曲線正接関数を用いて FSS からマッピングされます。
$\epsilon_{ada} = \epsilon_{min} + (\epsilon_{max} - \epsilon_{min}) \cdot \tanh(FSS)$
- 安定したバッチ（高 FSS）: 信頼領域が拡大し、学習を加速するためにより攻撃的な更新を可能にします。
- 不安定なバッチ（低 FSS）: 信頼領域が狭まり、信頼性の低い信号による政策の劣化を防ぐために厳格な制約を課します。
非対称設計: 下限は固定（ $\epsilon_{low}$ ）され、誤った経路の決定的な剪定を確保する一方で、上限は適応します。これにより、「保守的な強化、決定的な剪定」というダイナミクスが生まれます。

主要な貢献

限界の形式化: 静的な目的関数やクリッピングメカニズムと、RLVR における LLM の推論能力の動的な性質との間の不整合を特定し、形式化しました。
APMPO アルゴリズム: パフォーマンス駆動型のパワーマン目的関数（PMPO）とフィードバック駆動型の適応的クリッピングメカニズム（FAC）を組み合わせた新規アルゴリズムの導入。これにより、リアルタイムのトレーニングダイナミクスに基づいて最適化戦略を継続的に調整することが可能になります。
実証的検証: 9 つのデータセットと 3 つの推論タスク（数学、SQL 生成、マルチモーダル）にわたる広範な実験により、最先端のベースラインに対する APMPO の優位性が示されました。

実験結果

著者らは、Qwen2.5-Math-1.5B-Instruct、Qwen2.5-3B-Instruct、DeepSeek-R1-Distill-Qwen-1.5B などのモデルで APMPO を評価しました。

数学的推論: APMPO は、ベースライン（GRPO、DAPO、GMPO）を一貫して上回りました。
- Qwen2.5-3B-Instructにおいて、APMPO はベンチマーク全体で平均 Pass@1 スコア 32.4 を達成し、GRPO の 29.4 を上回りました。
- 特に Math500 では、APMPO はスコアを 68.4 に向上させました（GRPO は 66.0）。
- DeepSeek-R1-Distill-Qwen-1.5Bにおいて、APMPO は平均 Pass@1 46.0 を達成し、GRPO（39.9）および DAPO（42.8）を上回りました。
その他のタスク: APMPO は、SQL 生成（Spider、BIRD）およびマルチモーダル推論（Geometry3K）において一貫した改善を示しました。
トレーニングダイナミクス: トレーニング曲線の分析により、APMPO はエントロピーの崩壊に苦しむ GRPO に比べてトレーニング全体を通じて高い政策エントロピーを維持し、GMPO よりも高いトレーニング報酬を達成することが明らかになりました。
効率性: 適応メカニズム（ $p$ と $\epsilon_{ada}$ の計算）はバッチレベルの統計みに依存しており、標準的な GRPO と比較して無視できる程度の計算オーバーヘッドしか発生しません。

意義と主張

本論文は、最適化目的と制約をモデルの学習プロセスと整合させることで、APMPO がより適応的で堅牢な RLVR アプローチを提供すると主張しています。

バランスの取れた調整: 発見に不可欠な高価値信号の増幅と、洗練に不可欠な一貫性の強制のバランスを成功裏に取っています。これは静的な手法が維持できないバランスです。
汎用性: この手法は、異なるモデルサイズや推論ドメインで有効性を示しており、適応的政策最適化が LLM の推論能力向上のための重要な方向性であることを示唆しています。
限定的な限界: 著者らは、計算リソースの制約により実験が 15 億パラメータと 30 億パラメータのモデルに限定されたことを認めていますが、恩恵はスケーリングされると予想しています。また、この手法は検証可能な成果ベースの報酬の利用可能性に依存しているため、そのような報酬の定義が困難なドメインへの即座の適用性は制限されると指摘しています。

要約すると、APMPO は、静的で画一的な RLVR 戦略から、動的でフィードバック駆動型の最適化への転換を表しており、推論精度の向上とより安定したトレーニングダイナミクスをもたらします。