技術的概要：Hölder 方策最適化（HölderPO）

1. 問題定義

グループ相対方策最適化（GRPO）は、外部クリティカルモデルを必要としないことで、複雑な推論能力を備えた大規模言語モデル（LLM）の整合化において、計算効率の高い支配的なアルゴリズムとして浮上しています。しかし、GRPO は、軌道レベルのアドバンテージをトークンレベルの方策更新にマッピングするために、固定された集約メカニズムに依存しています。具体的には、系列内のトークンレベルの重要度比率を算術平均（$p=1$）を用いて集約します。

著者らは、この静的なアプローチに重大な限界を特定しました：異なる推論タスクは、異なる信号密度を示し、単一の固定集約関数が普遍的に最適であるわけではありません。

• スパース信号タスク（例：AIME。正しい推論ステップが稀で、その大きさが大きい場合）：算術平均のような固定集約は、これらの稀な「ひらめき」を、特筆すべきでないトークンと平均化することで希釈したり、逆に、それらを十分に増幅できずに失敗したりします。
• 高密度信号タスク（例：MATH。監督が多数のトークンに分散している場合）：高比率のトークンに過度に集中する集約は、高分散の勾配更新を引き起こし、学習の崩壊を招く可能性があります。

経験的観察は、トレードオフを明らかにしています：学習崩壊を防ぐ固定集約は、しばしばスパースタスクでのピーク性能をもたらさない一方、スパースタスクでの性能を最大化するものは、しばしば高密度タスクで不安定に陥ります。本論文は、最適な確率集約は定数ではなく、タスクの信号密度と学習の進行状況の関数であると主張します。

2. 手法：HölderPO

これを解決するため、著者らはHölderPOを提案しました。これは、Hölder 平均（または$p$-ノルム）を介してトークンレベルの確率集約を統合する、一般化された方策最適化フレームワークです。

コアメカニズム

固定された平均の代わりに、HölderPO はスカラー $p \in \mathbb{R}$ で集約演算子をパラメータ化します。トークンレベルの重要度比率の系列 $\{r_{i,t}(\theta)\}$ が与えられたとき、系列レベルの代理項 $\rho_{i,p}(\theta)$ は以下のように定義されます：
$$\rho_{i,p}(\theta) = \begin{cases} \left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} r_{i,t}(\theta)^p \right)^{1/p} & \text{if } p \neq 0 \\ \exp\left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log r_{i,t}(\theta) \right) & \text{if } p = 0 \end{cases}$$
この定式化は、標準的な GRPO（$p=1$、算術平均）および GSPO/GMPO（$p \to 0$、幾何平均）を特殊ケースとして回復しつつ、負の値へとスペクトルを拡張します。

理論的解析：集中と安定性のトレードオフ

本論文は、最適化の風景におけるパラメータ $p$ の役割の理論的特徴付けを提供します：

1. 勾配の集中（$p > 0$）： $p$ が増加するにつれ、勾配重み分布 $W_{i,t}(p)$ は、最も高い重要度比率を持つトークンに単調に集中します。これは、スパースタスクにおける初期段階の学習に不可欠な、スパースで高magnitude の学習信号を増幅しますが、分散の上限を緩めます。
2. 分散の上限（$p \le 0$）： $p$ が減少する（負の値を含む）につれ、方策勾配推定量の分散は厳密に引き締まります。負の $p$ 値は集中を反転させ、比率が 1 未満（躊躇を示す）のトークンをアップウェイトし、推論の多様性を促進し、高密度信号タスクにおける学習を安定化させます。
3. トレードオフ： 静的な $p$ は、信号増幅の最大化と分散の最小化を同時に達成することはできません。高い $p$ は初期段階の信号発見に最適であり、低い（または負の）$p$ は後期段階の収束安定性に最適です。

動的スケジューリング戦略

最適な $p$ が学習の進行とともに変化することを認識し、HölderPO は動的アニーリングアルゴリズムを導入します。パラメータ $p$ は、学習ライフサイクル全体を通じて、正の初期値（$p_{high}$）から低いまたは負の終端値（$p_{low}$）へと単調に減少するようにスケジュールされます。

• 初期フェーズ： 高い $p$ は、初期の方策改善を推進するために、スパースで高magnitude の信号を増幅します。
• 後期フェーズ： 低い/負の $p$ は、安定した収束を確保し、モード崩壊を防ぐために勾配分散の上限を収縮させます。

3. 主要な貢献

1. HölderPO フレームワーク： 適応可能な Hölder パラメータ $p$ を通じて様々な平均ベースの集約を統合する一般化された方策最適化フレームワーク。静的な算術平均または幾何平均を超えた探索空間を拡張します。
2. 理論的基盤： $p$ の両面性の正式な証明：より大きな $p$ は勾配を集中させてスパース信号を増幅し、より小さな $p$ は勾配分散を厳密に制限します。著者らは、静的な構成では両端を同時に達成できないことを証明し、動的スケジューリングを動機付けました。
3. 経験的ブレイクスルー：
   • 静的な高い $p$（例：$p=3$）が、困難な AIME ベンチマークでの性能天井を破り（46.7% の精度に到達）、実証されました。
   • 動的スケジューリング（$p: 2 \to -2$）がこれらの利点を統合し、追加の計算オーバーヘッドなしに最先端（SOTA）の結果を達成することを示しました。

4. 実験結果

著者らは、Qwen2.5-Math および Qwen2.5-Instruct ベースモデルを使用して、数学的推論およびエージェンシー意思決定ベンチマーク上で HölderPO を評価しました。

• 数学的推論：
  • AIME24（スパース信号）： 静的な $p=3$ は**46.7%**の精度を達成し、以前の GRPO 記録である 43.3% を上回りました。
  • MATH500（高密度信号）： より低い $p$ 値（例：$p=-1$）は、優れた安定性と性能（85.0% の精度）をもたらしました。
  • 全体的な性能： 動的アニーリング戦略（$p: 2 \to -2$）は、5 つの数学ベンチマーク（AIME、AMC、MATH、Minerva、OlympiadBench）全体で54.9%の平均精度を達成しました。これは標準的な GRPO に対して7.2% の相対的な gainであり、PMPO などの同時進行手法を上回ります。
• エージェンシータスク（ALFWorld）：
  • ALFWorld ベンチマークにおいて、HölderPO は93.8%の成功率を達成し、GRPO（72.8%）に対して28.8% の相対的な gainとなりました。
  • 著者らは、エージェンシータスクでは、ベースモデルにドメイン固有の事前学習が欠如しているため、より保守的なスケジュール（$p: 1 \to -1$）が最適であったと指摘し、フレームワークの適応性を強調しています。

5. 意義と主張

本論文は、HölderPO が、GRPO などの静的方策最適化手法に内在する根本的な集中 - 安定性のトレードオフを解決すると主張しています。集約メカニズムを固定されたハイパーパラメータではなく、連続的なダイヤルとして扱うことで、このフレームワークはモデルに以下を可能にします：

1. 学習の初期段階において、スパースで高magnitude の学習信号を積極的に増幅する。
2. 後期段階において、安定した収束を確保するために勾配分散を厳密に制御する。

著者らは、この動的適応性が、学習信号の性質が変化する長期的な推論タスクにおいて重要であると強調しています。この手法は、クリティカルフリー RL の計算効率を維持しながら、多様なベンチマークで SOTA 性能を達成します。

認められた限界：

• スケジュールは、タスクごとに経験的に調整を必要とするハイパーパラメータ（$p_{high}$、$p_{low}$、減衰形状）を導入します。
• 正の集中領域（$p > 0$）は、検証器が偽陽性の信号を提供する場合、高比率のトークンを積極的に増幅するため、報酬ハッキングへの感受性を高める可能性があります。

今後の課題：
著者らは、手動調整の必要性を取り除くために、バッチレベルの勾配分散やトークン比率の分散などのリアルタイム指標に基づいて $p$ を調整する適応型スケジューラーの開発を提案しています。