技術的サマリー：希薄報酬 LLM 学習のためのヒステリシス方策最適化（HPO）

1. 問題定義

本論文は、希薄な検証可能報酬環境（正解がサンプリングされた応答のごく一部にのみ存在する推論タスクなど）において大規模言語モデル（LLM）に適用されたグループ相对方策最適化（GRPO）で生じる特定の失敗モードを調査する。著者らは、この設定において学習を不安定化させる 2 つの相互依存するバイアスを特定している：

1. 符号の偏り（負の支配）： 希薄報酬シナリオでは、初期方策は主に誤った応答を生成する。その結果、サンプリングされた軌道の大部分がグループ平均を下回り、負のアドバンテージの発生頻度が高くなる（$p_- > p_+$）。これらの豊富な負のサンプルを対称的に扱うと、稀な正の信号が圧倒され、有用だがノイズの多い推論軌道が抑制されてしまう。
2. 応答レベルの長さバイアス： 標準的な GRPO は、各応答の長さ（$1/|\tau_i|$）で損失を正規化する。これにより、応答の長さと更新の大きさの間に逆比例関係が生じる：
   • 短い正解応答は、不釣り合いに大きな正の勾配を受け取り、モデルを簡潔さへと偏らせる。
   • 長い誤り応答は、不釣り合いに小さな負の勾配を受け取り、冗長な失敗を適切に罰することができない。
   • この相互作用により、最適化の圧力が報酬と長さの両方に依存することとなり、長さが検索の深さや説明と相関する推論タスクでは特に問題となる。

2. 手法

著者らは、これらのバイアスを 2 つのメカニズムを通じて解決するために設計された GRPO 目的関数の最小限の変更である**ヒステリシス方策最適化（HPO）**を提案する：

2.1 固定 HPO

HPO は、GRPO 目的関数に 2 つの構造的変更を導入する：

• 平均長さ正規化： 各応答をその自身の長さ（$|\tau_i|$）で正規化する代わりに、HPO はバッチ全体を平均応答長さ（$|\bar{\tau}|$）で正規化する。これにより、応答の長さに対する更新大きさの逆スケーリングが除去され、長い誤り応答が適切に罰せられ、短い正解応答が勾配を支配することがなくなる。
• 非対称ヒステリシス重み付け： 方策勾配更新は、アドバンテージ（$\hat{A}_i$）の符号に基づいて非対称にスケーリングされる：
  • 正のアドバンテージ（$\hat{A}_i \geq 0$）は、完全な重み（係数 = 1）を保持する。
  • 負のアドバンテージ（$\hat{A}_i < 0$）は、ヒステリシス係数 $\alpha \in [0, 1]$ によって重みが下げる。
  • 目的関数は以下のようになる：
    $$J_{HPO}(\theta) = \mathbb{E}_X \left[ \frac{1}{N|\bar{\tau}|} \sum_{i=1}^N \sum_{j=1}^{|\tau_i|} w_i \ell_{i,j}(\theta) \right]$$
    ここで、$\hat{A}_i \geq 0$ なら $w_i = 1$、そうでなければ $w_i = \alpha$ である。

2.2 適応型 HPO（A-HPO）

最適な $\alpha$ は学習 regime に依存し（方策が改善するにつれてヒステリシスが必要なくなる）、著者らはA-HPOを導入する。この変種は、現在のバッチの符号統計に基づいて $\alpha$ を動的に調整する：

• 正と負のアドバンテージ頻度の比率（$\hat{p}_+ / \hat{p}_-$）を推定する。
• 適応型重みは以下のように設定される：
  $$\alpha_{adaptive} = \text{clip}\left( \frac{\hat{p}_+}{\hat{p}_- + \epsilon}, \alpha_{min}, 1 \right)$$
• メカニズム： 負のサンプルが支配的（希薄 regime）な場合、$\hat{p}_+ / \hat{p}_-$ は小さく、$\alpha$ が減少して負の更新を減衰させる。方策が改善し分布がバランスすると、$\alpha$ は 1 に近づき、対称的な更新を回復する。これにより、固定 $\alpha$ の手動調整が不要となる。

3. 主要な貢献

1. 失敗モードの特定： 本論文は、GRPO の希薄報酬 regime における不安定性を、負のアドバンテージの支配と応答レベルの長さ正規化の組み合わせに明確に結びつけた。
2. HPO アルゴリズム： 「正のみ」学習（負のフィードバックを破棄する）と完全な対称更新との間の 1 パラメータ補間である。平均長さ正規化と非対称重み付けを組み合わせる。
3. A-HPO： バッチレベルの符号統計に基づいてヒステリシス重みを自動的に調整する軽量な適応則であり、手動のハイパーパラメータ探索の必要性を排除する。
4. 実証的検証： 除去実験（アブレーションスタディ）は、最適な挙動が正のみ（$\alpha=0$）と対称（$\alpha=1$）の更新の極端な間にあることを示し、中間的なヒステリシスの必要性を検証した。

4. 実験結果

著者らは、1.5B から 7B パラメータまでのモデルを使用して、TeleLogs（5G ネットワークの根本原因分析）とCountdown（算術構成）の 2 つのタスクで HPO と A-HPO を評価した。

• TeleLogs（Qwen2.5-1.5B）：
  • A-HPO は最終報酬 0.84 を達成し、GRPO（0.73、+15%）、GSPO（0.76、+11%）、SAPO（0.80、+5%）を上回った。
  • A-HPO は、ベースラインと同等の応答長を維持しながら「長さの崩壊」を回避し、正のみ手法で見られる現象を避けつつ、サンプル効率を大幅に向上させて高い報酬レベルに到達した。
• Countdown（1.5B–7B モデル）：
  • 報酬が希薄な学習初期段階とより困難な構成（4 つの数字を用いる Countdown-4）で、改善が最も顕著であった。
  • 例えば、Llama3.1-3B における Countdown-4 では、A-HPO は 200 ステップの報酬を GRPO の 0.40 から 0.54 に改善した。
  • 飽和 regime（例：より簡単な Countdown-3 における 7B モデル）では、性能差は縮小し、A-HPO は方策がまだ学習中のときに最も重要であることを示した。
• 除去実験：
  • $\alpha=0$（正のみ）の固定 HPO は、非常に短い出力（16 トークン）と低い報酬（0.71）に崩壊した。
  • $\alpha=1$（対称）の固定 HPO は、負の支配により性能が低下した（0.72）。
  • 最良の固定性能は $\alpha \approx 0.6$ で得られ、A-HPO は調整なしでこれを自動的に達成した。
  • 「代理寄与のバランス」の分析は、A-HPO が正と負の更新寄与の大きさを成功裡にバランスさせるのに対し、GRPO はノイズが多く負に支配されたままであることを確認した。

5. 意義と主張

本論文は、HPO と A-HPO が、LLM における希薄報酬 RL の安定性とサンプル効率を大幅に向上させる実用的で低オーバーヘッドな GRPO の修正を提供すると主張する。

• 中核原理： 著者らは、希薄報酬 regime において、負のアドバンテージ更新は利用されるべきだが、それらが圧倒的に頻繁である場合には対称的に信頼すべきではないと論じる。
• バランス： この手法は、豊富な失敗による有用な推論軌道の抑制を防ぎつつ、負の証拠を完全に破棄するという退化した挙動を回避することに成功している。
• 適応性： A-HPO は、正のみと対称更新の中間的な regime を自動的に追跡し、学習分布が希薄報酬から密な報酬へシフトするにつれて適応する、堅牢な解決策として提示される。

この研究は、密なプロセス報酬やクリティックフィードバックが利用できない場合の計算効率的な LLM 微調整にとって、HPO が不可欠な洗練であることを位置づけている。