技術要約: ACPO – 細粒度サロゲートエントロピーによる適応型クレジット・ポリシー最適化

1. 問題提起

強化学習（RL）は、数学やコーディングのような検証可能な目的関数を持つドメインにおいて、大規模言語モデル（LLM）の推論能力を大幅に向上させてきました。しかし、決定的なボトルネックが依然として存在します。それは**疎な結果報酬（sparse outcome rewards）**です。検証可能な報酬（RLVR）を用いた標準的なRLでは、通常、長い思考の連鎖（Chain-of-Thought: CoT）の軌跡の最後にのみ、スカラー報酬が与えられます。

GRPO（Group Relative Policy Optimization）のような既存のスケーラブルな手法は、この軌跡レベルの報酬をすべてのトークンに対して一様に割り当てます。この「無差別な」割り当ては、個々の推論ステップの寄与度を無視しており、高い分散と不安定性を招きます。最近のエントロピーを考慮したアプローチは、トークンの不確実性を重要度のプロキシとして使用することでこれに対処しようとしていますが、主に以下の2つの制限に直面しています：

1. 粗いヒューリスティック: 「ハードバケット」（例：上位20%の高エントロピー・トークンを一律に扱う）に依存する手法は、複雑な推論に必要な細粒度性を欠いています。
2. 最適化のミスマッチ: 真のエントロピーを直接最適化することは、サンプリングされたトークンのポリシー更新と整合しない非局所的な勾配成分（全語彙分布に作用するもの）を導入する可能性があります。さらに、真のエントロピーは、デタッチ（detach）されている場合でも、語彙分布のロングテールにおけるノイズに対して敏感です。

2. 手法: 適応型クレジット・ポリシー最適化 (ACPO)

ACPOは、**モード局所的なサロゲートエントロピー（mode-local surrogate entropy）**に基づいてポリシー更新を動的に調整する、トークンレベルのクレジット割り当てフレームワークを提案します。

2.1 コアとなる洞察: エラー発生時のエントロピー・スパイク

数学的推論タスク（AIME）に関する実証分析により、明確なパターンが明らかになりました。モデルが推論エラーを起こすと、誤った軌跡のステップごとの条件付きエントロピーは急激に上昇し、高い状態を維持しますが、正しい軌跡は低く安定したエントロピーを維持します。これは、不確実性が、推論における重要な「分岐点」を特定するための強力なシグナルであることを示唆しています。

2.2 サロゲートエントロピーの定式化

真のエントロピーによる最適化のミスマッチを避けるため、ACPOは、支配的なモードの補完確率として定義されるサロゲートエントロピー（$\delta_{i,t}$）を導入します。
$$\delta_{i,t}(\theta) = 1 - \pi_\theta(v^*_{i,t} | q, y_{i,<t})$$
ここで、$v^*_{i,t}$ は最も確率の高いトークンです。

• モード局所的な焦点: 全語彙のエントロピーとは異なり、$\delta$ はモデルの最も可能性の高い予測に対する確信度のみに焦点を当てます。
• 勾配の挙動: 「モードの整合性（modal alignment）」（サンプリングされたトークンが頻繁に支配的なモードと一致するという仮定）の下では、$\delta$ の勾配は全分布ではなく、支配的なモードに対して局所的に作用します。これにより、更新の大きさを調整しながら、意図したポリシー勾配の方向性を維持します。
• 理論的境界: 本論文では、このサロゲートが真のシャノンエントロピーに対して決定論的な境界を持つことを証明しており、質量が集中したLLMの分布において堅牢な近似を提供します。

2.3 非対称クレジット割り当て

ACPOは、成功した軌跡と失敗した軌跡を区別する非対称な重み付けスキームに、このサロゲートエントロピーを統合します。

1. 正のアドバンテージを持つ軌跡（成功）:

   • 目標: 不確実だが正しい決定を強化する。
   • メカニズム: 重みは $(2 + \delta_{i,t})$ によってスケールされます。
   • 根拠: 成功したロールアウトにおける高い不確実性は、モデルが確信を持てなかったが正解した重要な推論ステップであることを示しており、これらのステップを強調すべきです。定数オフセット '2' は、モジュレーション係数が常に正であることを保証し、勾配の反転を防ぎます。

2. 正のアドバンテージを持たない軌跡（失敗）:

   • 目標: 過剰に自信を持った間違いを罰し、エラー後の不確実性によるノイズを低減する。
   • メカニズム: 重みは $(1 - \delta_{i,t})$ によってスケールされます。
   • 根拠: 誤った軌跡は、低不確実性（過剰な自信）のエラーと、その後の高エントロピーなノイズを含んでいることがよくあります。ACPOは、自信のある（誤った）トークンには大きなペナルティを、その後の不確実なトークンには小さなペナルティを割り当てることで、効果的にクレジット信号を「クリーンアップ」します。

最終的な目的関数 $J_{ACPO}$ は、これらの非対称な重みを、SAPO（Soft Adaptive Policy Optimization）の標準的なソフトゲーティング機構と組み合わせたものです。

3. 主な貢献

1. 細粒度な適応型クレジット割り当て: 正の軌跡と非正の軌跡を非対称に扱い、不確実な成功を強調し、過剰に自信を持った失敗を罰する、トークンレベルの重み付けスキーム。
2. サロゲートエントロピーの定式化: 真のエントロピーによる最適化のミスマッチを回避する、新しいモード局所的な不確実性のプロキシ。これは決定論的なエントロピー境界を提供し、モードの整合性と近接更新の下でポリシー勾配の方向を維持します。
3. 実証的な有効性: 3つのベースモデル（Qwen2.5-Math-7B, DeepSeek-R1-Distill, Qwen3-8B-Base）を用いた競争力のある推論ベンチマークにおける検証により、強力なベースラインに対する一貫した改善を実証しました。

4. 実験結果

実験は、数学的推論ベンチマーク（AIME 2024/2025, MATH500, HMMT25, BeyondAIME）およびコーディングベンチマーク（HumanEvalPro）を用いて行われました。

• パフォーマンス: ACPOは、GRPO、DAPO、GTPO、SAPOを含む強力なRLベースラインを一貫して上回りました。
  • Qwen2.5-Math-7B において、ACPOは平均スコア 34.04 を達成し、SAPO (31.53) および GTPO (31.89) を上回りました。
  • DeepSeek-R1-Distill-Qwen-7B において、ACPOは 40.21 に達し、次に優れたベースラインである SAPO (38.35) を大幅に上回りました。
• 学習ダイナミクス: SAPOと比較して、ACPOは学習報酬と検証精度の初期段階における改善が速いことを示しました。後半の段階では、より高い検証精度を維持しており、これは学習の安定性と、より高いパフォーマンスの天井を示しています。
• アブレーション研究:
  • 非対称設計 $(2+\delta, 1-\delta)$ は、対称的なバリアントやデタッチされた真のエントロピーを使用する場合よりも優れていることが証明されました。
  • トップ1の支配的モード（サロゲートエントロピー）を使用することは、デタッチされた真のエントロピーやトップ-$k$ バリアントを使用することよりも効果的であり、支配的モードの不確実性が簡潔かつ効果的なプロキシであることを裏付けています。

5. 意義と主張

本論文は、ACPOが、高価なプロセス報酬モデル（PRM）や人間によるアノテーションを必要とせずに、LLMの疎な報酬RLにおける根本的な「クレジット割り当てのボトルネック」に対処することを主張しています。粗い一様な報酬割り当てを、細粒度でエントロピーを考慮したメカニズムに置き換えることで、ACPOはモデルが結果のシグナルからより効果的に学習することを可能にします。

著者らは、真のエントロピーが非局所的な勾配を導入するのに対し、彼らのモード局所的なサロゲートはサンプリングされたトークンの更新と一致することを、理論的根拠に基づき強調しています。結果は、成功した不確実なステップと失敗した過剰な自信を持つステップを異なるものとして扱うことが、推論タスクにおけるRL学習の安定化と加速に極めて重要であることを示唆しています。この手法は、既存のGRPOベースのフレームワークに対する、スケーラブルでプラグアンドプレイ可能な改善策として提示されています。