技術的サマリー：言語モデル推論におけるリセットを伴うクレジット割り当て

問題定義

多段階推論タスクにおけるポストトレーニング言語モデル向けの検証可能報酬を伴う強化学習（RLVR）の現代的な手法は、通常、軌道内のすべてのトークンに一様に単一の結果報酬を伝播させる。この「一様クレジット割り当て」アプローチは、どの特定の推論ステップが成功または失敗に寄与したかを不明瞭にする。その結果、ポリシー更新は、たとえサブセットのステップのみが欠陥であったとしても、軌道全体に無差別に適用される。この非効率性は、学習における信号対雑音比が低い長視野の推論タスクにおいて特に問題となる。

本論文は、クレジット割り当てを改善するには、軌道全体を更新するのではなく、特定の欠陥のある推論ステップを隔離し精緻化するメカニズムが必要であると主張する。生物学的システムから着想を得て、反事実的な「もしも」の結果から学習するために高影響の意思決定ポイントを再設定する手法を提案し、著者らはクレジット割り当てのプリミティブとしてリセットを使用することを提案する。リセットとは、以前に訪れた状態に再進入し、継続を再サンプリングするものであり、結果の差異をその状態から行われた意思決定に特異的に帰属させることを可能にする。

手法

本論文は、トークンレベルではなく思考レベル（各アクションが意味的に一貫した推論ステップである場合）で動作する、リセットベースの 2 つの RLVR ポストトレーニング手法を導入する。両手法とも、標準的なロールアウトのベースグループと、失敗した軌道から導出された特定のリセット状態 $x^*$ から再サンプリングされた「共有プレフィックスグループ」のロールアウトを含むトレーニングバッファを構築する。

1. ランダムリセットポリシー最適化（RRPO）

RRPO は、ランダムリセットを伴うコンセンバティブポリシーイテレーション（CPI-RR）の実用的な実現に対応する。

• メカニズム: 失敗した軌道（「シード」）に遭遇した際、リセット状態 $x^*$ は、そのシードの推論ステップから一様にランダムに選択される。
• プロセス: $x^*$ から複数のサフィックス継続がサンプリングされる。ポリシー勾配はサフィックストークンのみに適用され、共有プレフィックスはマスクされる。
• 目的: 理論的な CPI-RR ベースライン（リセット状態がオンポリシー分布から一様に抽出される）を近似すること。

2. セルフリセットポリシー最適化（SRPO）

SRPO は、クレジット割り当てリセットオラクルを伴う CPI（CPI-CARO）の実用的な実現に対応する。

• メカニズム: ランダム選択の代わりに、モデルは失敗したシード軌道内の最初の誤った思考を自己局所化する。この自己局所化は、厳密に優れたアクション（改善可能な状態）を許容する状態を特定する理論的なクレジット割り当てオラクルの代理として機能する。
• プロセス: モデルは自身の推論トレースを分析し、最初の誤りのインデックスを特定する。リセット状態 $x^*$ は、この誤りに直前にあるプレフィックスに設定される。その後、この検証済みで正しいプレフィックスから複数のサフィックス継続がサンプリングされる。
• 主要な特徴: SRPO は外部のステップレベルの監督（プロセス報酬モデルや人間の注釈など）を必要としない。これは、先行研究（Samanta et al., 2026）で支持されている、モデル自身の最初の誤りを検出する能力を活用する。

理論的枠組み

著者らは、これらの手法をコンセンバティブポリシーイテレーション（CPI）の枠組み内で分析する。彼らは、クレジット割り当てオラクルを使用して、閾値 $\tau$ 以上のアドバンテージを持つアクションが存在する「改善可能な状態」からのみリセット状態をサンプリングする理論的変種CPI-CAROを導入する。

• 理論的結果: 本論文は、CPI-CARO が標準的な CPI-RR（ランダムリセット）と比較して、サンプル複雑性の面で $1/p_\pi^2$ の改善、および反復ごとの改善增益で $1/p_\pi$ の改善を達成することを証明している。ここで $p_\pi$ は改善可能な状態に到達するオンポリシー確率である。
• 含意: リセットを改善の可能性がある状態に集中させることで、アルゴリズムは学習信号を非改善可能な状態で希釈することを回避する。

主要な貢献

1. 概念的: 本論文は、ポストトレーニングのための基本的なクレジット割り当てプリミティブとしてリセットを位置づける。改善可能な状態から再サンプリングされたサフィックス間の結果の差異は、その状態で行われた意思決定に特異的にクレジットを結びつけることを論じる。
2. 理論的: クレジット割り当てオラクルを伴う CPI 枠組みを拡張し、リセットを改善可能な状態に集中させることが、ランダムリセットよりも優れたサンプル複雑性と反復ごとの改善をもたらすという証明可能な保証を提供する。
3. アルゴリズム的・経験的: 自己局所化を利用してリセットを駆動するトレーニングフリーの手法SRPOを提案する。SRPO は、言語モデルが外部監督なしで自己修正を駆動するために誤りを効果的に自己局所化できることを実証する。

実験結果

著者らは、NuminaMath-Olympiads でトレーニングされ、数学、科学、戦略、常識推論を網羅する 10 のベンチマークおよびコーディングベンチマーク（LiveCodeBench）でテストされた 2 つのベースモデル（Qwen2.5-14B-Instruct および OLMo-3-7B-Instruct）上で SRPO と RRPO を評価した。

• 一般推論: SRPO は、標準的な GRPO および RRPO を一貫して上回った。Qwen2.5-14B モデルにおいて、SRPO は 10 タスク中 7 つで最良の結果を達成し、OLMo-3-7B においては 10 タスク中 6 つで最良であった。注目すべきは、これらの向上が数学データのみでトレーニングされたにもかかわらず、分布外ベンチマーク（科学、戦略、常識）で発生したことである。
• コーディングタスク: LiveCodeBench において、SRPO はより高いパスレートに収束し、GRPO および RRPO よりも2〜3 倍速く学習した。
• サンプリング戦略: ベースロールアウトと共有プレフィックスロールアウトの比率（例：1×4、2×4、1×8）に関するアブレーション研究により、ベースポリシーのカバレッジと共有プレフィックスの深さの間の最適なバランスを提供するのは1×4 スプリット（4 つのベースロールアウト、1 つの自己局所化プレフィックスからの 4 つのサフィックス）であることが判明した。
• 自己局所化の品質: 自己局所化メカニズムの分析により、それは不完全ではあるがオラクルの有効な代理であることが明らかになった。モデルが誤りを正しく局所化し（「クリーン」なプレフィックスを作成した場合）、修正率は誤った領域にオーバーシュートした場合と比較してほぼ2 倍高かった（28.7% 対 16.3%）。

意義と主張

本論文は、自己局所化されたリセットが推論のための RL ポストトレーニングにおける重要な進展であると主張する。一様クレジット割り当てから離れることで、SRPO は失敗の原因となる特定のステップを標的とすることで、より効率的な学習を可能にする。

• 効率性: この手法は、特に収束が加速されるコーディングタスクにおいて、標準的な GRPO よりも少ないサンプルでより高い性能を達成する。
• 自立性: SRPO は、外部のステップレベルの監督なしに動作し、モデル自身の最初の誤りを特定する内部能力のみに依存する。これにより、人間の注釈やプロセス報酬モデルが利用できない分野でもスケーラブルで適用可能となる。
• 理論的整合性: SRPO の経験的成功は、（クレジット割り当てオラクルを介して）「改善可能な状態」にポリシー更新を集中させることが、ランダムな探索戦略に対して証明可能な增益をもたらすという理論的前提を裏付けている。

著者らは、自己局所化は完璧ではないが、意味のある改善を駆動するには十分であると結論づけている。今後の研究は、自己局所化の品質の向上（専用の局所化器などを通じて）および、これらのリセットベースのクレジット割り当てメカニズムをより長視野のエージェントタスクやマルチターン対話に拡張することに焦点を当てるべきであると提案されている。