技術的サマリー：Where だけでなく When も：RLVR のための時間的スケジューリング

問題定義

検証可能な報酬を用いた強化学習（RLVR）は、特に推論タスクにおいて、大規模言語モデル（LLM）の事後学習における支配的なパラダイムとなっています。しかし、GRPO（Group Relative Policy Optimization）などの標準的な RLVR 手法は、通常、生成されたシーケンス全体に単一のスカラー報酬をブロードキャストします。その結果、サンプリングされたすべてのトークンが方策更新に均等に参加する均一な最適化シグナルが生じ、軌道に沿って現れる不均一な方策行動（例：推論の足場、論理的な接続、振り返り、回答の収束）を見落としてしまいます。

既存の解決策は、学習シグナルをどこに分配すべきかを決定するためにクレジット割当メカニズムを導入することで、この問題に対処しようと試みています。これには以下のようなものがあります：

• プロセス報酬モデル（PRM）： ステップレベルのフィードバックを提供する（高い注釈コストを伴う）。
• トークンレベルの代理指標： トークンエントロピー、尤度、または KL 発散などの指標を用いて、優位性を再重み付けするか、最適化のためのスパースなトークン部分集合を選択する。

核心的な限界： これらの手法は優先すべき特定のトークンを特定しますが、割当基準はトレーニングプロセス全体を通じて停滞したままです。ある代理指標（例：高いエントロピー）が選択されると、対応する方策行動は継続的に強調されます。著者らは、この静的なアプローチがレジリエントな方策進化を制限し、多様な行動を同時に受け入れようとする際に方策エントロピーの犠牲を招くと主張します。本論文は、時間的次元、特に学習シグナルをいつスケジュールするかという点が、未探索であり、どこに割当るかと同様に重要であると提唱しています。

手法

本論文は、トレーニングの過程でクレジット割当基準を固定するのではなく、動的に調整する時間的スケジューリングというフレームワークを提案します。

1. 軌道パーセンタイルを自然な視点として

複雑な方策代理指標に依存する代わりに、著者はトークン位置に基づいて方策行動を区別するために**軌道パーセンタイルスコア（TP-Score）**を導入します。

• 分析： 実証的分析により、軌道位置全体で異なるトークン分布とエントロピープロファイルが存在することが明らかになりました。
  • 初期パーセンタイル： 推論の足場や制約されたパターンに関連し、低いエントロピーを示す。
  • 中間パーセンタイル： 振り返りや重要な推論に関連し、最も高いエントロピーと探索行動を示す。
  • 後期パーセンタイル： 回答の実現と要約に関連し、中程度のエントロピーを示す。
• 洞察： 軌道パーセンタイルは、複雑な代理計算を必要とせずに、不均一な行動を区別するための自然でシンプルなアンカーを提供します。

2. 時間的スケジューリングメカニズム

核心的な革新は、トレーニング進行度 $\tau$ の関数としてクレジット割当因子 $\hat{f}_t(\tau)$ をスケジュールすることです。
$$\hat{f}_t(\tau) = S(\tau) \hat{f}_t$$
ここで：

• $\hat{f}_t$ は、既存の手法（エントロピーベースの再重み付けやスパース選択など）から導出された元のクレジット割当因子です。
• $S(\tau)$ は 1 から 0 まで変化する単調減少のスケジュール関数です。
• 戦略： 最適化は、特定の行動を強化するために、最もターゲットを絞ったトークン（例：特定の代理指標によって特定されたトークン、または軌道の後方の位置）を優先して開始します。トレーニングが進むにつれて、基準は徐々に減衰し、より一般的なトークンを含むように最適化範囲が拡大します。

3. 既存のパラダイムとの統合

この手法は、既存のクレジット割当戦略に対する「ドロップイン」の代替として設計されています：

• 連続的優位性再重み付け： 重み $\psi(\mu_t)$ が $S(\tau)$ によってスケーリングされます。
• 離散的スパース最適化： 選択閾値 $\epsilon$ が動的に緩和されます：$\mu_t \geq S(\tau) \cdot \epsilon$。これにより、時間経過とともにより多くのトークンが最適化セットに徐々に含まれます。

4. 軌道パーセンタイルスケジューリング（TP-Schedule）

著者は、軌道パーセンタイルを直接使用した具体的なインスタンス化を提案します：

• 初期化： 信頼できる継続を担当する後方のトークン（高いパーセンタイル）にのみ焦点を当てます。
• 進行： 推論の足場を担当する前方のトークン（低いパーセンタイル）を徐々に組み込みます。
• 数式： $\hat{f}_t(\tau) = \mathbb{I}[t/T \geq S(\tau) \cdot 1]$、ここで $t/T$ は正規化された位置です。これにより、最適化がシーケンスの末尾から先頭へと構造化されたシフトで伝播します。

主要な貢献

1. 時間的次元の特定： 本論文は、クレジット割当のタイミングが、未探索の重要な最適化次元であると論じます。停滞した割当パラダイムに挑戦し、トレーニングステップにわたるスケジュール基準がよりレジリエントな方策進化をもたらすと提案します。
2. 時間的スケジューリングフレームワーク： 特定のトークンを早期に優先し、徐々に一般的な最適化へと減衰させることで、既存のクレジット割当技術（連続的再重み付けとスパース最適化の両方）を補完する一般的な手法です。
3. 効果的な代理指標としての軌道パーセンタイル： 著者は、単純な軌道パーセンタイルが方策行動を区別するための自然かつ効果的な基準となり、標準的な手法で見られるエントロピーの崩壊を回避するために時間的スケジューリングと相乗的に機能することを特定しました。
4. 実証的検証： 複数のモデル規模（Qwen3-4B、Qwen3-8B）、RL アルゴリズム（GRPO、GSPO）、およびベンチマーク（数学および一般推論）にわたって一貫した改善が実証されました。

実験結果

著者は、OpenMathReasoning および DeepMath-103K のデータセットを使用して、Qwen3-4BおよびQwen3-8Bモデルで手法を評価しました。ベンチマークには、分布内数学タスク（AIME、HMMT、Minerva）と分布外推論タスク（Winogrande、GPQA、MuSR）が含まれます。

• 性能向上：
  • TP-Schedule（軌道パーセンタイルを使用）は、4B モデルにおいて、数学ベンチマークでバニラ GRPO より2.2%、一般推論ベンチマークで**2.7%**上回りました。
  • 既存の停滞した手法（例：Entropy-Adv、Forking-Tok）に時間的スケジューリングを適用すると、一貫した改善が得られ、特にトークン部分集合を拡大する離散的スケジューリングが非常に大きな可能性を示しました。
  • 異なるモデルサイズや RL アルゴリズム（GSPOを含む）全体で改善が観察されました。
• トレーニングダイナミクス：
  • エントロピーの維持： 標準的な最適化は、しばしば不均一な行動を同時に受け入れるために方策エントロピーを犠牲にします。時間的スケジューリングは、トレーニング全体を通じて著しく高い方策エントロピー（一部の比較では 33.9% 以上高い）を維持し、健全なダイナミクスをもたらしました。
  • 構造化されたアライメント： KL 発散分析により、時間的スケジューリングは、均一に更新するのではなく、軌道の後方パーセンタイルから始まり、徐々に前方へと伝播する方策更新の漸進的なシフトを誘発することが示されました。

意義と主張

本論文は、時間的スケジューリングが RLVR にとって有望な最適化次元を構成すると主張しています。その意義は以下の点にあります：

• パラダイムの転換： 静的な「どこ」（トークン選択）の焦点から、動的な「いつ」（スケジューリング）の焦点へと移行すること。
• エントロピー崩壊の緩和： すべての不均一な行動を同時に受け入れることを避けることで、標準的な RLVR でしばしば見られる方策エントロピーの急速な崩壊を防ぎます。
• 単純性と互換性： このアプローチは単純な軌道パーセンタイルに依存し、既存のクレジット割当戦略と互換性があり、複雑な新しい報酬モデルや注釈コストを必要としません。

著者らは、フレームワークが現在特定の割当基準に適用されているものの、将来の研究はこの時間的フレームワーク内で多様なクレジット割当基準を調整することになると結論付けています。結果は、学習シグナルのタイミングが、トークン全体にわたる空間的分布と同様に重要であることを示唆しています。