技術概要：NUDGERL – RLVR 向けの効率的な戦略誘導型探索

1. 問題定義

検証可能報酬を伴う強化学習（RLVR）は、Group-Relative Policy Optimization（GRPO）などの手法を通じて大規模言語モデル（LLM）の推論能力を向上させるためのスケーラブルなパラダイムとなっています。しかし、RLVR の有効性は本質的に探索によって制約を受けます。方策は、すでにサンプリングされた軌跡のみを改善できるからです。

この制限を緩和するための既存のアプローチは、重大なトレードオフに直面しています：

• ブルートフォースなスケーリング： ロールアウト数（$N$）を増やすことで、稀な正しい軌跡を発見する確率は向上しますが、計算コストが許容範囲を超えます。理論的な分析によれば、長尾分布を持つ正しい軌跡の確率は緩やかに減少するため、網羅するには指数関数的に大きな予算が必要となります。
• 目的関数の修正： エントロピー正則化やデカップリングクリッピングなどの手法は、分布レベルでの広範な探索を促しますが、何を探索するかに対する制御は限定的であり、意味的に有意義な推論戦略の網羅を必ずしも保証しません。
• 特権情報の利用： オラクル解や中間ステップを利用する手法（例：POPE）は実現可能性を向上させますが、高価でスケーラビリティに欠ける監督情報に依存します。さらに、方策を狭く定義された成功軌跡へと誘導することは、結果として代替となる推論戦略の発見を制限してしまう可能性があります。

核心的な課題は、計算効率が高く、スケーラブルであり、高価なオラクルデータに依存しない構造化された多様性駆動型の探索を実現することです。

2. 手法：NUDGERL

著者は、「戦略ナッジ（Strategy Nudging）」を通じて推論空間を構造化するフレームワークNUDGERLを提案します。このフレームワークは以下の 3 つの中核コンポーネントで構成されます：

A. 戦略ナッジ（構造化された探索）

単一のプロンプトからの単純なサンプリングに依存するのではなく、NUDGERL は軽量な戦略レベルのコンテキストに基づいてロールアウト生成を条件付けます。

• メカニズム： 各プロンプト $x_0$ に対して、軽量な LLM を用いてオフラインで戦略レベルのコンテキストのプール $C(x_0)$（例：特定の数学的定理や「ピタゴラスの定理」のような推論キーワード）を生成します。
• プロセス： ロールアウト生成中、単一のコンテキスト $c$ をサンプリングし、その特定のロールアウトに対してプロンプトに付加します（$x_1 = (x_0, c)$）。ベース方策との互換性を維持し、コンテキストへの過度な依存を避けるため、コンテキストドロップアウトメカニズムが適用され、ロールアウトが時折コンテキストなし（$c = \emptyset$）で生成されるようにします。
• 目的： これにより、モデルは単純なサンプリングでは見逃しがちな異なる推論モードを強制的に探索することになり、オラクル解を必要とせずにサンプリング分布を稀だが潜在的に正しい軌跡へとシフトさせることができます。

B. インター・イントラグループアドバンテージ（クレジット割り当て）

標準的な GRPO は、単一のプロンプト分布内のグループごとの報酬に基づいてアドバンテージを計算します。しかし、NUDGERL は異なるコンテキスト条件の下でロールアウトを生成するため、報酬の変動が軌跡の質とコンテキスト固有のバイアスの両方を反映するというミスマッチが生じます。

• 解決策： 著者は、信号を 2 つの成分に分解する統合されたアドバンテージ推定器を導入します：
  1. イントラコンテキストアドバンテージ： 特定のコンテキストグループの平均報酬に対する軌跡の質を測定します。
  2. インターコンテキストアドバンテージ： グローバル平均に対するコンテキスト自体の信頼性を測定します。
• 数式： コンテキスト $z(i)$ と報酬 $r_i$ を持つロールアウト $i$ に対するアドバンテージ $\hat{A}_i$ は以下のように定義されます：
  $$\hat{A}_i = \frac{A_i - \mu_A}{\sigma_A + \delta}$$
  ここで、$z(i) \neq \emptyset$ の場合 $A_i = (r_i - \bar{r}_{z(i)}) + \lambda(\bar{r}_{z(i)} - \bar{r})$ であり、それ以外の場合 $A_i = r_i - \bar{r}$ です。
• $\lambda$ の役割： このハイパーパラメータは探索と利用のバランスを取ります。$\lambda > 1$ は高報酬コンテキストからの成功を好む（利用）一方、$\lambda < 1$ は低報酬コンテキストの探索を促します。本論文は、$\lambda \in [0, 2]$ の場合、高い報酬が常に高いアドバンテージをもたらすことを証明しており、最適化目的との一貫性が保証されています。

C. 蒸着強化型目的関数（訓練・推論ギャップの橋渡し）

ロールアウトはコンテキスト（$x_1$）付きで生成されますが、推論時には方策がそれらなし（$x_0$）で動作しなければならないため、分布のミスマッチが存在します。

• メカニズム： NUDGERL は、コンテキスト条件付き探索中に発見された高品質な振る舞いをベース方策へ転送する自己蒸着項を採用します。
• 損失関数： 全体の目的関数は、コンテキスト条件付きロールアウトに対する標準的な RL 損失と蒸着損失を組み合わせます：
  $$\mathcal{L}_{NUDGERL} = \mathcal{L}_{RL} + \lambda_{distill} \mathcal{L}_{Distill}$$
  ここで、$\mathcal{L}_{Distill} = -\mathbb{E}_{y \sim \pi_\theta(\cdot|x_1)} [\hat{A} \log \pi_\theta(y|x_0)]$ です。
• 効果： これにより、方策は多様なコンテキスト下で発見された効果的な推論戦略を内部化し、コンテキストなしの推論中にそれらを再現できるようになります。

3. 主要な貢献

1. 戦略ナッジ： 高価なオラクル監督なしに多様な推論軌跡を誘発するための、軽量なヒューリスティックプロンプトを用いた新しい探索メカニズム。
2. インター・イントラグループアドバンテージ： コンテキスト誘発バイアスを内在的な軌跡の質から分離するクレジット割り当て手法により、コンテキスト条件付きロールアウトからの安定した学習を可能にする。
3. 蒸着強化型 RL： コンテキスト条件付き訓練とコンテキストなし推論の間のギャップを明示的に橋渡しし、発見された戦略がベース方策によって保持されることを保証する目的関数。
4. 実証的検証： 構造化された探索が、ブルートフォースなロールアウトスケーリングおよびオラクル誘導型手法の両方を上回ることを実証。

4. 実験結果

著者は、Qwen3-4B および Olmo3-7B モデルを用いて、5 つの困難な数学ベンチマーク（AIME24, AIME25, AMC23, MATH500, APEX）で NUDGERL を評価しました。

• 効率性対ロールアウトスケーリング： NUDGERL は、GRPO が8 倍大きなロールアウト予算を与えられた場合でも、平均性能において GRPO を上回りました（例：Qwen3-4B において、8 ロールアウトの NUDGERL は 64 ロールアウトの GRPO よりも優れていました）。
• オラクル手法との比較： NUDGERL は、高価なオラクル解の代わりに検証されていない軽量な戦略ヒントを使用しているにもかかわらず、すべてのモデルおよびベンチマークにおいてオラクルプレフィックスベースラインである POPE を上回りました。
• 探索の多様性： 分析により、NAIVE サンプリングが支配的なモードに収束することが多いのに対し、NUDGERL は発見された異なる推論クラスタの数を大幅に増加させたことが示されました。
• ケーススタディ： 特定の AIME25 問題において、GRPO は非効率的な戦略に依存して解を見つけられませんでした。一方、NUDGERL は「靴紐公式（shoelace formula）」という戦略を成功裏に発見・利用し、この特定の推論モードへの探索を強制することで正しい解を生成しました。

5. 意義と主張

本論文は、NUDGERLが、ブルートフォースなスケーリングおよび特権情報に依存する実現可能性指向の手法の両方に対する、実行可能かつ効率的な代替手段として構造化されたコンテキスト駆動型探索を実証していると主張しています。

• スケーラビリティ： 軽量でオフライン生成された戦略ヒントを使用することで、巨大なロールアウト予算の計算コストやオラクルベース手法のデータ不足の問題を回避します。
• 制御性： 確率的な分布レベル正則化とは異なり、戦略ナッジは推論空間に対する明示的な制御を提供し、多様で意味的に有意義な戦略の網羅を確保します。
• 一般化： 蒸着コンポーネントは、コンテキスト固有の発見をベース方策へ成功裏に転送し、推論時に外部ヒントに依存することなく多様な推論パターンを学習できることを証明します。

著者は、単にサンプルの量を増やすこと、あるいは狭く特権的な信号に依存することよりも、構造的なガイダンスを通じて探索の質を向上させることの方が効果的であると結論付けています。