技術要約: Off-Context GRPO (OC-GRPO)

1. 問題提起: RLVRにおける「学習の崖（Learning Cliff）」

検証可能な報酬を用いた強化学習（RLVR）、特にグループ相対方策最適化（GRPO）を用いた手法は、大規模言語モデル（LLM）の推論能力を向上させるための支配的なアプローチとして台頭しています。しかし、著者らは**学習の崖（learning cliff）**として知られる根本的な失敗モードを特定しています。

標準的なGRPOでは、与えられた問題に対して一連の回答がサンプリングされ、検証器によってスコア付けされ、そのグループ内での相対的なパフォーマンスに基づいてアドバンテージが計算されます。もし問題が十分に難しく、ロールアウトグループ内に正解の解を一つも生成できなかった場合、すべての報酬はゼロになります。その結果、グループ内の報酬分散はゼロに収束し、勾配信号もゼロになります。これにより、どれほど学習を継続しても、モデルには学習信号が得られなくなります。

既存の回避策は、多くの場合、訓練中に特権的な情報（例：解の接頭辞、ヒント、またはオラクル情報）をプロンプトに注入する**特権的ガイダンス（privileged guidance）を含んでいます。これにより、少なくともいくつかのロールアウトが成功するようにして学習信号を回復させることができます。しかし、これはオフコンテキスト問題（off-context problem）**を導入します。

• 訓練分布: ロールアウトは、展開時には利用不可能な特権的情報を含むガイデッド・プロンプト $g(x)$ からサンプリングされます。
• ターゲット目的関数: 目標は、元の、ガイダンスのないプロンプト $x$ に対して方策を最適化することです。
• ミスマッチ: 標準的なガイデッド手法（例：POPE, BREAD）は、ポリシーが $x$ へと「逆汎化（back-generalization）」することを前提として、ガイデッド・プロンプト $g(x)$ に条件付けられた目的関数 $J_{guide}(\theta)$ を最適化します。著者らは、これは展開時に評価される目的関数とは異なる目的関数を暗黙的に最適化していると主張しています。このミスマッチは、分布のシフトを吸収する能力が限られている小規模なモデルにおいて、偏った勾配、目的関数の不整合、および訓練の不安定化を招く可能性があります。

2. 手法: Off-Context GRPO (OC-GRPO)

本論文では、学習の崖を克服するためにガイデッド・ロールアウトを利用しつつ、分布のミスマッチを数学的に補正することで、更新が元のアンガイデッドな目的関数 $J(\theta)$ をターゲットとするようにする、GRPOの最小限の修正版であるOC-GRPOを提案しています。

コアメカニズム: 重要度サンプリング補正

OC-GRPOは、ガイデッド・ロールアウトをあたかも元のプロンプトから生成されたかのように扱うのではなく、トークンごとの方策比率に重要度サンプリング（Importance Sampling, IS）補正を適用します。

• 標準的なGRPOの比率: $\rho_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | x, y_{i,<t})}$
• OC-GRPOの比率: $\rho^{oc}_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | g(x), y_{i,<t})}$

ここで、分子はターゲットである「アンガイデッド」なプロンプトに基づく現在のモデルのトークン確率を表し、分母は実際のサンプリング分布である「ガイデッド」なプロンプトに基づく確率を表します。

理論的特性

1. 不偏性: ガイデッド分布下での重み付き期待値は、元のアンガイデッドな目的関数の期待値と数学的に完全に等しいことが証明されています。これにより、アルゴリズムは $J_{guide}(\theta)$ ではなく $J(\theta)$ を最適化することが保証されます。
2. 挙動を考慮したクレジット割り当て: 重要度比率は、動的なクレジット割り当てメカニズムとして機能します。
   • 成功時: 正解の軌跡がガイデッド・プロンプト下では非常に高い確率で発生するが、アンガイデッド・プロンプト下では低い確率である場合（つまり、モデルがヒントに強く依存していた場合）、重要度比は $<1$ となり、正のクレジットを減衰させます。これにより、モデルが問題を解くのではなく、単に「ヒントに従う」ことを学習してしまうのを防ぎます。
   • 失敗時: ガイダンスがあるにもかかわらず軌跡が失敗した場合、比率は $>1$ となり、ペナルティを増幅させます。これにより、ガイダンスがあっても問題を解決できなかったという事実を強化します。
3. 分散制御: 補正項の分散は、ロールアウト全体ではなく、ガイダンス・プレフィックスの長さに比例してスケールします。このことは、「学習の崖」を打破するために必要な最短のガイダンスを使用するという設計原則を裏付けています。

実装バリアント

• OC-GRPO-Fixed: 訓練前にベースモデルを使用して、各困難な問題に必要な最小限のガイダンスレベルを特定します。この拡張されたデータセットは固定され、ポリシーはガイダンスを再選択しません。低い推論コストと競争力のあるパフォーマンスから、これがデフォルトとして推奨されます。
• OC-GRPO-Adaptive: 訓練中に現在のポリシーのパフォーマンスに基づいて、ガイダンスレベルを動的に調整します。理論的には柔軟ですが、より高い推論コストがかかり、実験ではわずかに低いパフォーマンスを示しました。

3. 主な貢献

1. オフコンテキスト問題の定式化: 既存のガイデッドRLVR手法におけるミスマッチを形式的に定義し、それらが展開ターゲットとは異なる目的関数を暗黙的に最適化していることを示しました。
2. OC-GRPOアルゴリズム: オフコンテキスト・サンプリングを補正するために重要度サンプリングを用いた、GRPOの最小限の修正を提供し、元の目的関数に対する不偏性を証明しました。
3. 理論的なクレジット割り当て: 重要度補正が、追加の報酬シェーピングを必要とせずに、ガイダンスに強く依存した成功を自動的に割引き、ガイダンスがあっても残存する失敗に対してペナルティを増幅する、挙動認識型のメカニズムを誘発することを証明しました。
4. 実証的検証: 複数のモデルスケール（1.5B, 3B, 7B）および数学的ベンチマークにおいて、バニラGRPOおよびガイデッド・ベースラインに対して、OC-GRPOが一貫した利点を示すことを実証しました。

4. 実験結果

著者らは、Qwen2.5モデル（1.5B, 3B, 7B）を用い、LoRAアダプタを使用してMATHデータセット（レベル3–5）上でOC-GRPOを評価しました。

• パフォーマンスの向上: 7Bモデルにおいて、OC-GRPO-Fixedは、AIME、Gaokao2023、およびOmniMathのベンチマークにおいて、バニラGRPOと比較して平均Pass@1で13.8%の相対的な向上（3.9%の絶対的な改善）を達成しました。
• ベースラインとの比較:
  • OC-GRPOは、誤整合した $J_{guide}$ 目的関数を最適化する他のガイデッド手法（POPE, PrefixRL, BREAD）を上回りました。
  • スケール依存性: 重要な発見は、誤整合した目的関数を最適化するガイデッド・ベースラインは、より小さなモデルスケール（例：1.5Bおよび3B）において、しばしばバニラGRPOを下回るということです。対照的に、OC-GRPOはすべてのスケールで一貫した利点を維持しました。これは、小さなモデルは目的関数のミスマッチを吸収できないため、重要度補正が極めて重要であることを示唆しています。
• 安定性: 補正なしのガイデッド訓練（Masked no-IC）は、報酬の崩壊、勾配ノルムのスパイク、およびログ確率ギャップの拡大を招くことが実験で示されましたが、OC-GRCPは安定していました。

5. 意義と主張

本論文は、**「特権的な情報は探索をガイドできるが、その更新はそれが由来する分布を考慮しなければならない」**と主張しています。

• 崖の解決: OC-GRPOは、モデル固有の推論スタイルを歪める教師あり微調整（SFT）や複雑なハイブリッド目的関数に頼ることなく、困難な問題における学習の崖から脱出するための原理的な方法を提供します。
• アライメント: 訓練時に（推論時には存在しない）特権的なコンテキストを用いることが、展開時の真の目的関数から方策を逸脱させないようにします。
• スケーラビリティ: 本手法は、他の手法の「逆汎化」の仮定が失敗する小規模なモデルにとって特に重要です。
• 汎用性: 数学的推論（解のプレフィックス）を用いて実証されましたが、このフレームワークはメカニズムに依存せず、エージェント的RLVRの設定におけるあらゆる形態の特権的信号（例：ツール呼び出しの結果、中間状態）に適用可能です。

著者らは、OC-GRPOが次世代のRLVRアルゴリズムにおける不可欠な修正であり、元のタスク定義とのアライメントを維持しながら、困難な問題に対する堅牢な推論を可能にするものであると結論付けています。