技術的概要：DenoiseRL

問題定義

強化学習（RL）は、大規模言語モデル（LLM）における推論能力の向上のための支配的なパラダイムとなっています。しかし、現在の最先端のアプローチは構造的なボトルネックに直面しています。すなわち、より強力な教師モデルからの監督や、厳密に選別された困難なデータセットに依存して改善を遂げている点です。この依存性はスケーラビリティの問題を生み出します。十分な能力を持つ市販の教師モデルが利用できない場合、さらなる能力の向上は困難になります。さらに、標準的なオンポリシー RL 法は、探索のボトルネックに悩まされることが多く、ポリシーが主に正しいロールアウトや狭く限定された失敗モードを生成することで飽和し、「有益な失敗」が意味のある勾配更新のために十分に希薄になってしまいます。これを解決しようとする既存の試み、例えば弱から強への一般化（W2SG）は、弱い教師のノイズと容量によって制限されており、データ合成アプローチは複雑で手動のエンジニアリングを必要とします。

手法：DenoiseRL

本論文は、推論の改善をノイズ除去と回復の問題として再定義する強化学習フレームワークDenoiseRLを提案します。DenoiseRL は、弱いモデルを用いて正しい疑似ラベルや困難なデータを生成する代わりに、弱いモデルを用いて構造化された摂動（誤った推論プレフィックス）を生成し、これを学習信号として利用します。

中核メカニズム

1. ノイズプレフィックスの注入：フレームワークは、弱いモデル（例：Qwen2.5-1.5B）から誤った推論軌道をサンプリングします。この誤った軌道のプレフィックス（プレフィックス比率 $\rho$ によって決定される）を選択し、ポリシーモデルの入力に先付けします。
2. 回復目的：ポリシーモデルは、弱いモデルを模倣するのではなく、誤った状態から回復することを学習します。モデルは破損を認識し、推論を修正し、正しい経路に切り替え、検証済みの答えに到達しなければなりません。
3. 学習分布：学習プロセスでは、各問題に対して 2 種類のロールアウトを混合します。
   • メインロールアウト（$N$）：質問から開始する標準的なオンポリシーロールアウト。
   • ノイズ除去ロールアウト（$K$）：弱いモデルによって生成されたノイズプレフィックスから開始するロールアウト。
4. 出力予算の公平性：公平な比較を確保するため、総応答長は上限が設定されます。ノイズプレフィックスはトークン予算の一部を消費し、モデルの続きはそれに応じて切り捨てられます。バックプロパゲーション中に更新されるのは、ポリシーによって生成されたトークン（続き部分）のみであり、損失計算ではノイズプレフィックスはマスクされ、不安定化を防ぎます。
5. 最適化：フレームワークはグループ相対方策最適化（GRPO）を採用します。ある問題に対して、すべての $N+K$ 個の軌道で単一のアドバンテージ基準が共有されます。これにより、回復に失敗した場合（多くの場合失敗に終わる）のノイズ除去ロールアウトを負のサンプルとして機能させ、一方で成功した回復はグループに対する正の学習信号として提供されます。

主要な貢献

• 新規 RL パラダイム：弱から強への学習と難易度駆動型データ合成を統合する DenoiseRL の導入。弱いモデルの誤りを学習信号ではなく構造化されたノイズとして再利用し、外部監督なしでスケーラブルな改善を可能にします。
• 強化された自己修正：この手法は、モデルが破損した中間状態から回復することを明示的に学習させ、自己修正を創発的な行動から直接的な学習目標へと昇華させます。
• 実証的検証：本論文は、DenoiseRL が、4B および 8B パラメータモデルにおいて、競争力のある数学および一般推論ベンチマーク（MATH500、AMC23、AIME2024/2025、BBEH）で、強力なオンポリシー RL ベースライン（GRPO および DAPO）を一貫して上回ることを実証しています。
• 設計分析：著者は主要なハイパーパラメータの詳細な分析を提供し、以下の点を特定しています。
  • プレフィックス比率（$\rho$）：中程度のノイズ（$\rho=0.2$）が最適であり、過度のノイズ（$\rho=0.8$）は「過剰思考」や無限の自己疑念ループを引き起こします。
  • 回復強度（$K$）：ノイズ除去ロールアウトのバランスの取れた混合（合計 16 中 $K=4$）が最適なトレードオフをもたらします。少なすぎると（$K=1$）信号が不十分となり、多すぎると（$K=8$）ゼロから問題を解決するという核心的な目標から注意が逸れます。
  • オフポリシー更新：ノイズプレフィックスのトークンに対してポリシーを更新すると学習が破綻することが確認され、勾配はモデル自身の続き部分のみを通過すべきであることを裏付けています。

結果

Qwen3-4B および Qwen3-8B モデルで行われた実験は、一貫した改善を示しています。

• 性能向上：DenoiseRL-GRPO は、Qwen3-4B の平均スコアを GRPO ベースラインの 39.6% から 42.0% に向上させました。DenoiseRL-DAPO は 8B モデルで最良の全体的な結果を達成し、DAPO ベースラインの 42.8% に対して平均 44.8% に達しました。
• ベンチマーク固有の成果：AIME2024 や AIME2025 といったより困難なベンチマークで顕著な向上が観察されました。8B モデルにおける DenoiseRL-DAPO はそれぞれ 27.0% および 24.8% を達成し、他のすべての構成を上回りました。
• 行動の変化：ケーススタディにより、モデルはプレフィックスから有用な構造的な情報を保持しつつ、欠陥のある論理を破棄し、正しい答えを取り戻すために戦略を効果的に切り替える（例：明示的なルート探索からヴィエタの公式へ）ことを学習していることが明らかになりました。

意義と主張

本論文は、DenoiseRL が LLM における推論能力の向上のためのスケーラブルかつ効果的な代替経路を提供すると主張しています。その主な意義は以下の点にあります。

1. 依存性の低減：高価なデータ選別や強力な教師モデルの必要性を排除し、代わりにモデル自身の（およびより弱いモデルの）失敗から学習する能力に依存します。
2. スケーラビリティ：弱いモデルの誤りを構造化された摂動に変換することで、新しいデータを生成することなく学習難易度を自動的に引き上げます。
3. 堅牢性：このフレームワークは、特に学習難易度が高まるにつれて、より強力な自己修正行動を促進し、回復学習が単純な性能指標を超えた深い推論ダイナミクスに影響を与えることを示唆しています。

著者は、モデルの誤り自体が強力な学習信号の源となり得ると結論付け、推論モデルの事後学習に関する新たな視点を提供しています。また、限界についても言及しており、回復信号の質は弱いモデルの誤りの性質に依存すること、および過度の破損は非効率的で過度に長い推論軌道につながる可能性があることを認めています。