技術要約: MulFeRL

問題提起

検証可能な報酬を用いた強化学習（RLVR）は、特に数学やコード生成における大規模言語モデル（LLM）の推論能力を強化するための標準的なアプローチとなっています。しかし、標準的なRLVRは、結果のみに基づくスカラー報酬（例：正解/不正解のバイナリ信号）に依存しています。著者らは、モデルの性能が向上するにつれ、このアプローチが、特に失敗したサンプルにおいて、報酬の希薄さと情報の乏しさからボトルネックに直面すると主張しています。

モデルが完全に誤った解法を大量に生成する場合、標準的なRLVRは、なぜ推論が崩壊したのか、あるいはどのように改善すべきかを説明することのない、ほぼゼロまたは負の報酬を割り当てます。これにより、以下の問題が発生します：

1. 不適切なクレジット割り当て: 勾配推定がノイズになります。
2. 学習の停滞: グループ内のコントラスト（対照性）が存在しない「全失敗」のロールアウト・グループにおいて、学習信号が崩壊します。
3. サンプルの非効率性: スカラー報酬が対照性を提供できない困難な問題において、学習の進展が阻害されます。

人間は、エラーを特定し、目標とする解法へのギャップを埋めるために言語的なフィードバックを活用しますが、既存のRLスタイルのフィードバック手法は、アウトカム報酬が最も情報性を失う「全失敗」のケースをターゲットにするのではなく、サンプル全体に広くフィードバックを割り当てる傾向があります。

手法: MulFeRL

本論文では、失敗したサンプルに対して言語的フィードバックを安定して学習可能な学習信号へと変換するために設計された、イベント駆動型のマルチターンRLVRフレームワークであるMulFeRL（Multi-turn Feedback-guided Reinforcement Learning）を提案しています。このフレームワークは、**プログレス誘導（Progress Induction）とプログレス・クレジット割り当て（Progress Credit Assignment）**という2つの主要なステージを通じて動作します。

1. イベント駆動型プログレス誘導

MulFeRLは、$K$個のサンプルすべてが検証に失敗したロールアウト・グループ（FAILED状態）を対象とします。この状態では、標準的なRLVRは学習信号を提供できません。

• コンディショニングとしてのフィードバック: フィードバックを直接最適化するのではなく、MulFeRLは言語的フィードバックをコンディショニング介入として使用します。グループがFAILED状態にあるとき、フィードバック提供者（例：LLMシミュレータ）が、支配的な失敗モードを特定し、修正を提案する実行可能なフィードバックを生成します。
• 再生成: このフィードバックがコンテキストに注入され、モデルは新しい$K$個のロールアウトを再生成します。
• 目標: 目的は、FAILED状態から、CONTRASTIVE状態（成功と失敗の混合）またはSOLVED状態（すべて成功）への遷移を誘導することです。この遷移は「検証器によって保証された進捗（verifier-certified progress）」を構成します。

2. プログレス・クレジット割り当て

プログレスが誘導されると、MulFeRLは2つの補完的な目的関数を用いて、遷移の性質に基づいてクレジットを割り当てます。

• 状態内クレジット（GRPO）: 再生成されたグループがCONTRASTIVE（正解と不正解の両方を含む）である場合、MulFeRLは標準的なGroup Relative Policy Optimization（GRPO）を適用します。これは、フィードバックによって条件付けられた同一コンテキスト内での、成功したロールアウトと失敗したロールアウトの間の相対的なアドバンテージを利用します。
• 状態間クレジット（FCO）: 再生成されたグループがSOLVED（すべて正解）になった場合、グループ内のコントラストは消失し（すべての報酬が1になる）、標準的なGRPOは効果的ではなくなります。この学習信号を回復するために、MulFeRLはフィードバック対照最適化（Feedback-Contrastive Optimization: FCO）を導入します。FCOは、現在のSOLVEDグループと、直前のFAILEDグループとのペアを構築します。そして、成功した軌跡（フィードバックを条件とする）の相対的なスコアを、失敗した軌跡（元のプロンプトを条件とする）と比較して高めるようにポリシーを最適化し、事実上、この遷移を嗜好学習タスクとして扱います。

3. 構造化されたフィードバック注入

モデルが再生成時にフィードバックを効果的に利用できるようにするため、MulFeRLは**固定スロット注入（fixed-slot injection）**メカニズムを採用しています。言語的フィードバックは、プロンプトの末尾に追加されるのではなく、推論テンプレート内の専用の<feedback>タグ内に挿入されます。この設計により、以下のことが可能になります：

• フィードバックを明示的なコンディショニング信号として扱う。
• フィードバックを推論コンテキストに密接に組み込む。
• 精密なトークンマスキングを可能にし、モデルがフィードバック自体を最適化することなく、フィードバック「を与えられた状態で」推論することを学習できるようにする。

主な貢献

1. 低信号領域のための新しいフレームワーク: MulFeRLは、マルチターンループを用いて失敗からプログレスを誘導することにより、アウトカム報酬のみによるRLVRの限界である「全失敗」サンプルにおける問題を解決し、以前は情報を持たなかった失敗を、検証器によって保証された学習機会へと変換します。
2. フィードバック対照最適化（FCO）: 本論文は、「報酬飽和」したプログレス（FAILED $\to$ SOLVEDの遷移）を扱うための新しい目的関数を導入しました。これにより、フィードバックがすべての失敗を解決したケース、つまり標準的なグループ内コントラスト手法が機能しないシナリオからも学習することが可能になります。
3. 構造化されたフィードバック統合: 著者らは、フィードバックを単純なプロンプティングとしてではなく、固定された推論スロットに注入することで、モデルの再生成におけるフィードバックへの条件付け能力と利用能力が大幅に向上することを実証しました。
4. イベント駆動型ルーティング: フレームワークは、検証器によるグループの状態（CONTRASTIVE vs. SOLVED vs. FAILED）の観察に基づいて、学習信号を動的にルーティングし、利用可能な識別信号が存在する場合にのみ更新が適用されるようにします。

実験結果

著者らは、OpenR1-Mathのサンプリングされたサブセットを用いてMulFeRLを評価し、5つの数学的推論ベンチマーク（AMC 2023, AIME 2024, OlympiadBench, MATH-500, Minerva-Math）と、3つの領域外（OOD）の科学/一般推論タスク（MMLU-Pro, GPQA-Diamond, TheoremQA）でテストを行いました。

• 性能向上: MulFeRLは、SFT（教師あり微調整）、SDPO（自己蒸留）、および各種RLベースの手法（GRPO, Dr.GRPO, Critique-GRPO, RLTF-FM）を含む強力なベースラインを一貫して上回りました。
  • Qwen2.5-7B-Baseバックボーンにおいて、MulFeRLは平均Pass@1で**46.26%**を達成し、最強のRLベースライン（Critique-GRPOの42.83%）を大幅に上回りました。
  • Qwen3-4B-Instバックボーンにおいて、MulFeRLは平均Pass@1で**68.36%**に達し、Critique-GRPO（63.65%）およびその他のベースラインを凌駕しました。
• 汎化性能: モデルは強力な領域外（OOD）汎化性能を示し、主に数学データで訓練されているにもかかわらず、科学および一般推論タスクの性能を向上させました。
• アブレーション研究: コアコンポーネントの除去は性能低下を招きました：
  • フィードバック誘導型再生成を除去すると最大の低下が見られ、失敗状態からプログレスを誘導することの必要性が確認されました。
  • FCOを除去すると性能が大幅に低下し、FAILED $\to$ SOLVEDの遷移を捉える役割が検証されました。
  • 構造化フィードバック注入を除去すると一貫した低下が見られ、固定スロット設計の重要性が浮き彫りになりました。
• シミュレータの堅牢性: 本手法は、より弱いフィードバックシミュレータ（例：ベースモデル自身やGPT-4o-mini）を使用した場合でも効果を維持しましたが、より強力なシミュレータ（GPT-4o）を使用することでさらなる向上が得られました。

意義と主張

本論文は、直接的なフィードバック最適化や単純な模倣の罠に陥ることなく、言語的フィードバックの豊かさを活用することで、RLVRにおける「希薄な報酬」のボトルネックに対する堅牢な解決策を提供すると主張しています。

• メカニズム: 著者らは、改善が単にフィードバックにさらされることによるものではなく、プログレス誘導（フィードバックを通じて失敗を成功に変える）およびフィードバックを考慮したクレジット割り当て（FCOを用いてこれらの遷移から学習する）という特定のメカニズムに由来することを強調しています。
• 効率 vs. コスト: 著者らは、マルチターン再生成と検証のオーバーヘッドにより、MulFeRLは高い訓練コストを伴うことを認めています。しかし、失敗したサンプルからより密度の高い学習信号を抽出するため、より少ない最適化ステップで強力な性能に到達できるという点で、本手法はよりサンプル効率が高いと主張しています。
• 限界: 論文では、このアプローチが信頼できる結果検証と有用なフィードバックに依存していることを控えめに述べています。また、現在の設計はロールアウトレベルのフィードバックに焦点を当てており、部分的に正しい解法に対するより細かい粒度の改善を見逃している可能性があることを指摘しており、将来の研究ではステップレベルのフィードバックへの拡張が可能であることを示唆しています。

結論として、MulFeRLは、言語的フィードバックを検証器によって制御された学習信号へと変換することで、RL訓練が困難な失敗サンプル上で継続的に進行することを可能にし、ドメイン内およびドメイン外の両方のタスクにおいて優れた推論能力をもたらすことを実証しています。