技術的サマリー：ReCode：推論プロセス報酬によるコード生成の強化

問題提起

強化学習（RL）は、コード生成における大規模言語モデル（LLM）の改善のための変革的なパラダイムとなっています。しかし、既存のアプローチは主に結果ベースの監督（テストケースの通過率など）に依存しており、どのように正しいプログラムに到達するかについての指針は限定的です。厳密な推論はしばしば正しいコードの主要な駆動力ですが、現在の RL 手法は、推論プロセス自体の品質の最適化を見逃すことが頻繁にあります。

推論プロセスの最適化というアイデアを実用的なトレーニングフレームワークに翻訳することは、以下の 2 つの主要な課題に直面しています：

1. 微細な嗜好データの不足: 推論品質を評価する信頼性の高い報酬モデルのトレーニングは、高品質で微細な嗜好データの欠如によって阻害されています。人間の注釈は拡張性がなく主観的であり、LLM を審判として使用する場合、微妙な推論の品質にスカラースコアを割り当てる際に較正が不十分になる傾向があります。
2. 報酬ハッキング: 推論プロセスに対するニューラル報酬を RL に単純に組み込むことは、重大なリスクを伴います。厳格で検証可能な単体テストの結果とは異なり、ニューラル報酬は制約が緩やかです。ポリシーは、生成されたコードの機能的な正しさを向上させることなく、推論プロセスのスコアを水増しすることで報酬を「ハック」することを学習する可能性があります。

手法：ReCode フレームワーク

著者は、コード生成を高品質な推論プロセスと整合させるように設計された新しい RL トレーニングフレームワークであるReCode（推論強化型コード生成）を提案します。ReCode は 2 つの中核コンポーネントで構成されています：

1. 対照的推論プロセス報酬学習（CRPL）

データ不足の課題に対処するため、CRPL は人間の注釈や直接のスカラースコアリングに依存せずに、対照的な嗜好データを自動的に合成する手法を導入します。

• プロセス: フレームワークは、推論品質を事実の正確性、論理的厳密性、論理的整合性という 3 つの重要な次元に定式化します。
• データ合成: 強力な LLM（Qwen2.5-Coder-32B-Instruct）を用いて、CRPL はこれらの次元に沿ったターゲット変換（最適化のための冗長性の除去、劣化のための事実誤りの導入など）を適用することで、ベース推論プロセス（$t$）の最適化版（$t^+$）と劣化版（$t^-$）を生成します。
• 嗜好順序付け: このプロセスにより、多段階の嗜好順序が作成され、3 種類のペアが形成されます：強い対照（$t^+ \succ t^-$）、微細な最適化（$t^+ \succ t$）、微細な劣化（$t \succ t^-$）。
• トレーニング: 報酬モデルは、絶対スコアを予測するのではなく、推論品質を区別するために、これらの嗜好ペアを用いてブラッドリー - テリー目的関数でトレーニングされます。

2. 整合性ゲート付き GRPO（CG-GRPO）

報酬ハッキングのリスクに対処するため、ReCode は、グループ相対方策最適化（GRPO）に基づいたゲート機構を介して、推論プロセス報酬モデルを RL ループに統合します。

• ハードゲート: 推論プロセス報酬（$R_{proc}$）は、生成されたコードがすべての単体テストに合格した場合（機能的な正しさが保証された場合）にのみ活性化されます。
• 報酬構造: サンプルの総報酬 $R_i$ は以下のように定式化されます：
  $$R_i = R_{fmt} + R_{out} + \mathbb{I}(R_{out} = 1) \cdot R_{proc}$$
  ここで、$R_{fmt}$ はフォーマット報酬、$R_{out}$ は二値の結果報酬、$\mathbb{I}(\cdot)$ は指示関数です。
• 効果: これにより、ポリシーはニューラル推論スコアを最大化するために機能的な正しさを犠牲にすることができません。また、正しい解の間で有益な勾配を提供し、コードがすでに機能的に正しい場合でも、モデルが高品質な推論プロセスを好むように促します。

ベンチマーク構築：LCB-RB

推論プロセス報酬モデルの識別能力を評価するため、著者は**LiveCodeBench-RewardBench（LCB-RB）**を導入します。

• 構築: LiveCodeBench から派生したこのベンチマークは、優位な推論プロセスと劣位な推論プロセスの 219 組の人手で検証された嗜好ペアで構成されています。
• フィルタリング: 2 段階のフィルタリングパイプライン（GPT-4o を用いた自動二重整合性チェックに続き、人間の審判が行う）により、推論と実装の間の厳密な整合性が確保され、推論に欠陥があってもテストに合格するケースや、推論が健全であっても軽微な実装の問題により失敗するケースが除外されます。

実験結果

Qwen2.5-Coder-7B-Instruct をポリシーモデルとして、HumanEval(+)、MBPP(+)、LiveCodeBench、BigCodeBench において広範な実験が行われました。

• コード生成性能: ReCode でトレーニングされた 7B モデルは、ベースモデルに対して16.1% の相対改善（平均通過率 50.4% → 58.5%）を達成し、GPT-4-Turbo と同等の性能に達しました。結果のみの GRPO ベースラインを 6.7% 上回りました。
• 報酬モデルの有効性: CRPL でトレーニングされた報酬モデルは、LCB-RB において強力な識別性能を達成し、最先端のベースライン（GPT-4-Turbo や専門的な報酬モデルを含む）を上回りました。特に、7B の CRPL トレーニングモデルは LCB-RB において GPT-4-Turbo と同等の性能を発揮しました。
• 汎化性:
  • 数学ドメイン: 数学ドメインに CG-GRPO を拡張（Qwen2.5-Math-7B を使用）したところ、AIME 2024 において推論報酬なしの RL ベースラインに対して 7.4% の相対改善という一貫した成果が得られました。
  • クロスモデル: 学習された推論プロセス報酬は、Qwen3-4B-Instruct モデルへも効果的に転移しました。
• 効率性: ReCode は、結果のみの RL に比べて平均して23.4% 少ないトークンを生成しながら、より高い Pass@1 率を達成し、より簡潔でターゲットを絞った推論を示しました。
• アブレーション研究:
  • 報酬ハッキング: 整合性ゲートを持たない代替定式化（報酬の直接加算など）は、報酬の飽和と性能の低下をもたらしました。これはゲート機構の必要性を確認するものです。
  • データ合成: 単一生成器による嗜好データでのトレーニングは、クロス生成器データよりも優れており、合成プロセスにおける一貫したスタイルのアーティファクトが、よりクリーンな監督信号を提供することを示唆しています。

意義と主張

本論文は、ReCode が推論プロセスの品質を最終結果を超えてコード生成を改善するための追加のトレーニング信号として活用できることを成功裏に実証していると主張します。その意義は以下の点にあります：

1. ギャップの埋め合わせ: 対照的データの合成により、高価な人間の注釈を必要とせずに推論プロセス報酬モデルをトレーニングするための拡張可能なソリューションを提供します。
2. RL における安全性: 整合性ゲート機構は、報酬ハッキングに陥ることなくニューラルプロセス報酬を RL に統合するための堅牢な方法を提供し、推論の改善が機能的な正しさに変換されることを保証します。
3. 汎用性: このフレームワークはコードに限定されず、数学的推論タスクにも汎化するため、LLM の推論能力を向上させるためのより広範な適用可能性を示唆しています。
4. 新しい評価基準: LCB-RB の導入は、最終的な解の正しさだけでなく、中間的な推論プロセスの識別に焦点を当てることで、既存のベンチマークのギャップを埋めます。

著者らは、ReCode が実装中心の監督手法を補完し、LLM を厳密な推論と整合させるための一歩を表していると結論付けています。