ExecVerify: 実行推論のための検証可能なステップごとの報酬を用いたホワイトボックス強化学習

本論文「ExecVerify: White-Box RL with Verifiable Stepwise Rewards for Code Execution Reasoning」は、コード生成大規模言語モデル（LLM）が直面する「コードの実行推論（Execution Reasoning）」の課題に対処するための新しいフレームワークを提案しています。特に、小規模モデル（7B パラメータなど）が、より大規模なモデルに匹敵する実行推論能力を獲得し、コード生成タスクの性能も向上させることを実証しています。

以下に、論文の技術的概要を問題定義、手法、主要な貢献、実験結果、そして意義の観点から詳細にまとめます。

1. 問題定義 (Problem)

既存のコード LLM には、以下の重大な限界が存在します。

• 実行推論の欠如: モデルはコードの構文は理解できても、変数の値の変化や制御フロー（ループ、分岐）の具体的な実行プロセスを正しく推論することが苦手です。
• 教師あり微調整（SFT）の限界: 従来の手法は、教師モデルが生成した「入力 - 出力（I/O）」の推論チェーンや、自然言語による実行トレースの説明を用いた SFT に依存しています。しかし、SFT ではトークンレベルのクロスエントロピー損失のみを最適化するため、中間実行ステップ（変数の値や制御フロー）が明示的に検証されません。その結果、モデルは教師のテキストを模倣するだけで、実際の実行ロジックを理解していない可能性があります。
• 学習データの質と難易度: 既存のデータセットは、難易度の制御が不十分で、単純すぎる例や解けない例が混在しており、体系的な学習カリキュラムが欠如しています。

2. 提案手法 (Methodology)

著者は ExecVerify というフレームワークを提案し、以下の 3 つの主要コンポーネントで構成される 2 段階のトレーニングパイプラインを構築しました。

2.1 制約ベースのデータ合成 (Constraint-Based Data Synthesis)

既存のデータ収集ではなく、構造的な制約を課してプログラムを能動的に合成し、カリキュラム学習に適したデータセットを構築します。

• 構造的制約: 特定の組み込み型やメソッドの使用、ネストされたメソッド呼び出し、特定の制御フロー構造（if/for/while のネスト）を強制します。
• 難易度制御: 単純なコードから複雑なコードへ段階的に難易度を上げ、かつ小規模モデルでも解けるが簡単すぎない（非自明な）問題をフィルタリングします。
• 入力合成: 各コードスニペットに対して、多様な入力値（元の入力と型を考慮した変異入力）を生成し、実行トレースの多様性を確保します。

2.2 2 段階ポストトレーニング (Two-Stage Post-Training)

ステージ 1: コード推論のためのホワイトボックス強化学習 (White-Box RL for Code Reasoning)

この段階では、モデルにコードの実行プロセスを深く理解させることを目的とします。

• ホワイトボックス報酬: 従来の I/O 予測だけでなく、インタプリタから得られる実行トレースに基づき、**「次の実行される行（制御フロー）」「変数の値と型（データフロー）」**に関する検証可能な質問（White-Box Questions）を生成します。
• 報酬関数:
  • $R_{white}$: 中間実行状態（変数の値、次の行など）の予測精度に基づく報酬。
  • $R_{I/O}$: 最終的な入出力の正解に基づく報酬。
  • これらを重み付けして組み合わせることで、モデルがテキストの模倣ではなく、**セマンティックな正しさ（意味的な正しさ）**を学習するように導きます。
• 手法: GRPO (Group Relative Policy Optimization) を使用して強化学習を行います。

ステージ 2: コード生成のための強化学習 (RL for Code Generation)

ステージ 1 で獲得した実行推論能力を、実際のコード生成タスクへ転移させます。

• 報酬: 生成されたコードがユニットテストに合格する割合（Pass@1）を報酬として使用します。
• 転移: 実行推論能力が強化されたモデルをベースに、機能として正しいコードを生成する能力をさらに磨きます。

3. 主要な貢献 (Key Contributions)

1. 検証可能なステップごとの報酬の導入: コード実行推論において、中間ステップ（変数状態、制御フロー）をインタプリタを用いて厳密に検証し、強化学習の報酬として利用する「ホワイトボックス RL」の枠組みを初めて提案しました。これにより、モデルは単なるテキスト生成ではなく、実行ロジックの理解を深めます。
2. 制約ベースの合成データセット: 難易度と構造を制御して合成された大規模な実行推論用データセットを構築しました。これにより、既存のデータセットにありがちな「単純すぎる」または「難しすぎる」データの偏りを解消し、体系的な学習を可能にしました。
3. 小規模モデルの高性能化: 7B パラメータのモデル（Qwen2.5-Coder-7B）を ExecVerify で学習させることで、32B パラメータクラスのモデルに匹敵する実行推論性能を達成しました。
4. コード生成性能への転移: 実行推論の強化が、最終的なコード生成タスク（EvalPlus, LiveCodeBench など）の性能向上（Pass@1 で最大 5.9% 改善）に直結することを示しました。

4. 実験結果 (Results)

• コード推論ベンチマーク:
  • CRUXEval, LiveCodeBench-Exec, REval において、7B モデルは 32B モデル（Qwen2.5-Coder-32B-Instruct）と同等かそれ以上の性能（平均スコア 80.8 vs 77.9）を示しました。
  • 従来の SFT や I/O みの RL に比べ、ホワイトボックス RL を導入することで大幅な性能向上が見られました。
• コード生成ベンチマーク:
  • HumanEval, MBPP, LiveCodeBench, BigCodeBench において、2 段階トレーニングを施したモデルは、ベースラインや単一段階の RL モデルを凌駕しました。
  • 特に、White-box RL を通じて得られた微細な実行知識（制御フローや変数状態の追跡）が、複雑な論理条件を含むコード生成において有効であることが示されました。
• 一般化能力:
  • 言語横断: Python 以外の言語（Java, C++, Go など）でも推論能力が転移することを確認しました。
  • ライブラリ依存: 外部ライブラリを使用するコードの推論においても性能が向上しました。
  • モデルサイズ: 3B や 8B モデルなど、異なるアーキテクチャやサイズに対しても有効であることが確認されました。

5. 意義と結論 (Significance)

ExecVerify は、コード LLM のトレーニングパラダイムに重要な転換点をもたらします。

• 「ブラックボックス」から「ホワイトボックス」へ: 従来の「入力 - 出力」の一致のみを重視するアプローチから、実行プロセスそのものを検証可能な形で報酬化するアプローチへ移行しました。これにより、モデルの「思考過程」の信頼性が向上します。
• 小規模モデルの可能性: 大規模モデルに依存せず、適切な学習データと強化学習の組み合わせによって、小規模モデルでも高度な推論能力を獲得できることを実証しました。
• 実用的なコード生成への寄与: 実行推論能力の向上が、単なるテストベンチマークのスコアアップだけでなく、実際のコード生成タスクにおける論理的誤りの減少（例：条件分岐の誤解やループ制御のミス）につながることが、ケーススタディを通じて示されました。

今後は、合成データセットの言語・ライブラリ範囲の拡大、および単一ファイルスニペットからプロジェクトレベルのコード実行への拡張が今後の課題として挙げられています。