技術概要：弱いフィードバック環境におけるエージェント型コード修復のための GRPO 向け信号再構成

問題定義

本論文は、弱いフィードバック環境において Group Relative Policy Optimization (GRPO) を用いてコードエージェントを訓練する際の課題に取り組む。エージェント型コード修復（特に「コンパイル - 修正」タスク）において、オンライン実行フィードバック（例：コンパイル成功）は信頼性が高いものの、意味的に不完全である。パッチがコンパイルに成功しても、意図した意味的なエラーを修正できていない場合（必要なコードを削除したり、安全でないスタブを追加したりする場合など）があり、あるいは方策の失敗ではなく環境のジッターによりコンパイルに失敗する場合もある。

標準的な GRPO は、同じプロンプトからの複数のロールアウトを比較して優位性（advantages）を生成することに依存している。しかし、弱いフィードバック設定では、3 つの重要な信号歪曲がグループ内での意味のある比較を妨げる。

1. 結果 - 意味の失敗: コンパイルの成功/失敗に基づくバイナリ報酬は、表面的なショートカットと真の修復を混同させ、エージェントが意味的な正しさではなく表面レベルの成功を最適化する原因となる。
2. 拡散するプロセス評価: 長期的な軌道（trajectory）が単一のスカラー報酬を受けるため、効果的な修復ステップと無意味な繰り返しや反復を区別することが不可能になる。
3. 崩壊したグループ内比較可能性: インフラの問題（コンテナのタイムアウト、コンパイルキューの競合など）や方策の劣化（壊滅的な反復など）が、真の修復失敗とゼロ報酬のビンに混在し、ロールアウトの相対的ランキングを歪める。

著者らは、解決策は RL 目的関数を書き換えることではなく、既存の GRPO フレームワークに供給される訓練信号を再構成して、グループ内比較の有効性を回復することであると主張する。

手法

提案されるアプローチである信号再構成は、GRPO のグループ正規化された優位性計算メカニズムを変更することなく、入力信号を変更する 3 つの最小限の介入を導入する。

1. 階層化された結果報酬（意味的ランキングの回復）

コンパイルのみに基づくバイナリな {0, 1} 報酬の代わりに、著者らは3 段階の報酬構造を提案する。

• $R=0$: コンパイルに失敗。
• $R=0.5$: コンパイルに成功したが、パッチが真の最小十分修復（GT）と意味的に整合していない。
• $R=1$: コンパイルに成功し、GT 修復と意味的に整合している。
  意味的整合性は、Kimi-K2.5 という強力な LLM ジャッジがエージェントのパッチを洗練された GT パッチと比較することで決定される。この中間段階（$R=0.5$）は、完全に正しい意味的修復が希薄な場合でも訓練中の順序付け信号を保持し、ランキング信号の崩壊を防ぐ。

2. ステップレベルのプロセススコア（評価の局所化）

長い軌道における評価の拡散に対処するため、この手法はステップレベルのプロセススコア（$s_i \in [0, 1]$）を導入する。

• これらのスコアは、コンパイルに成功した軌道内の個々のツール呼び出しステップに対してジャッジによって割り当てられる。
• 重要なのは、これらのスコアが GRPO のスカラー報酬正規化には含まれないことである。代わりに、これらはトークンレベルの損失重みとして機能する。
• 高スコアのステップ（成功した編集、検証など）は高い勾配重みを受け取り、低スコアのステップ（冗長なファイル検査など）は重みが下げる。これにより、異なる軌道間の相対的優位性を変更することなく、軌道内の更新強度を再配分する。

3. 失敗原因を考慮したロールアウト管理（比較可能性の確保）

同じグループ内のロールアウトが実行可能であることを保証するため、システムは失敗原因に基づいたルーティングメカニズムを実装する。

• 全軌道マスク: コンテナ初期化の失敗、コンテキストのオーバーフロー、システムタイムアウトなど、学習不可能な環境例外により失敗したサンプルは、損失目的から完全にマスクされる。これらは正規化のためのグループ平均/分散には寄与するが、勾配は生成しない。
• 最終ステップ保持: 方策の劣化（壊滅的な反復、過剰なツール呼び出しなど）を示すサンプルは、最終ステップまでマスクされ、最終ステップのみをペナルティサンプルとして保持する。これにより、負のフィードバックを特定の失敗点に整合させる。
• 正常終了: 有効な軌道は、意味的判定に進む。
  さらに、システムは GPU 推論、サンドボックス I/O、コンパイルの並行性を分離し、リソース競合がサンプリング分布にバイアスをかけないようにする。

境界比較：トークンレベル蒸留

本論文では、トークンレベルの特権蒸留（訓練時には利用可能だがテスト時には利用できないヒントを使用する）がステップレベルのプロセス評価を置き換えられるかどうかについても調査している。$\pi$-Distill（前方 KL）と OPSD（逆 KL）の 2 つの方法がテストされた。結果、トークンレベルの整合性は、非重要なトークンによって信号が希釈され、軌道レベルの最適化ダイナミクスを乱すため、長い軌道における結果の正しさを向上させることはできなかった。

主要な結果

コンパイル - 修正タスクにおいて、内部 CI ログから導出された最小十分修復のデータセットを用いて、Qwen3-Coder-30B モデルで実験が行われた。

• エンドツーエンドの向上: 完全な信号再構成を施した GRPO は、ベースモデルのゼロショット性能である0.385の厳密なコンパイルおよび意味的精度を0.535まで向上させた（+15.0 パーセントポイントの改善）。
• 階層化報酬の役割: コンパイルのみのバイナリ報酬と階層化報酬を比較したところ、バイナリ報酬はコンパイル率を早期に急上昇させた後低下させ、意味的正確性の向上に失敗した。階層化報酬（$R=0.5$ の段階）は、安定した訓練と軌道制御に不可欠であった。
• プロセススコアの役割: 階層化報酬のベースラインにステップレベルのプロセススコアを追加したところ、精度が0.48から0.53にさらに向上し、平均評価ステップ数が23.50から17.02に減少した。これは、プロセス評価が探索と成功のトレードオフではなく、効率性と正確性を同時に向上させることを示している。
• 蒸留の失敗: トークンレベルの蒸留手法（$\pi$-Distill および OPSD）は、GRPO ベースラインを下回った。$\pi$-Distill は早期終了（早期に提出することを学習）につながり、OPSD はエントロピーの低下とツールスキルの劣化を招いた。これは、この設定において局所的なトークン整合性が、結果の意味やプロセス評価を置き換えることはできないことを確認するものである。

意義と主張

本論文は、弱いフィードバックを伴うエージェント型タスクにおいて、RL 目的関数を変更したり、整合性の取れない監督を追加したりするよりも、信号再構成の方がより効果的な戦略であると主張する。

1. 問題の再定義: 著者らは、弱いフィードバック設定における GRPO の失敗はアルゴリズム自体のせいではなく、不完全な信号に起因するグループ内比較の有効性の欠如にあると仮定する。
2. 最小限の介入: 提案された手法は、GRPO の核心的な優位性計算を変更しない。単に、入力（報酬、プロセス重み、サンプル選択）が意味のある相対的最適化の前提条件を満たすことを保証するだけである。
3. 粒度の不一致: トークンレベル蒸留の否定的な結果は、根本的な不一致を浮き彫りにする。長期的なエージェント型タスクでは、成功は数点の重要な意思決定ポイント（ツール呼び出し、終了など）によって決定されるが、トークンレベルの監督は非重要なトークンによって希釈される。したがって、ステップレベルのプロセス評価と結果の意味は必要不可欠であり、密なトークンレベルの整合性によって置き換えることはできない。

この研究は、将来のエージェント型 RL に対する設計原則を示唆している。目的が正しく、フィードバックが不完全である場合、補助的な監督を追加するのではなく、意味的順序付け、局所化された評価、およびサンプルの比較可能性を回復するために信号を再構成する方がより効果的である。