技術要約：Anchored Self-Play によるコード修復

問題の定式化

コード修復は、プログラミングのワークフローにおいて言語モデル（LM）に求められる重要な能力であり、バグを含むプログラムとテストスイートが与えられた際に、ユニットテストに合格する固定されたプログラムを生成することを必要とする。高品質な現実世界の修復データは限られているため、近年の研究では、LMを用いてバグ修正タスクを生成することで、教師あり学習のスケーリングを模索する動きがある。著者らは、単一のモデルが、正しいコードを編集してバグを生成することと、それらを修正することを交互に行うよう強化学習を通じて訓練される、**ジェネレーター（生成器）とフィクサー（修正器）のセルフプレイ（自己対戦）**という設定を調査している。

特定された核心的な課題は、**分布ドリフト（distribution drift）**である。ユニットテストは機能的な正当性（パス/失敗）を効果的に検証するが、バグの「リアリズム（現実味）」を検証するものではない。標準的なセルフプレイでは、ジェネレーターが「困難ではあるが非現実的な」バグ（テストには失敗するが、人間が書いたコードや人間が編集したLMコードのような、実務で遭遇するエラーとは似ていない編集）を生成する方向にドリフトしてしまう可能性がある。その結果、フィクサーはジェネレーターの合成分布に対しては改善を示すものの、現実的なバグソースに対する性能はしばしば低下する。

手法

1. ジェネレーター–フィクサー・セルフプレイ

著者らは、単一のポリシー $\pi_\theta$ が2つの役割を演じるセルフプレイ・ループを構築している：

• ジェネレーター ($G$): 正解の参照実装 $c^\star$ を編集して、バグのあるプログラム $b$ を生成する。
• フィクサー ($F$): タスクの説明とユニットテストのフィードバック $o(x, b)$ を受けて、$b$ を修復する。

報酬:

• フィクサーの報酬: 修復されたプログラム $y$ がすべてのユニットテストに合格するかどうかに基づくバイナリ報酬 ($v(x, y) = 1$)。
• ジェネレーターの報酬: バグが有効（実行可能かつテストに失敗する）であり、かつ中程度の難易度であることを促すように設計されている。難易度は、$K$ 個の独立した修復試行の成功率によって推定される。適応的なカリキュラムを維持するために、簡単すぎるバグ（常に修正される）や難しすぎるバグ（決して修正されない）はペナルティを受ける。

システムは GRPO (Group Relative Policy Optimization) を用いて最適化される。

2. 失敗モード：分布ドリフト

実験によれば、標準的なセルフプレイでは、ジェネレーターが固定されたフィクサーに対してますます困難なバグを生成し、フィクサーがそれらの特定のバグに対して改善していくという共進化ダイナミクスを示す。しかし、現実的なソース（人間が書いたもの、人間が編集したLM、およびLMが生成したバグ）で評価すると、性能が退行する。フィクサーは、セルフプレイ・ループによって生成された特異で非現実的な編集に対して過学習してしまうのである。

3. 提案手法：Anchored Self-Play (ASP)

ドリフトを軽減するため、著者らは、現実的なソースからサンプリングされた小さな参照セット ($D_{ref}$) にセルフプレイのプロセスを固定（アンカー）する Anchored Self-Play (ASP) を提案する。ASPは、2つの補完的なメカニズムを採用している：

• フィクサー訓練のためのリファレンス混合: 訓練中、フィクサーへの入力バグの一部が参照セット ($D_{ref}$) 内のバグに置き換えられる。これにより、フィクサーは継続的に現実的なバグパターンにさらされ、ジェネレーターの進化する合成分布への過学習を防ぐことができる。オフポリシーの問題を避けるため、ジェネレーターはこれらの混合エピソードでは更新されない。
• 類似性に基づいたジェネレーターのシェイピング: ジェネレーターの目的関数に、参照セットに近いバグを生成するように促す補助的な報酬が追加される。
  • ジェネレーターは、参照ソリューションと生成されたバグとの間の統一ディフ（unified diff）を計算する。
  • このディフは、コード埋め込みモデル (voyage-code-3) を使用して埋め込み化される。
  • 報酬は、生成されたバグの埋め込みと、参照プール内の $k$ 近傍とのコサイン類似性に基づく。
  • **中心化された類似性報酬（centered similarity reward）**が使用される: $\delta_t(b) = \text{sim}_{01}(b) - B_t$ （ここで $B_t$ は実行中のベースライン）。これにより、主要なユニットテスト報酬を圧倒することなく、ジェネレーターを参照に近い編集へと誘導する。

主な貢献

1. 問題の定式化: 著者らは、コード修復のためのジェネレーター–フィクサー・セルフプレイを定式化し、ユニットテストの報酬のみに依存する場合の主要な失敗モードとして分布ドリフトを特定した。
2. ベンチマーク (BUGSOURCEBENCH): 異なるソース間での修復の汎化性能を評価するための制御されたベンチマーク BUGSOURCEBENCH を導入し、公開した。これは、基礎となるタスク、仕様、およびユニットテストを一定に保ったまま、4つのバグソースを網羅している：
   • HUMAN: 人間の作成した参照ソリューションにアノテーターが導入したバグ。
   • HUMAN-EDITED LM: LMが生成したコードを人間が後に編集した際のバグ。
   • LM ERRORS (QWEN-7B): より弱いコードモデルによるエラー。
   • LM ERRORS (GPT-OSS-20B): より強いコードモデルによるエラー。
3. 手法 (ASP): バグ生成のための埋め込み類似性ガイダンスと、リファレンス混合フィクサー訓練を組み合わせることで、セルフプレイを安定させ、汎化性能を向上させる Anchored Self-Play を提案した。

実験結果

著者らは、BUGSOURCEBENCH 上で ASP を、ベースモデル、Fixer-Only ベースライン（凍結されたジェネレーター、訓練されたフィクサー）、および標準的な Self-Play と比較評価している。

• 全体的な性能: ASP は、すべてのバグソースにおいて最高の平均修復率を達成した。標準的なセルフプレイと比較して、平均修復率を +7.0 パーセントポイント（絶対値）、および 24%（相対値） 向上させた。
• ソース間の汎化:
  • LM生成バグ: ASP は劇的な向上を示し、LM生成バグにおいて平均で +11 pp (100% 相対的) の修復率向上を実現した。
  • 人間由来のバグ: ASP は人間が作成したバグに対して +3.4 pp (7.1% 相対的) の向上を示したが、標準的なセルフプレイはこれらのソースで性能が低下することが多い。
• アブレーション研究:
  • リファレンス混合と類似性シェイピングの両方が性能に寄与しているが、両方を組み合わせることで最大の利点が得られ、これらが補完的な失敗モードに対処していることが示唆された。
  • 本手法はサンプル効率が高く、わずか50個の参照例で改善が見られる。
  • 単一のソースに限定されたプールよりも、混合されたリファレンスプール（すべてのバグソースをカバーするもの）を使用する方が、全体的な性能が最も高くなる。
• 堅牢性: ASP の利点は、異なる埋め込みモデル（voyage-code-3 vs. CodeBERT）、ベースモデル（Qwen-7B vs. DeepSeek-6.7B）、およびタスク分布（DebugBench への転移）にわたって堅牢である。

意義と主張

本論文は、ユニットテストのみのセルフプレイは、リアリズムに対する明示的な信号を欠いているため、コード修復のスケーリングには不十分であると主張している。これは分布ドリフトを引き起こす。Anchored Self-Play を導入することで、著者らは、小さな参照セットが生成プロセスを効果的に固定できることを示し、モデルが現実的なバグソースに対する堅牢性を維持しながら、セルフプレイの適応的なカリキュラムの恩恵を受けられることを証明した。

この研究は、修復能力がコード生成能力とは別物であることを強調している。タスクをゼロから解決できるモデルであっても、既存のソリューションを修復することには失敗する場合があり、その逆も同様である。提案された手法は、現実世界の LM 支援プログラミングで見られる多様なエラーソースに対して汎化できる、より信頼性の高い自動プログラミングツールを構築するための道筋を示すものである。

限界: 著者らは、実験がユニットテストのフィードバックを伴う Python の関数レベルの修復に焦点を当てていることを述べている。この設定は、リポジトリレベルの課題（マルチファイルにわたる欠陥、依存関係管理）や、長期的なツール利用を捉えていない。また、リアリズムの信号は凍結された埋め込みモデルと有限のリファレンスプールに依存しており、将来の研究では、学習されたクリティックや選好ベースの報酬を探索できる可能性を示唆している。