🤖 AI

BoostAPR: Boosting Automated Program Repair via Execution-Grounded Reinforcement Learning with Dual Reward Models

BoostAPR は、強化学習中の微細な行レベルのクレジット割り当てを可能にするために、教師あり微調整と実行検証付き推論、および二重報酬モデルを組み合わせることで自動プログラム修復を強化する 3 段階のフレームワークであり、複数のベンチマークにおいて最先端のパフォーマンスと強力な言語間一般化を実現しています。

原著者： Yuanhao Li, Hongbo Wang, Xiaotang Shang, Xunzhu Tang, Yiming Cao, Xuhong Chen

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuanhao Li, Hongbo Wang, Xiaotang Shang, Xunzhu Tang, Yiming Cao, Xuhong Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、少し不器用な見習いを、壊れた機械を修理する方法に教えることを想像してください。その機械はコンピュータコードの断片であり、「壊れ」はテストに失敗させるバグです。

長らく、私たちはこれらの見習い（AI モデル）に、壊れた機械とその修理の例を示すことで教育しようと試みてきました。しかし、問題があります。見習いが修理を試みると、機械は完璧に動作するか、あるいは爆発するかどちらかです。どのネジを締めたり、どの配線を切断したりしたことが決定的な違いを生んだのか、機械は見習いに教えてくれません。彼らが得るのは、二元的な「よくやった」か「ダメだった」かの評価だけです。これでは学習は遅く、イライラを招きます。

この論文は、これを解決するための新しいシステム「BOOSTAPR」を紹介しています。それは、その不器用な見習いを熟練したメカニックへと変えるために設計された、三段階のトレーニングキャンプのようなものです。

ステップ 1：「考えてから行動する」宿題（教師あり微調整）

まず、システムは見習いに単に最終的な修理を示すのではなく、熟練メカニックのノートを見せます。

比喩： 熟練メカニックは、修理済みのエンジンを手渡すだけでなく、まず思考プロセスを書き留めます。「左側から音が聞こえたので、ベルトを確認し、緩んでいるのを発見して締め直した」といった具合です。
論文の主張： AI は「実行検証済みデモンストレーション」で訓練されます。つまり、熟練メカニックが実際に問題を解決し、かつその推論を書き留めた事例のみから学習するのです。AI は「何」を変えるかだけでなく、「どのように」問題について考えるかを学びます。

ステップ 2：二人の異なるコーチを雇う（二重報酬モデル）

見習いが練習を始めた後、フィードバックが必要です。昔は、コーチは単に「そのパッチは成功した！」または「そのパッチは失敗した！」と言うだけでした。この論文では、それは曖昧すぎると述べています。そこで、二人の専門コーチを雇います。

「全体像」コーチ（ $R_{seq}$ ）： このコーチは修理作業全体を見ます。機械は動作しましたか？はい、いいえ。彼らはパッチ全体に対してスコアを与えます。
「顕微鏡」コーチ（ $R_{line}$ ）： これが新しい、秘密の調味料です。このコーチは修理を行ごとに観察します。
- 比喩： 見習いがエンジンを修理したものの、車の色を奇妙な色に塗り替え、ラジオのチャンネルを変えてしまったと想像してください。「全体像」コーチは「動作するから、良い仕事だ」と言います。しかし、「顕微鏡」コーチは「待てよ、塗装やラジオはエンジンの修理には役立たなかった。ベルトの締め直しだけが功を奏した。成功の功績は塗装ではなく、ベルトに与えよう」と言います。
- 論文の主張： このコーチは、実際にバグを修正したコード行（「編集スパン」）と、単なるノイズだった行を正確に特定することを学びます。「全体像」スコアを受け取り、成功の功績を重要だった特定の行に再配分します。

ステップ 3：スマートなフィードバックを伴う実践走行（PPO 最適化）

最後に、見習いはリアルタイムでバグを修理するシミュレーションに入ります。

比喩： 見習いが動くたびに、二人のコーチが互いに話します。「顕微鏡」コーチは「全体像」コーチに、「作業全体に対してポイントを与えるだけでなく、その特定のボルトを締め直した見習いに追加ポイントを与え、その間に行われたランダムなタイピングにはゼロポイントを与えよ」と伝えます。
論文の主張： AI は PPO（強化学習の一種）という手法を使って脳を更新します。「顕微鏡」コーチが非常に詳細なフィードバックを与えるため、AI は単に「良い/悪い」という一般的なシグナルしか得なかった場合よりも、はるかに速く、かつ正確に学習します。

結果：どの程度機能しましたか？

著者らは、この新しいトレーニングキャンプを、数千の壊れたコード例を含む 4 つの異なる「ガレージ」（ベンチマーク）でテストしました。

SWE-bench（実世界の GitHub バグ）： AI は 40.7% のバグを修正しました。これは、この特別なトレーニングを受けていない同じ AI モデルと比較して、22.9% の大幅な上昇です。
Defects4J（Java バグ）： AI は主に Python で訓練されましたが、Java バグの 24.8% を正常に修正しました。これは、「顕微鏡」コーチが、Python 固有のトリックだけでなく、一般的な修理スキルを見習いに学習させたことを示しています。
HumanEval-Java & QuixBugs： これらの特定のコーディング課題において、非常に高いスコア（84.5% と 95.0%）を達成しました。

なぜこれが重要なのか（論文によると）

この論文は、最大の画期は AI が賢くなったことだけでなく、どのように賢くなったかにあると主張しています。「動作したか？」（シーケンスレベル）から「どの特定の行が動作させたか？」（行レベル）へと移行することで、彼らは主要な学習のボトルネックを解決しました。

「顕微鏡」コーチ（ $R_{line}$ ）は単独で重労働を担ったわけではありません。「全体像」コーチ（ $R_{seq}$ ）が大部分の作業を行いました。しかし、「顕微鏡」コーチは、新しい困難な問題への汎化に必要な追加のブーストを提供し、トレーニングプロセスをより安定かつ効率的にしました。

要約： BOOSTAPR は、AI にコードを修理させるために、専門家の思考プロセスを示し、作業全体を評価するコーチを雇い、さらに締め直されたすべてのネジを評価する第二のコーチを雇うことで、AI が次回何をすべきかを正確に学習することを保証します。

技術的サマリー：BOOSTAPR

問題定義

大規模言語モデル（LLM）を用いた自動プログラム修復（APR）は、効果的な強化学習（RL）を阻害する 3 つの根本的な限界に直面している：

スパースな実行フィードバック：テキスト生成とは異なり、プログラム修復は二値信号（通過/失敗）のみを提供する。単一の重要なテストに失敗したパッチは、構文が破損した試行と同じ負の信号を受け取り、部分的な正しさに対する指針を提供しない。
粗いシーケンスレベルの報酬：標準的な RL は、生成された全体シーケンスに報酬を割り当てる。多行パッチが成功または失敗した場合、モデルはどの特定の編集が有益であったか有害であったかに関する情報を一切受け取らない。これにより深刻なクレジット割り当て問題が生じ、分散の大きい勾配推定と非効率的な学習を引き起こす。
分布シフト：キュレーションされたデータセットで訓練されたモデルは、実世界のレポジトリに見られる多様なバグパターンへの汎化に苦労することが多い。

既存のアプローチは、コード修正には粗すぎたり、意味的意義が欠如していたりする（細かすぎる）スパースなシーケンスレベル報酬またはトークンレベル報酬に依存することが多い。

手法：BOOSTAPR フレームワーク

著者は、実行検証付き学習と微細なクレジット割り当てを組み合わせる 3 段階のトレーニングフレームワークであるBOOSTAPRを提案する。このフレームワークは、Qwen2.5-Coder-32Bを基盤とし、SWE-Gymのみに基づいて訓練されている。

段階 I：実行検証付き推論転移

ポリシーは、高品質なデモンストレーションを用いた教師あり微調整（SFT）によって初期化される。標準的な SFT とは異なり、この段階は 2 つの厳格な基準を強制する：

推論トレース：デモンストレーションには、パッチに加えて明示的な診断的推論（バグ診断、根本原因の特定、修正の正当化）が含まれなければならない。
実行検証：SWE-Gym 環境内のすべてのテストに合格したパッチのみが保持される。これにより、モデルは検証済みの解決策から学習し、もっともらしいが誤った出力をフィルタリングする。

段階 II：二重報酬学習

2 つの報酬モデルが、SFT ポリシーからの実行結果を用いてオフラインで訓練される：

シーケンスレベルアセッサー（ $R_{seq}$ ）：パッチの全体的な品質を予測するモデル。重要なのは、問題記述との偽の相関を学習しないよう、パッチのみ（バグコンテキストなしの統一差分）の入力で訓練される点である。これは、較正された絶対スコアの回帰と、正しい相対ランキングのためのペアワイズ選好を組み合わせたハイブリッド目的関数を使用する。
行レベルクレジットアロケーター（ $R_{line}$ ）：全体シーケンスまたは個々のトークンではなく、特定の編集行スパンにクレジットを割り当てる新規コンポーネント。
- メカニズム：統一差分を連続した編集行スパンに解析する。
- 教師信号：実行に基づくスタックトレース教師信号を使用する。失敗したパッチについては、モデルは失敗経路上のスパン（トレースバック分析を通じて）を特定し、それらに負のクレジットを割り当てる。一方、成功したパッチはすべての編集スパンを正として扱う。
- 目的：どの編集が成功または失敗に最も寄与するかを学習し、シーケンスレベルの報酬を有益な領域に再分配可能にする。

段階 III：二重報酬によるオンライン PPO

最終段階では、近接方策最適化（PPO）を用いてポリシーを最適化する。

トークンレベル報酬シェイピング： $R_{seq}$ からのシーケンスレベルスコアを、 $R_{line}$ が学習した重みを用いてトークン間に再分配する。高スコアの編集スパン内のトークンはより高い報酬を受け取り、非有益なトークン（ヘッダー、コンテキスト）はゼロの重みを受け取る。
フォーマットペナルティ：出力が有効な統一差分でない場合、最終トークンに決定論的なペナルティが適用される。
最適化：ポリシーは、この構造化されたクレジット割り当てに由来する期待報酬を最大化するように更新され、均一なシーケンスレベル報酬と比較して勾配分散を低減する。

主要な貢献

二重報酬アーキテクチャ：シーケンスレベルの品質評価と行レベルの編集スパンクレジット割り当てを組み合わせるメカニズム。コード編集タスクにおける微細な報酬分配の実用的な解決策を提供する。
3 段階トレーニングパイプライン：実行検証付き SFT、ハイブリッド回帰 - 選好目的関数によるオフライン報酬学習、およびオンライン方策最適化を統合したアプローチ。
統制比較：固定された基盤（32B）とトレーニングデータ（SWE-Gym）下での厳密な評価。二重報酬が、GRPO、リジェクションサンプリング RL、およびシーケンスレベル報酬のみの PPO よりも優れていることを実証。
アブレーションの知見：シーケンスレベル報酬を用いた PPO が主要な精度向上を駆動する一方で、行レベルアロケーター（ $R_{line}$ ）は、分布外汎化、トレーニング効率、および勾配の質において補完的な改善を提供するという証拠。

実験結果

BOOSTAPR は、Python および Java におけるレポジトリレベルおよび関数レベルの修復を網羅する 4 つのベンチマークで評価された：

SWE-bench Verified（Python）：**40.7%の通過率を達成。ベースモデルに対して+22.9 パーセントポイント（pp）**の改善。これは SWE-RL（41.0%）と同等だが、より小さい 32B の基盤を使用している。
Defects4J v2.0（Java）：**24.8%**の通過率を達成。ゼロの Java 訓練データにもかかわらず、ベースモデルの性能（11.3%）の 2 倍以上を達成し、強力なクロス言語汎化を示した。 $R_{line}$ コンポーネントは、SWE-bench に比べてここではより大きな相対的改善（+5.6pp）をもたらした。
HumanEval-Java：**84.5%**を達成。+20.5pp の改善。
QuixBugs：**95.0%**を達成。

統制 RL ベースライン：SWE-bench Verified において、BOOSTAPR は GRPO（+4.6pp）およびリジェクションサンプリング RL（+3.2pp）を上回った。 $R_{line}$ コンポーネントは、SWE-bench で安定した +2.4pp の改善、Defects4J で顕著な +5.6pp の改善をもたらした。

意義と主張

本論文は、BOOSTAPRが、中間粒度（編集行スパン）で動作することにより、コード生成における強化学習のクレジット割り当て問題に対処すると主張している。この粒度は、ハンクレベルの割り当てよりも細かく、トークンレベルの解析よりも安定しており、特に破損したパッチやクロス言語パッチにおいて「実用的な妥協点」として記述されている。

著者は以下を強調している：

実行に基づく学習が性能の主要な駆動力であり、シーケンスレベル報酬を用いた PPO が向上の大部分を占める。
行レベルクレジット割り当ては実行報酬の代替ではなく、最適化の安定性と分布外シナリオ（例：Python で訓練された際の Java タスク）への汎化を改善する補完的メカニズムである。
このアプローチは、表面レベルのパターンマッチングまたはキュレーションされたデータセットにのみ依存するのではなく、実行フィードバックから直接学習することで開発者を支援できる AI システムへと向かうものである。

本論文は限界を認めており、 $R_{line}$ の教師信号は部分的にヒューリスティックであり、編集行スパンは近似された意味単位であることを指摘している。将来的な作業として、より強力な故障局所化および大規模 RL パイプラインとの組み合わせが提案されている。