技術的概要：パッチから軌道へ（P2T）

問題定義

オープンなソフトウェアエンジニアリング（SWE）エージェントに調査能力と推論能力を付与する支配的な手法は、強力な教師モデルによって生成された長い軌道に対する教師あり微調整（SFT）である。しかし、標準的な SFT は、保持されたすべての応答を模倣の目標として扱う。その結果、学生エージェントは成功した結果だけでなく、根拠のない飛躍、冗長なループ、推測的な探索といった中間ステップの欠陥も継承してしまう。

現在のデータ構築パイプラインは、結果フィルタリングによる棄却サンプリングに依存している。つまり、最終的なパッチがテストスイートを通過する軌道のみを保持する。このアプローチには、以下の 3 つの重大な限界がある。

1. プロセス監督の欠如: 中間推論ステップに対するフィードバックが提供されず、終端結果のみが得られる。
2. 非効率性: 保持された軌道には、冗長なファイル表示、情報量の少ないツール呼び出し、ループが含まれることが多く、推論コストが増大する。
3. データの浪費: 教師が合格するパッチを生成できなかった事例でも、教師の調査が貴重な中間事実を明らかにしていた場合であっても、それらは破棄されてしまう。
4. 漏洩リスク: 単に参照パッチ（$p^\star$）を使用して生成を誘導するだけでは、「解の漏洩」のリスクが生じる。これは、エージェントが必要な証拠を集める前に編集や主張を行い、学生が模倣する正当化されていない飛躍につながるものである。

核心的な課題は、参照パッチを学生エージェントに露出させることなく、効果的（各ステップが根拠のある推論により正しい修正への認識ギャップを狭める）かつ効率的（各ステップが情報を有し、冗長性を回避する）なトレーニングデータを構築することである。

手法：P2T（パッチ・トゥ・トラジェクトリ）

著者は、データ選定中に開発者が作成した参照パッチ（$p^\star$）を特権情報として扱うフレームワークP2Tを提案する。学生は $p^\star$ を決して見ることがない。代わりに、選定プロセスは $p^\star$ を潜在構造に蒸留し、軌道構築を誘導する。

P2T は 2 つのフェーズで動作する。

フェーズ 1：プロセスグラフ蒸留（逆方向フェーズ）

参照パッチ $p^\star$ を潜在プロセスグラフ $G^\star_i = (V_i, E_i)$ に変換する。

• ノード（$V_i$）: 修正が導出可能になる前に有能な開発者が確立しなければならない中間的文脈的事実（例：ファイルの場所、ランタイムの動作）と、解決のマイルストーン（例：再現スクリプト、修正計画、編集）を表す。
• エッジ（$E_i$）: 前提条件関係をエンコードし、ノードがその前提条件が確立された後にのみ発見可能となるようなトポロジカル順序を確保する。
• 構築: LLM エージェントを用いた反復的な提案者 - 批評家ループによる。
  • 提案者: $p^\star$ を導出するために必要な欠落した事実やマイルストーンを特定する。
  • 批評家: 非漏洩を強制し、その「アンロック手段」（それを発見するために必要な行動）が $p^\star$ 自体の知識を前提としているようなノードを剪定する。
• 結果: 修正そのものを明かすことなく、修正に必要な前提条件をエンコードしたグラフ $G^\star$。

フェーズ 2：後退ホライズン双目的軌道実現（順方向フェーズ）

軌道は、教師モデルからブラインドな継続をサンプリングし、$G^\star$ に対して選定することで構築される。

• 候補生成: 各スライディングウィンドウにおいて、システムは教師から $K$ 個の「ブラインドシード」をサンプリングする。その後、シードステップに最大 1 つの局所的な編集を適用し、それを $G^\star$ の利用可能なノードに向けることで、「変異バリアント」を生成する。
• 双目的選択: システムは以下の 2 つの基準に基づいてセグメントを選択する。
  1. 効果性: $G^\star$ 内で新たに確立されたノードを数える進捗スコア（$Prog_t$）で測定され、早急な主張に対してペナルティを課す。根拠性ゲートは、可視履歴によってまだ支持されていないエンティティへの言及や主張を行わないことを保証する。
  2. 効率性: 軌道の長さ（トークン数またはステップ数）で測定される。
• コミットルール: システムは**「最短・フロア以上」**ルールを適用する。最小効果性閾値を満たすセグメントの中で、最も短いものをコミットする。これにより、軌道は厳密な根拠性を維持しつつ簡潔になる。
• 終了: パッチが生成されるまでこのプロセスを繰り返す。最終パッチがテストスイートを通過する軌道のみが SFT データセットに承認される。

主要な貢献

1. 問題定式化: 著者は、SWE エージェントの SFT データ構築を、ステップごとの効果性と軌道長に対する双目的最適化問題として定式化し、標準的な結果フィルタリングによる棄却サンプリングがどちらの軸についても信号を提供できないことを実証した。
2. P2T フレームワーク: $p^\star$ を特権情報として活用する新しい選定フレームワーク。$p^\star$ を漏洩しないプロセスグラフ $G^\star$ に蒸留し、パッチを学生に露出させることなく、$G^\star$ によって誘導され、短く、根拠があり、誘導された軌道を実現する。
3. 実証的検証: SWE-Gym から選定された 1.8k の事例のみを使用して、P2T は結果フィルタリングのベースラインに対して、効果性と効率性の両面で同時改善を達成した。

実験結果

著者は、2 つの学生モデル（Qwen2.5-Coder-14B/32B）と 2 つの教師選定者（Qwen3-Coder-480B、GLM-5-FP8）を使用して、SWE-bench VerifiedおよびSWE-bench Lite上で P2T を評価した。

• 性能向上: SWE-bench Verified において、P2T はテスト合格棄却サンプリングのベースラインと比較して、Pass@1 を最大 +10.8 ポイント向上させた（例：32B スチューデントでは 39.6% から 50.4%）。
• 効率性向上: P2T はインスタンスあたりの推論コストを約 15% 削減した（例：0.92 ドルから 0.78 ドル）。これは、選定された軌道が著しく短く、冗長性が少ないことを示している。
• 品質分析:
  • 選定された軌道は、棄却されたロールアウトと比較して、9.3% 短く、31.0% 冗長性が低い（ファイル表示アクションの観点から）。
  • これらの構造的改善は訓練された学生に転移し、ベースラインで訓練された学生からのロールアウトと比較して、10.3% 短く、19.5% 冗長性が低いロールアウトを出力した。
• アブレーション研究:
  • 根拠性チェックを除去すると、Pass@1 が約 7.2 ポイント低下し、根拠のない飛躍を防ぐことの必要性が確認された。
  • 最短・フロア以上ルールを除去すると、軌道長とトークン数が増加し、Pass@1 が低下した。これは、より短い軌道が模倣ノイズを少ないことを示している。
  • 情報の価値に関する研究は、利益が単なる選定メカニズムやデータ規模ではなく、$G^\star$ にエンコードされた情報によって駆動されていることを確認した。

意義と主張

本論文は、有能なエージェントに対する適切な監督単位は、孤立した軌道や終端の人工物ではなく、それらを結びつける構造であると主張する。

• 特権情報の因数分解: P2T は、単なる正解として破棄されがちな参照パッチを、学生の本物の調査スキルを学ぶ能力を損なうことなく、高品質なトレーニングデータを形成するための特権信号として活用できることを実証している。
• 同時最適化: この研究は、探索（効果性）と効率性の間のトレードオフに挑戦する。プロセスグラフを用いて進捗を固定することで、P2T はより高い解決率と低い推論コストの両方を達成し、「慎重で根拠のある探索」が必ずしも「サポートされていないショートカットを招く過剰な短縮」を必要としないことを証明している。
• 規模よりもデータ品質: 結果は、原理に基づくプロセス監督に由来する軌道ごとの品質が、単に結果フィルタリングされたデータの量を増やすことよりも、エージェントのパフォーマンスのより強力な駆動因子であることを示唆している。

著者は、実行可能なテストスイートと参照パッチへの依存、および LLM 媒介の根拠性チェックの実証的（形式的ではない）性質といった限界を認めつつ、控えめな立場を維持している。彼らは P2T を、ソフトウェアエンジニアリングエージェントにおけるプロセス監督へのより構造化されたアプローチへの一歩として位置づけている。