From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents

この論文「From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents」は、NVIDIA によって提出されたプレプリント（arXiv:2604.01496v1）であり、大規模言語モデル（LLM）を用いた自律型ソフトウェアエンジニアリング（SWE）エージェントの訓練におけるスケーラビリティのボトルネックを解決する新しい 2 段階のファインチューニング手法を提案しています。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細な技術的サマリーを記述します。

---

1. 問題定義 (Problem)

従来の SWE エージェントの訓練手法は、コードの修正を検証するために「実行環境（Docker コンテナ等）」の構築とテスト実行に依存していました。しかし、このアプローチには以下の重大な課題が存在します。

• インフラの複雑性とコスト: 現実世界の多くのリポジトリは、複雑な依存関係やレガシーな設定により、コンテナ環境で正常にビルド・実行できません。これにより、大量のデータが破棄され、学習データの規模が制限されます。
• 計算リソースの過剰消費: 数千のタスクに対して個別の Docker 環境をオーケストレーションすることは、大規模な教師あり微調整（SFT）や強化学習（RL）において、莫大なインフラオーバーヘッドと計算コストを発生させます。
• 推論時の非効率性: 推論時にも環境の再構築とテスト実行が必要となるため、エージェントが複数の解決策を探索する際の効率が低下します。

これらの課題は、オープンソースモデルによる SWE エージェントの発展を阻害する「スケーラビリティのボトルネック」となっています。

2. 手法 (Methodology)

著者らは、意味的推論と物理的検証を分離する「二層構造のトレーニングパイプライン」であるSWE-ZERO to SWE-HEROを提案しました。

第 1 段階：SWE-ZERO (Execution-free / 実行なし)

• 目的: 大規模なデータを用いて、コードの意味論（セマンティクス）とリポジトリレベルの推論能力を習得させる。
• 仕組み: 実行環境（Docker など）を一切使用せず、教師モデル（Qwen3-Coder-480B）に「実行不可能なサンドボックス」環境でタスクを解決させます。
• データ: 15 万件の GitHub プルリクエスト（PR）から生成された 30 万件の実行フリーの軌跡（trajectories）を使用。
• 特徴:
  • 実行フィードバックループを回避するため、トークン消費量が約 40% 削減されます。
  • エージェントは「世界モデル」に基づき、バグの特定やパッチ生成を静的な推論で行います。
  • 実行環境の構築が不要なため、実行不可能なリポジトリも含めた「ロングテール」のデータを利用可能です。

第 2 段階：SWE-HERO (Execution-based / 実行ベース)

• 目的: SWE-ZERO で獲得した直感的な推論を、厳密なエンジニアリングワークフローへと洗練させる。
• 仕組み: 完全なコンテナ化された実行環境（Docker）を用い、テスト実行によるフィードバックに基づいて軌跡を微調整します。
• データ: 1 万 3 千件の高品質な実行ベースの軌跡（SWE-ZERO でフィルタリングされたもの）。
• 特徴:
  • 実行フィードバックを活用し、競合状態（race condition）など実行時挙動に依存するバグへの対応力を強化します。
  • SWE-ZERO で獲得した「意味的基盤」の上に、検証可能なエンジニアリングスキルを構築します。

3. 主要な貢献 (Key Contributions)

1. 新しいトレーニングレシピの提案: 実行フリーの大量データによる「基礎的推論」の学習と、実行ベースの少量データによる「厳密な微調整」を組み合わせる、効率的かつスケーラブルな SFT パイプラインを確立しました。
2. 大規模データセットの公開:
   • SWE-ZERO データセット: 実行なしで生成された 30 万件の軌跡。
   • SWE-HERO データセット: 実行ベースで検証された 1 万 3 千件の軌跡。
   • これらは Qwen3-Coder-480B から蒸留（distillation）されたものであり、オープンソースモデルのトレーニングに利用可能です。
3. モデルの公開: Qwen2.5-Coder シリーズ（7B, 14B, 32B）を基盤とした SWE-ZERO および SWE-HERO エージェントを公開しました。
4. 多言語への汎化性の証明: 主に Python で訓練されたモデルが、多言語（SWE-bench Multilingual）タスクにおいても高い性能を発揮することを示し、このパラダイムの言語横断的な有効性を実証しました。

4. 実験結果 (Results)

SWE-bench Verified（Python ソフトウェアエンジニアリング課題）:

• SWE-HERO-32B: 62.2% の解決率を達成し、同サイズの既存のオープンソースモデル（例：SERA-32B の 54.2%、daVinci-32B の 56.1%）を大きく上回りました。
• 小規模モデルの躍進: 7B モデル（52.7%）や 14B モデル（60.8%）も、同サイズの競合他社モデルを大幅に凌駕し、小規模モデルにおける新しい効率のフロンティアを確立しました。
• アブレーション研究: SWE-ZERO 段階をスキップし、直接 SWE-HERO データでファインチューンした場合（55.7%）、SWE-ZERO を経由した場合（62.2%）に比べて性能が低下しました。これは、実行フリー段階が重要な「帰納的バイアス」を提供することを示しています。

SWE-bench Multilingual（多言語課題）:

• SWE-HERO-32B: 実行ありの設定で 44.1%、実行なしで 42.2% の解決率を達成しました。Python 中心の訓練でありながら、他の言語へのゼロショット転移性能が非常に高いことが確認されました。

効率性:

• SWE-ZERO モデルは、実行フィードバックを必要としないため、タスク解決に必要なターン数とトークン消費量が大幅に削減されています（図 3, 図 6 参照）。

5. 意義と結論 (Significance)

この研究は、ソフトウェアエンジニアリングエージェントの開発において、「物理的な実行環境への絶対的な依存」から「意味的推論と実行の分離」へとパラダイムシフトを起こす画期的なものです。

• スケーラビリティの解決: 実行環境の構築コストを排除することで、GitHub の膨大なデータ（実行不可能なリポジトリを含む）を学習に活用できるようになり、データとトレーニングの両面でスケーラビリティを劇的に向上させました。
• コストパフォーマンス: 高価な実行インフラなしで、最先端の性能を持つエージェントを構築可能であることを実証しました。
• 将来展望: この「SWE-ZERO to SWE-HERO」のアプローチは、推論能力を持つ新しいアーキテクチャや、より複雑なタスクへの拡張においても有効な青写真（ブループリント）となると期待されています。

要約すれば、この論文は「実行コストをかけずに大規模なデータで推論力を磨き、その後、少量の高品質な実行データで精度を高める」という戦略により、オープンソースの SWE エージェントを新たなレベルへと引き上げた点で極めて重要です。