技術サマリー: SERA: Soft-Verified Efficient Repository Agents（ソフト検証による効率的なリポジトリ・エージェント）

問題提起

オープンウェイトのコーディング・エージェントは、リポジトリ固有のパターンやドメイン知識をモデルの重みに直接エンコードすることで、プライベートなコードベースに特化できるという理論的な利点を備えています。しかし、この利点を実現することは、トレーニングに伴う高コストと複雑さによって阻まれてきました。従来のアプローチは、複雑なサンドボックス実行環境と分散インフラを必要とする強化学習（RL）、あるいはバグ修正を検証するための厳格なユニットテスト・インフラストラクチャを必要とする合成データ生成パイプライン（例：SWE-smith）のいずれかに依存しています。これらの障壁により、コーディング・エージェントの開発はリソースの豊富な産業界のラボに集中しており、小規模なチームや学術研究者が自身のプライベートなリポジトリに対してモデルを実用的に特化させることが困難な状況にあります。

手法: ソフト検証生成 (Soft-Verified Generation: SVG)

著者らは、ユニットテストや複雑なバグ注入パイプラインを必要とせずに高品質なトレーニング・トラジェトリ（軌跡）を生成するために設計された手法である、Soft-Verified Generation (SVG) を導入しています。SVGは、従来の手法を簡略化したことから得られた2つの核心的な観察に基づいています。

1. ハード検証からソフト検証へ: 合成データの検証にユニットテストを実行する代わりに、SVGは同一のティーチャーモデルによって生成された2つのパッチ間の部分的な行レベルの重複（リコール）を比較します。

   • ロールアウト 1: ティーチャーモデル（$M$）に対し、コードベース（$C$）内のランダムに選択された関数に対して変更を加えるという曖昧な指示を与え、トラジェトリ（$T_1$）とパッチ（$P_1$）を生成させます。
   • 合成PR生成: $T_1$ を合成プルリクエスト（PR）の説明文に変換します。
   • ロールアウト 2: ティーチャーモデルに対し、のみ 合成PRの説明文を与えて元のパッチ（$P_1$）を再現することを試みさせ、第2のトラジェトリ（$T_2$）とパッチ（$P_2$）を生成させます。
   • 検証: パッチを行レベルのリコール（$r = |P_2 \cap P_1| / |P_1|$）を用いて比較します。データは、このリコール・スコアに基づいて選択されます。著者らは、未検証のデータ（$r=0$）やソフト検証されたデータ（$0 < r < 1$）であっても、ハード検証されたデータ（$r=1$）と同等の性能を示すことを見出し、テスト・インフラストラクチャを完全に排除しました。

2. 多様性のための曖昧な指示: バグ修正のみに焦点を当てるのではなく、この手法では曖昧な指示（例：「状態管理に関連する問題を修正してください」）を使用して、リファクタリングやドキュメントの改善を含む多様な変更を生成します。これにより、トレーニング・データを多様化し、SWE-benchのようなベンチマークにおける性能を向上させます。

トレーニング・パイプライン:

• ティーチャーモデル: オープンウェイトであり、推論プロセス（reasoning traces）を備え、コスト効率が高いことから、GLM-4.5-Air（またはGLM-4.6）が使用されています。
• ベースモデル: 教師ありファインチューニング（SFT）には、Qwen 3-32Bが使用されています。
• データ規模: この手法により、121のコードベースから20万件以上の合成トラジェトリが生成されました。
• 切り捨て戦略: 長いコンテキストを扱うため、著者らは「切り捨て比率（truncation ratio）」（コンテキストウィンドウに収まるトラジェトリの割合）を保持することが極めて重要であることを発見しました。高い切り捨て比率（例：0.95）を持つトラジェトリを選択することは、ランダムな切り捨てよりも優れた性能をもたらします。

主な貢献

1. SERAモデル: SVGデータを用いてSFTされた32Bパラメータのコーディング・エージェントである SERA-32B のリリース。これは、SWE-bench Verifiedにおいて、完全なオープンソース（データ、手法、コード）の中で最先端の結果を達成し、Devstral-Small-2のようなオープンウェイト・モデルと同等またはそれを上回る性能を示しています。
2. コスト効率: SERAモデルの作成は、同等の性能に達するための強化学習アプローチ（例：SkyRL）よりも26倍安価であり、従来の合成データ生成手法（例：SWE-smith）よりも57倍安価です。データ生成とトレーニングの総コストは約2,000ドル（40 GPU日）でした。
3. リポジトリの特化: 著者らは、わずか約8,000件の合成トラジェトリを用いることで、オープンウェイト・モデルをプライベートなコードベース（Django、Sympy、Sphinxなど）に特化させることができることを実証しました。これらの特化したモデルは、特定のリポジトリのタスクにおいて、コンテキストウィンドウへのアクセスのみに依存する汎用モデルを凌駕する性能を発揮します。
4. ソフト検証の妥当性: 本論文は、効果的なコーディング・トレーニング・データを生成するために、ユニットテストによる検証が厳密には必要ないという経験的な証拠を提供し、データ生成の障壁を大幅に下げました。
5. スケーリング則と堅牢性: 本研究は、コーディング・エージェントのスケーリング則を確立し、性能がデータサイズとともに予測可能なべき乗則に従うことを示しました。また、信号とノイズを区別するために複数のランダムシード（少なくとも3つ）を使用することの重要性を強調しており、この分野で報告されている多くの改善が、実行ごとの分散の範囲内にあることを指摘しています。

結果

• SWE-bench Verified パフォーマンス:
  • SERA-32B (GLM-4.6 ティーチャー): 32K コンテキストで 49.5%、64K コンテキストで 54.2% を達成。
  • これは、他の完全なオープンソース・モデル（例：SWE-smith の 25.6–32.6%、SkyRL の 39.4%）を上回り、Devstral-Small-2（32K で 50.0%）のような強力なオープンウェイト・モデルに匹敵します。
• 特化の効率性:
  • Djangoリポジトリへの特化において、8,000サンプルを用いて 52.23% の精度を達成し、ティーチャーモデル（GLM-4.5-Air）の 51.2% およびオープンウェイトの Devstral-Small-2 の 51.3% を上回りました。
  • スケーリング則は、完全な特化（$\alpha=1.0$）が8,000サンプルでティーチャーの性能に達する一方で、一般的なデータのみ（$\alpha=0.0$）では、サンプル量を2倍にしてもこれに達しないことを示しています。
• 検証の閾値: 実験の結果、ハード検証済み（$r=1.0$）、ソフト検証済み（$r=0.5$）、または全く検証されていない（$r=0.0$）トラジェトリで学習されたモデルの間に、統計的に有意な性能差は見られませんでした。これは、意図をコードに変換するスキルが、不完全なトラジェトリからも学習されることを示唆しています。

意義と主張

本論文は、SERAがコーディング・エージェントのプライベートなコードベースへの特化を、実用的かつ手頃な価格にするものであると主張しています。テスト・インフラストラクチャや複雑なRLセットアップの必要性を排除することで、著者らは、小規模なチームや学術研究者が、自身のコードベースにおいて最先端のシステムを凌駕する特化型エージェントを構築することを可能にします。

著者らが強調する主な含意は以下の通りです：

• 民主化: コーディング・エージェント研究の参入障壁を下げ、大規模なGPUクラスターを持つ大規模な産業界のラボから解放します。
• プライバシーと知的財産: 組織がサードパーティのAPIプロバイダーにデータを公開することなく、独自のコードを用いてモデルをトレーニングすることを可能にし、重要なプライバシーおよび知的財産の懸念に対処します。
• オープンサイエンス: 20万件の合成トラジェトリ、トレーニングコード、およびモデルの重みを公開することは、再現可能な研究の基礎を提供し、コミュニティが高価なインフラを再構築することなく反復的な研究を行えるようにします。

著者らは、自らの主張に対して謙虚な姿勢を保っており、真のプライベートなコードベースでの評価の欠如（グラウンドトゥルースによる評価の不在のため）や、モデル固有の最適化の可能性（結果はQwenおよびGLMファミリーに基づいている）といった限界を認めています。彼らは、手法が進化を加速させる一方で、ノイズを真の改善と誤解しないために、厳格な統計的慣行（複数のシード、信号対雑音分析）がこの分野には必要であることを強調しています。