💻 computer science

SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks

本論文は、安価なモデルによる初期の探索的軌跡を活用して情報に基づいたエスカレーション決定を行うことで、従来の記述のみによるルーターを凌駕しつつ高い性能を維持し、マルチターンなエージェントによるソフトウェアエンジニアリングにおけるコスト効率を向上させる、価値ベースのルーティングフレームワークであるSWE-Routerを提案する。

原著者： Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

SWE-Router の解説：適切な専門家を雇うために

大きな問題：間違った専門家を雇ってしまうこと

あなたが修理工場の経営者だと想像してください。あなたの店には2種類のメカニックがいます。

見習い（Apprentice）: 安くて速い。簡単な修理（電球の交換やネジの締め直しなど）が得意です。
熟練エンジニア（Master Engineer）: 極めて高価で、作業は遅いですが、複雑で多層的な大トラブル（車のエンジンをゼロから組み直すような作業）を解決する天才です。

ソフトウェアの世界において、これらは**大規模言語モデル（LLM）**にあたります。「熟練」モデルはコードの修正に優れていますが、動かすのに多額の費用がかかります。「見習い」モデルは安価ですが、難しい問題にぶつかると行き詰まってしまうことがあります。

現在の間違い：
現在、顧客が壊れたコードを持ち込んできたとき、ショップマネージャー（ルーター）は、顧客による「問題の説明」だけを見て判断しています。

顧客の言葉: 「車が動きません」
マネージャーの思考: 「これは深刻そうだ。すぐに熟練エンジニアを呼ぼう」

現実：
「車が動きません」という言葉が、単なるバッテリーケーブルの緩み（見習いで対処できる簡単な修理）を意味していることもあれば、エンジンブロックの亀裂（熟練エンジニアが必要な事態）を意味していることもあります。マネージャーは、メモを読むだけではその違いを判断できません。その結果、簡単な仕事に対しても熟練エンジニアを呼び、お金を無駄にしてしまいます。

解決策：SWE-Router（「試運転」アプローチ）

論文の著者たちは、SWE-Routerと呼ばれる新しいシステムを作り出しました。説明文に基づいて推測するのではなく、まず見習いに数分間、問題を解決させてみるのです。

仕組みは以下の通りです：

探索フェーズ（Exploration Phase）: 安価な見習いモデルにタスクを与え、数ステップ（ターン）の試行を許可します。モデルはコードを確認し、テストを実行し、どのようなエラーが発生するかを観察します。
観察（Observation）: システムは見習いの動きを監視します。
- シナリオA: 見習いが素早くタイポ（打ち間違い）を見つけて修正した。システムはこれを見て、「よし、見習いで対処可能だ。節約のために、このまま見習いに最後までやらせよう」と判断します。
- シナリオB: 見習いが混乱し、壁にぶつかり、どこにバグがあるのか分からなくなった。システムはこれを見て、「なるほど、これは難しすぎる。見習いを中断させ、すぐに熟練エンジニアを呼ぼう」と判断します。
決定（Decision）: 特別な「バリュー・ヘッド（Value Head / 知的な判定器）」が見習いの進捗状況を確認し、「これは見習いが最後までこなせるほど簡単か、それともエスカレーションが必要か？」を決定します。

なぜこれが優れているのか（「情報の」優位性）

この論文は、最初の数ステップの間に行われたこと（部分的な履歴）を見ることは、元の問題文を読むよりもはるかに多くの情報をもたらすと主張しています。

従来の方法: 映画のタイトルを読むだけで、それがコメディか悲劇かを予想しようとするようなものです。予想を外す可能性があります。
新しい方法: 映画の最初の5分間を観るようなものです。もし人々が笑っていれば、それはコメディだと分かります。もし葬儀のシーンがあれば、それは悲劇だと分かります。より多くのデータがあるため、推測の精度が高まります。

論文では、この追加情報（「部分的な軌跡」）を持つことは、意思決定において決してマイナスにはならないことが数学的に証明されています。判断を下す前に物語の断片を知っておくことは、常に有利に働きます。

結果

研究者たちは、実際のコーディングタスク（大規模なソフトウェアプロジェクトにおけるバグ修正）を用いてテストを行いました。

コスト削減: 多くのタスクを（高価な）熟練エンジニアに送らずに見習いが処理できたため、大幅なコスト削減を実現しました。
成功率: 品質を損なうことはありませんでした。見習いが失敗した場合には熟練エンジニアに切り替えるため、タスクは確実に修正されます。
驚きのボーナス: 場合によっては、見習いが、熟練エンジニアが（直接呼び出された場合に）解決できなかった問題を解決することさえありました。これは、見習いの「探索」が、熟練エンジニアの直接的なアプローチよりも問題を明確化するのに役立ったためです。

まとめ

SWE-Routerは、ソフトウェア修理における賢い交通整理員です。すべての車を最も高価なメカニックに送るのではなく、まずは安価なメカニックに簡単な診断をさせます。もしメカニックが直せるなら、それでOKです。もし無理なら、専門家を呼びます。これにより、品質を犠牲にすることなくコストを節約できます。そして、これは単なる「問題の説明」からではなく、「問題を解決しようとするプロセス」から学ぶことで実現しています。

技術要約: SWE-Router

問題提起

マルチターン・エージェント・フレームワークに統合された大規模言語モデル（LLM）は、リポジトリ規模のGitHubイシュー解決といったソフトウェアエンジニアリング（SWE）タスクにおいて、最先端（SOTA）の結果を達成している。しかし、フロンティアモデルの推論コストは、競争力のあるオープンウェイトの代替モデルよりもしばしば一桁高い。既存のルーティング戦略は、多くのイシューが「安価な修正」で済む可能性があるにもかかわらず、あらゆるタスクがフロンティア級の能力を必要とすると扱うため、決定的な非効率性が生じている。

現在のLLMルーターは、初期のタスク記述（ $q$ ）のみに基づいた分類器または確率推定器として機能する。著者らは、このアプローチにおける根本的な限界を指摘している。エージェントの設定においては、同様のイシュー記述であっても、その背後にある困難さが劇的に異なる（例：局所的なタイポか、マルチモジュールにわたるリファクタリングか）場合がある。この曖昧さが、「情報理論的なベイズ誤差フロア（Bayes-error floor）」を生み出す。つまり、プロンプトだけでは容易な事例と困難な事例を区別できないのである。その結果、 $q$ のみに基づくルーティング決定は高いエラー率を継承し、安価なモデルで解決可能なタスクに対して、高価なモデルへの無駄なエスカレーションを招いてしまう。

手法: SWE-Router

本論文では、プロンプトのみによるルーティングの情報制限を克服するために設計された、価値ベースのテンポラル（時間的）ルーティング・フレームワークであるSWE-Routerを導入する。SWE-Routerは、 $q$ に基づいて即座に決定を下すのではなく、「まず試してから買う（try-before-you-buy）」戦略を採用する。

探索フェーズ: 安価で弱いモデル（ $m_1$ ）に対し、 $K$ 回の探索ターンを実行することを許可する。これらのターン中、エージェントは思考、行動、および観測（例：失敗したテスト、ファイル内容、スタックトレース）からなる部分的な軌跡（ $\mathcal{T}_{\le K}$ ）を生成する。
価値推定: 学習されたバリューヘッド（バイナリの軌跡報酬に対して訓練された分類器）が、部分的な軌跡 $\mathcal{T}_{\le K}$ を読み取り、 $m_1$ が最終的にタスクを解決する確率を予測する。
ルーティング決定: $m_1$ $m_{1}$ で継続することと、より強力で高価なモデル（ $m_2$ $m_{2}$ ）へエスカレートすることの、コスト調整済み期待効用を比較する。
- $m_1$ の予測成功確率がコスト調整済み閾値を超える場合、 $m_1$ はタスクを継続する。
- そうでない場合、システムは $m_2$ へエスカレートし、 $m_2$ は元のプロンプト $q$ からタスクを再開する（ $m_1$ の推論によるバイアスを回避するため）。

理論的基盤:
著者らは、プロンプトのみに条件付けるよりも、部分的な軌跡 $\mathcal{T}_{\le K}$ に条件付ける方がルーティング性能を損なうことはないという、ベイズ最適性定理（Theorem 4.1）を提示している。この定理は、部分的な軌跡がプロンプトよりも厳密に多くの情報を持っていることを確立している。ルーティングの改善は、探索ターンがタスクの困難さに関する情報的なシグナルを提供する場合（すなわち、プロンプトのみでは測定できない効用の条件付きギャップが存在する場合）に厳密に成立する。

実装の詳細:

バリューヘッド: 事前学習済みのLLM（Qwen2.5-Coder-7B-Instruct）に小さな分類ヘッドを付け、バイナリの軌跡報酬を用いてLoRAでファインチューニングしたもの。
訓練データ: SWE-SmithおよびSWE-Benchデータセット上で、弱いモデルを実行して生成されたマルチLLM軌跡データセットを利用する。
ルーティング規則: 著者らは決定ルールを、 $\hat{r}_1(\mathcal{T}_{\le K}) \ge \lambda'$ （ $\lambda'$ は検証データで調整された閾値）を満たす場合に $m_1$ を継続するという、片側ルーティング・アプローチに簡略化している。

主な貢献

ベイズ誤差フロアの特定: マルチターン・エージェントSWEにおいて、プロンプトに条件付けられたルーターは、タスク記述が局所的な問題と複雑な問題を区別できないために、情報理論的な限界を継承することを特定した。
テンポラル・ルーティング・フレームワーク: SWE-Routerは、単なるプロンプトではなく、エージェント自身の中間的な観測（部分的な軌跡）にルーティング決定を条件付ける初のルーティング・フレームワークである。
理論的保証: 部分的な軌跡への条件付けが、探索が情報的である場合には、ルーティングの最適性を厳密に向上させることを示す証明。
実証的検証: SWE-Routerが、強力なモデルの解決率を維持しつつ、コスト効率を大幅に向上させることを示す広範な実験。
データセットの公開: 軌跡レベルのルーティング研究の再現を可能にするため、マルチLLM軌跡データセットを公開する。

実験結果

著者らは、SWE-Bench VerifiedおよびSWE-Smithデータセットを用い、2組のLLMペア（弱いモデル: gpt-5-mini または deepseek-v3.2; 強力なモデル: gemini-3-pro-preview）を用いてSWE-Routerを評価した。

コスト・パフォーマンス・パレート境界: SWE-Router（ $K=3$ ）は、ほとんどのコスト範囲において、埋め込みベースのベースライン（ロジスティック回帰、k-NN、XGBoost）および非テンポラル・ルーター（ $K=0$ ）を厳密に支配するパレート境界を描く。
Route-AUCの向上: SWE-Bench Verifiedのテスト分割において、SWE-Routerは（deepseek-v3.2を $m_1$ として使用した場合）、0.780のRoute-AUCを達成し、これは非テンポラル・ベースラインに対して**+15.3パーセントポイントの向上を示している。gpt-5-miniのペアでは+12パーセントポイント**の向上が見られた。
相乗効果: ルーティング曲線は、時として「全タスクに対する強力なモデル（all-strong）」の性能を上回った。これは、簡単なインスタンスを弱いモデルに正しくルーティングすることで、強力なモデルが（すべてのタスクに対して強制的に実行された際に）失敗したケースが解決されたことを示しており、これはおそらく、弱いモデルが強力なモデルの特定の失敗モードやコスト制約を持たずに探索できる能力に起因する。
指標の相関: 著者らは、バリューヘッドのAUROC（識別品質）は実際のルーティング性能（Route-AUC）と強い相関はないと指摘している。これは、バリューヘッドが単なる生の正確さではなく、特定のコスト・ベネフィットのトレードオフに関連する微細なシグナルを捉えていることを示唆している。

意義と主張

本論文は、SWE-Routerが、全体的なパフォーマンスへのトレードオフを最小限に抑えつつ、フロンティアモデルの推論コストとエネルギー消費を削減することで、明確なプラスの影響を与えることを主張している。中間的なエージェントの観測（バグの局在化データのような構造的シグナル）には、初期プロンプトには存在しない情報が含まれているという洞察を具現化することで、本フレームワークはプロンプトのみのルーターが直面していた情報理論的な天井を打破する。

著者らは、自らの貢献を「SWEタスクのコスト効率を大幅に改善する」手法として控えめに位置づけており、強力なモデルの性能の大部分を維持している。また、部分的な軌跡の使用は、理論的には安全性を重視するモデルを回避するために悪用される可能性があることを認め、安全性に配慮したルーティングが今後の重要な研究方向であることを特定している。核心的な意義は、ルーティングのパラダイムを、静的なプロンプト分析から、動的で軌跡を考慮した意思決定へと移行させた点にある。