💬 NLP

Learning Agent Routing From Early Experience

本論文は、初期の行動経験とルブリックに基づく推論に基づいてクエリを軽量な大規模言語モデル推論または完全なエージェント実行のいずれかに動的にルーティングすることで、遅延と性能のトレードオフを最適化し、既存の手法と比較して速度と精度の両面で大幅な改善を実現する、トレーニング不要なフレームワークであるBoundaryRouterを導入する。

原著者： Yimin Wang, Jiahao Qiu, Xuan Qi, Xinzhe Juan, Jingzhe Shi, Zelin Zhao, Hongru Wang, Shilong Liu, Mengdi Wang

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yimin Wang, Jiahao Qiu, Xuan Qi, Xinzhe Juan, Jingzhe Shi, Zelin Zhao, Hongru Wang, Shilong Liu, Mengdi Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く高速だが、時として過信しやすいアシスタント（LLM）と、極めて熟練し徹底的だが、遅く高価な専門家コンサルタント（Agent）がいると想像してください。

アシスタントは、「フランスの首都はどこですか？」のような単純な質問には瞬時かつ無料で回答できます。しかし、複雑な物理の問題を解かせたり、多段階にわたる長いコードを書かせたりすると、誤った推測をしたり、幻覚（ハルシネーション）を起こしたりする可能性があります。
専門家は、ツールを使用し、調査を行い、段階的に思考することで、そうした難しい問題を完璧に解決できます。しかし、そのためには長い時間がかかり、多大な費用が発生します。

問題点:
現在、簡単で難しい質問が混在している場合、どちらを誰に送るべきか推測するしかありません。すべてを専門家に送れば、簡単な質問に対して時間と費用を無駄にします。すべてをアシスタントに送れば、難しい質問に対して誤った回答を得ることになります。

解決策："BoundaryRouter"
この論文では、BoundaryRouterと呼ばれる新しいシステムを導入しています。これは、アシスタントと専門家の交差点に立つ、賢い交通整理員のようなものです。その役割は、届くすべての質問を確認し、「これはアシスタントで十分か、それとも専門家が必要か？」を判断することです。

難しい点は、この交通整理員は事前の訓練データや「正解のチートシート」なしに、即座に働き始めなければならないことです。これは「コールドスタート」です。

仕組み（創造的な比喩）:
試験勉強をする代わりに、この交通整理員は「初期経験からの学習」というトリックを使用します。

「シード」テスト: システムが稼働する前に、研究者は少量の質問をアシスタントと専門家の両方に通します。正解を気にするのではなく、両者がどのように振る舞うか観察するだけです。
- 例: 特定の種類の数学に関する質問の場合、アシスタントは2秒で短く自信満々に回答する一方、専門家は電卓を取り出して二重確認するために300秒かかることに気づきます。
- これらの観察結果を小さな「記憶帳」に保存します。
「類似者」検索: 新しい質問が届くと、交通整理員はその記憶帳をめくります。「この新しい質問は、以前見たものに似ているか？」と問うのです。
- アシスタントが速く、専門家が遅かった類似の事例が見つかった場合、その新しい質問をアシスタントに送ります。
- アシスタントが混乱していたり、遅かったりする類似の事例が見つかった場合、その質問を専門家に送ります。
「ルールブック」推論: 交通整理員が単に推測するだけにならないよう、厳格なルールブック（「ルブリック誘導推論」と呼ばれる）に従います。「専門家が必要だと感じる」だけでなく、特定の基準を確認します。「過去の類似質問で専門家は10倍の時間を要しなかったか？アシスタントの回答は曖昧ではなかったか？」これにより、決定が論理的かつ一貫したものになります。

結果:
研究者たちは、このシステムをRouteBench（厄介な質問の集合）という新しいベンチマークでテストしました。

速度: すべてを専門家に任せる場合と比較して、このシステムは簡単な質問に時間を浪費しなくなったため、60%高速でした。
精度: すべてをアシスタントに任せる場合と比較して、アシスタントが難しい問題で推測することを防いだため、28%正確でした。
比較: 単純なプロンプトや基本的な検索ツールのみを使用する他の手法よりもはるかに優れた結果を示しました。

要約:
この論文は、いつ速く、いつ徹底的に対応すべきかを知る賢いシステムを構築するために、大規模な訓練データセットは不要であることを示しています。いくつかのサンプル質問における2つの異なるシステムの振る舞いを単に観察するだけで、「交通整理員」に将来の質問を完璧にルーティングするよう教え、品質を犠牲にすることなく時間と費用を節約できるのです。

技術的サマリー：初期経験からの学習エージェントルーティング

問題定義

大規模言語モデル（LLM）エージェントは、複雑な推論、計画、ツール利用において強力な能力を示しますが、高い遅延と計算コストを伴います。一方、直接の LLM 推論は高速でコスト効果が高いものの、その能力限界を超えるタスクではしばしば信頼性が低下します。本研究が扱う中心的な課題は、現実的なコールドスタート設定において、軽量な LLM 推論とフルエージェント実行の間でクエリをルーティングすることです。これらのシナリオでは、入力クエリに過去の性能データや正解ラベルが存在しないため、ルーターの標準的な教師あり学習は実用的ではありません。既存の研究は主に均質な空間内（例えば、異なる LLM 間や異なるエージェント間）でのルーティングに焦点を当てており、LLM とエージェント間のハイブリッドなルーティング問題は未踏査のままです。

手法：BoundaryRouter

著者は、正解ラベルによる教師なしでルーティング決定を行うことを目的とした、教師なしのルーティングフレームワークBoundaryRouterを提案します。このシステムは、3 つの中核メカニズムを通じて動作します。

1. 初期経験からの学習

コールドスタート問題に対処するため、BoundaryRouter はコンパクトな初期経験メモリ（ $M$ ）を構築します。

構築：少量のシード質問セット（ $D_{seed}$ ）を、軽量 LLM とフルエージェントの両方で実行します。
記録データ：各クエリについて、入力質問、両方のソルバーからの出力（ $y_{LLM}, y_{Agent}$ ）、およびそれぞれの遅延時間（ $t_{LLM}, t_{Agent}$ ）を記録します。
制約：重要なのは、正解、正解ラベル、または報酬は保存されないことです。メモリは、2 つのシステム間の体系的な行動の違い（例えば、応答パターンや実行時間）を捉えます。

2. 検索拡張ルーティング

推論時、新しいクエリ $x$ に対して：

システムは、ハイブリッド検索器（疎な語彙一致と密な意味的類似性を組み合わせる）を用いて、初期経験メモリから上位 K 件の最も類似したレコードを検索します。
これらの検索された事例は証拠として機能し、ルーターが現在のクエリを両ソルバーの過去の行動と比較して規則性（例えば、類似の表現が以前にエージェント固有の多段階推論や遅延の急増につながったかどうか）を推論することを可能にします。

3. ルーブリック誘導の思考連鎖（CoT）

決定がオープンエンドな推論ではなく、特定の行動基準と整合するように保証するため、ルーティング LLM はルーブリック誘導 CoTを採用します。

自由形式の推論の代わりに、ルーターはプロンプトに符号化された固定の決定ルーブリックに従います。
このルーブリックは、モデルが観測可能な次元（回答の特性と応答時間）に基づいて検索された事例を明示的に評価し、期待される回答の品質と遅延時間のトレードオフを行うよう指示します。
出力はバイナリのルーティング決定です： $Route(x) \in \{LLM, Agent\}$ 。

主要な貢献

1. BoundaryRouter フレームワーク

本論文は、初期の行動経験と構造化された推論を活用する、新しい教師なしルーティング手法を導入します。これは、正解ラベルが存在しないコールドスタート設定において信頼性の高いルーティングを可能にし、高速で低コストな LLM 推論と堅牢で高コストなエージェント実行の間のギャップを埋めます。

2. RouteBench ベンチマーク

この問題を体系的に評価するために、著者は LLM-エージェントルーティング用に特別に設計されたベンチマークRouteBenchを導入します。

構成：GAIA および MMLU データセットから派生しており、ソルバー出力のペア、遅延データ、および決定論的ルール（正解優先、効率の同点決着、失敗時のフォールバック）に基づく人間による注釈付きルーティングラベルを含みます。
評価セット：3 つの次元にわたる一般化性を評価します。
- Base Set：ドメイン内タスク。
- Rephrase Set：堅牢性をテストするための言語的に摂動を加えたクエリ。
- Advanced Set：分布シフトをテストするドメイン外タスク。
指標：インスタンスレベルの精度、ソルバーレベルの F1 スコア、および全体的なルーティング効果を測定する複合指標RouteBenchScoreを使用します。

実験結果

実験は、GPT-5、Gemini-3-Pro、Claude Sonnet 4 などを含む 14 の現代モデルをルーティングの基盤として使用し、RouteBench 上で実施されました。

性能とコストのトレードオフ：BoundaryRouter は、エージェントのみを使用する場合と比較して平均推論時間を**60.6%削減し、直接の LLM 推論と比較して性能を28.6%**向上させました。
ベースラインとの比較：
- プロンプトベースのルーティング（経験なし）と比較して、BoundaryRouter はルーティングの品質を**37.9%**向上させました。
- 検索のみのルーティング（ルーブリック誘導推論なし）と比較して、性能を**8.2%**向上させました。
一般化性：この手法は Advanced（ドメイン外）セットにおいて強力な性能を維持し、初期の行動シグナルとルーブリック制約付き推論の組み合わせが、訓練分布を超えて一般化できることを示しました。
モデルの層別化：最先端モデルの中では、GPT-5、Gemini-3-Pro-Preview、および Gemini-2.5-Pro が、特にドメイン外シフトの処理において最も強力なルーティング性能を達成しました。

意義と主張

本論文は、初期の行動シグナルがルーブリック誘導推論と組み合わされれば、正解ラベルやルーティングの教師信号が存在しない場合でも、LLM とエージェントの間で信頼性の高いルーティングが可能であると主張します。

実用性：このフレームワークは、高価な教師あり訓練データなしで、異種推論システムにおけるスケーラブルな調整に向けた実用的な道筋を提供します。
ルーティングの難しさに関する洞察：結果は、ドメイン内設定であってもルーティングは依然として困難な課題であり、分布シフト下では性能が弱モデルで著しく低下することを浮き彫りにしています。
将来の方向性：現在の研究は単一の LLM と単一のエージェントパイプライン間のバイナリルーティングに焦点を当てていますが、著者はこのアプローチが、複数のエージェントや異種ツールを含むより複雑なシナリオの基礎を築くと示唆しています。

著者は、自らが生成した初期経験をシステムレベルの決定を導く軽量な参照として使用することの実現可能性を示す発見が、静的なモデル選択から、動的で経験駆動型の調整へのパラダイムシフトをもたらすと強調しています。