💬 NLP

FlyRoute: Self-Evolving Agent Profiling via Data Flywheel for Adaptive Task Routing

FlyRoute は、実世界のトラフィックからエージェント能力記述を動的に更新するデータフライホイールを活用する自己進化型プロファイリングフレームワークであり、標的探索と証拠蒸留を通じて静的なベースラインよりも適応型タスクルーティングの精度を大幅に向上させる。

原著者： Rongjun Li, Ziyu Zhou, Yihang Wu

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rongjun Li, Ziyu Zhou, Yihang Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

忙しくハイテクなオフィスビルを想像してください。受付係（ルーター）が、ビル内のすべての来訪者の質問を適切な専門家へ誘導する役割を担っています。

従来のオフィスでは、受付係はビル管理者が作成した静的な名簿に依存しています。この名簿には、「スミス博士はクラウド関連の件を扱い、リーエンジニアは携帯電話の件を扱う」と記載されています。しかし、問題点は、専門家たちが常に新しいスキルを学び、新しいツールを導入し、働き方を変えているにもかかわらず、この名簿は更新されないことです。そのため、受付係は古い職務記述書に基づいて、間違った人へ質問を転送し続けてしまいます。

FlyRoute は、この問題を解決する新しい自己改善システムであり、受付係を学習するスマートな機械へと変えます。その仕組みを、シンプルな比喩を用いて説明します。

1. 「自己進化型」名簿

静的なリストに依存するのではなく、FlyRoute は各専門家が実際に何をしているかに基づいて、彼ら一人ひとりの生きたプロフィールを構築します。

従来の方法: 職務記述書を一度書けば、専門家が新しい言語を習得したり、新しいツールを使ったりしても、それは永遠にそのまま残ります。
FlyRoute の方法: 専門家が問題を解決するたびに、その成功は「スキル証明」として保存されます。時間の経過とともに、システムは数千もの成功事例を読み込み、専門家の職務記述書を彼らの古い履歴書ではなく、現在の現実に合わせて書き換えます。

2. 「データフライホイール」（エンジン）

このシステムを、フライホイールを備えた自転車と想像してください。一度動き出せば、慣性を得て自ら回転し続けます。

ステップ 1：配分。 ユーザーが質問をします。システムはどの専門家が最適かを推測します。
ステップ 2：品質ゲート。 専門家が良質な回答を提供した場合、その「質問＋良質な回答」のペアは特別な「成功ライブラリ」に保存されます。回答が不適切な場合は破棄されます。
ステップ 3：蒸留。 定期的に、システムは成功ライブラリを読み込み、その専門家が実際に何に長けているかを示す、新鮮で簡潔な要約を作成します。
ステップ 4：より賢い配分。 次に質問が入ってきた際、ルーターはこの新鮮な要約（およびライブラリからの事例）を用いて、より賢明な推測を行います。
結果: より良い配分がより多くの良質な回答を生み、それがより多くのデータを生み、さらに優れた要約へとつながります。システムは使われるほどに賢くなります。

3. 「スマート・エクスプローラー」（不確実性駆動型探索）

これらのシステムにおける一般的な過ちは、以下のいずれかです。

すでに優秀であると知られている「有名な」専門家だけに質問を送り、新しい専門家が自分を証明する機会を与えない。
全員にランダムに質問を送り、時間とコストを浪費する。

FlyRoute はスマート・エクスプローラー戦略を採用します。新しい才能を探すスカウトを想像してください。

専門家の「成功ライブラリ」へのエントリーが非常に少ない場合、システムはそのプロフィールが「不確実」であると認識します。
システムは次に問いかけます。「この新しい質問は、この不確実な専門家がもしかしたら処理できるものか？」（質問に含まれる単語が、その専門家が過去に行ったことと一致するかを確認します）。
もし答えが「もしかしたら」であれば、システムはその専門家をテストするために質問を送ります。
専門家が成功すれば、その証明がライブラリに追加されます。失敗すれば、その種類の質問には適していないことを学びます。
これにより、明らかに助けられない専門家への時間の浪費は防ぎつつ、新しい専門家や更新された専門家に、新しいスキルを披露する公平な機会を与えます。

4. 結果

研究者たちは、このシステムをクラウド、AI、ハードウェア、モバイル OS の 4 種類の専門家を持つ実世界の企業システムでテストしました。

出発点: 専門あたりわずか 5 例という初期データのみで、FlyRoute はすでに**78%**の精度を達成し、事例を一切持たない標準的な「ゼロショット」システム（72%）を凌駕しました。
学習後: システムが 7,000 件以上の実際のユーザー質問を処理し、「フライホイール」を回転させた後、精度は**89.8%**まで跳ね上がりました。

結論

FlyRoute は「陳腐化した職務記述書」という問題を解決します。専門家は変化することを認め、人間が名簿を更新するのを待つ代わりに、専門家の働きを観察し、彼らの成功から学び、プロフィールを絶えず書き換えることで、次の質問が正しい人物へ届くようにします。これにより、静的なリストが、誰が何を知っているかを示す、自己改善型の生きた地図へと変貌します。

技術概要：FlyRoute

問題定義

エンタープライズタスクに展開されるマルチエージェントシステム（MAS）において、重要なボトルネックが存在するのはエージェントルーティング、すなわち、受信したクエリを最も適した専門エージェントに割り当てるメカニズムである。現在のルーティングパラダイムは、デプロイ時に登録される静的なエージェントプロファイルに依存している。これらのプロファイルは、通常、開発者によって記述された能力説明と固定された実例から構成されるが、プロンプトの更新、ツールの統合、モデルの切り替えを通じてエージェントが進化する生産環境の動的な現実には適応できない。

著者は、静的なプロファイリングの主な失敗モードを 2 つ特定している：

登録の不正確さ：開発者はエージェントの実際の境界を正確な自然言語で記述することに苦しみ、代表性のある実例を選定することが困難である。
デプロイ後のドリフト：エージェントが新しいシナリオの処理や新しいツールの統合のために更新されると、登録されたプロファイルは陳腐化し、ルーターが古くなった情報に基づいて意思決定を行う原因となる。

既存のソリューション、例えばコスト/レイテンシを調整するパフォーマンスベースのルーティングや、静的な分類器を用いたタスクベースのルーティングは、ライブトラフィックから導き出される継続的に進化させる能力プロファイルの必要性に対処していない。

手法：FlyRoute

FlyRoute は、デプロイ相互作用をデータフライホイールへと変換し、ルーティング証拠を継続的に更新するように設計された、自己進化型エージェントプロファイリングフレームワークである。このシステムは、3 つの中核コンポーネントからなる閉ループを通じて動作する：

1. 適応型エージェントプロファイリング

静的な記述のみに依存するのではなく、FlyRoute は各エージェント $a_i$ に対して動的なプロファイル $P_i$ を維持する。これには以下が含まれる：

シード記述（ $d_{seed}$ ）：初期の、おそらく不完全な開発者提供テキスト。
学習済み記述（ $d_{learn}$ ）：経験的証拠から抽出された洗練された能力サマリー。
成功事例ストア（ $E_i$ ）：レスポンス $r$ が品質ゲートを合格した高品質なクエリ - レスポンスペア $(q, r, s)$ のコレクション。

プロセス：

コールドスタート：新しいエージェントは、最小限のデータ（名前、オプションのシード記述、および $k$ 個のシード例）で登録される。ルーターは当初、シード記述と疎な検索に依存する。
品質ゲート：エージェントがレスポンスを生成すると、LLM-as-Judgeが品質を評価する。閾値 $\theta$ 以上を獲得したペアのみが成功ストアに追加される。
能力蒸留：定期的に（ $M$ 個の新しい成功ごとに）、LLM が蓄積された成功事例とシード記述を合成し、簡潔で更新された学習済み記述を生成するようにプロンプトされる。この記述は、元の開発者の意図とは異なる可能性のある経験的有能性の境界を捉える。

2. 不確実性駆動型探索

すべてのクエリを全エージェントにブロードキャストしてプロファイルを効率的に構築する（これはコストがかかりすぎる）代わりに、FlyRoute は標的型の探索ポリシーを採用する。これは、プロファイルが堅固なエージェントへの活用と、不確実なプロファイルを持つエージェントの探索のバランスを取る。

クエリ $q$ とエージェント $a_i$ に対する探索スコア $V^+_{explore}$ は以下のように計算される：
$V^+_{explore}(q, a_i) = U(a_i) \cdot R(q, a_i) \cdot (1 + \beta \cdot N(q, a_i))$

ここで：

プロファイル不確実性（ $U$ ）：成功ストアのサイズ $|E_i|$ に反比例する。例の少ないエージェントは高い探索圧力を受ける。
関連性（ $R$ ）：クエリとエージェントの既存の成功ストアとの間の語彙的関連性スコア（BM25 を通じて）。これにより、エージェントのドメイン内で妥当なクエリに対してのみ探索が行われる。
新規性（ $N$ ）：既存の証拠のニアダブレットではないが関連するクエリを優先する冗長性ペナルティ（ $1 - R$ ）であり、効率的なデータ収集を確保する。

3. プロファイル認識型ルーティング

ルーティングの決定は、以下の情報を受け取る LLM ルーターによって行われる：

グローバルコンテキスト：エージェントのアクティブな記述（蒸留された $d_{learn}$ またはシード $d_{seed}$ ）。
ローカルコンテキスト：現在のクエリと語彙的に類似した、エージェントのストアから BM25 で検索されたトップ- $k$ の成功事例。

この二重コンテキストアプローチにより、ルーターはストリームから学習された広範な能力境界と、最近の成功からの特定の語彙パターンとの両方を活用できる。

主要な貢献

問題の形式化：本論文は、自己進化型エージェントプロファイリングの課題を特定し形式化し、静的な登録からデプロイ相互作用による継続的な更新へのパラダイムシフトを提示している。
不確実性駆動型探索ポリシー：著者は、プロファイル不確実性、語彙的関連性、および冗長性を考慮した新規性を組み合わせた、未指定のエージェントを効率的に標的とする新しい戦略を提案している。これにより、ランダムなブロードキャストの浪費を回避する。
経験的検証：このフレームワークは、独自のエンタープライズデータセットで検証され、静的なベースラインに対するルーティング精度の大幅な改善が示された。

実験結果

著者は、クラウドサービス、AI アクセラレータ、サーバーハードウェア、モバイル OS という 4 つのエンタープライズドメインにわたる7,211件の実際のルーティング済みクエリからなるデータセットで FlyRoute を評価した。

コールドスタート性能：エージェントあたりわずか5 件のシードクエリのみでストリーミングデータがない場合でも、FlyRoute（シード記述 + BM25 検索を使用）は78.04%の精度を達成し、ゼロショット LLM ルーター（72.57%）を5.47 ポイント上回った。
フライホイール効果：すべての 7,211 件のトレーニングクエリをシステムにストリーミングした後、精度は**89.83%**に上昇した。
- これはゼロショットベースラインに対して**+17.26 ポイント**の増加である。
- これはコールドスタート状態に対して**+11.79 ポイント**の増加である。
探索戦略：アブレーション研究により、不確実性駆動型探索ポリシーは、純粋な活用、 $\epsilon$ -greedy、およびランダムブロードキャストの各戦略を、特にプロファイル構築の初期段階において大幅に上回ることが示された。
アブレーション：品質ゲート（LLM-as-Judge）または探索コンポーネントを除去すると、測定可能な精度の低下が生じ、高品質な証拠のフィルタリングと標的型データ収集の両方の必要性が確認された。

意義と主張

本論文は、FlyRoute がデータ駆動型の自己進化型エージェント管理の実用性を示していると主張している。その主な意義は、以下の点にある：

プロファイル検索の強力さ：最小限のシードデータであっても、成功ストアからの事例を検索することで、即座にルーティング決定を強化できる。
継続的学習の実現可能性：システムはライブトラフィックから自律的にエージェントの能力を発見し洗練し、静的システムに固有の「陳腐化したプロファイル」の問題を修正できる。
効率的な探索：不確実性と関連性のシグナルを使用して新しい証拠が収集される場所を誘導することで、網羅的なブロードキャストなしに堅牢なプロファイルを構築することが可能である。

著者は、制限事項として、独自データへの依存（公的な再現性の制限）、フィードバックのための LLM-as-Judge の品質への依存、および急激なエージェント変化に対する明示的なドリフト検出メカニズムの欠如を指摘している。しかし、結果は、エンタープライズ環境における適応型マルチエージェントシステムの拡張において、閉ループのデータフライホイールが重要なコンポーネントであることを示唆している。