EvolveRouter: 多エージェント質問応答のためのルータとプロンプトの共進化に関する技術的サマリー

本論文「EvolveRouter」は、大規模言語モデル（LLM）に基づく多エージェントシステムにおける質問応答（QA）タスクの効率性と精度を向上させるための新しいフレームワークを提案しています。既存の手法が抱える「エージェントの固定化」と「硬直的な協調スキーム」という 2 つの限界を克服し、ルータ（エージェント選択機構）とエージェント自体の質（プロンプト）を閉ループで共進化させることを特徴としています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

近年、LLM ベースのエージェントは自律的な問題解決において有望視されていますが、単一のモデルや固定されたエージェント構成では、タスクやコンテキストによって最適なパフォーマンスを発揮できないという課題があります。

既存の多エージェントシステムやルーティング手法には、以下の 2 つの主要な限界が存在します。

1. エージェントの固定化: 既存のルーティング手法は、与えられたエージェントプールの中から「どのエージェントを選ぶか」を最適化するだけであり、エージェント自体の能力（プロンプトの質など）を改善しようとしません。しかし、プロンプトのわずかな変化でもパフォーマンスは大きく変動するため、エージェントの質が低いままではルーティングの恩恵を最大限に引き出せません。
2. 硬直的な協調スキーム: 多くの手法は、クエリごとに単一のエージェントを選択するか、固定されたエージェント群を常に利用するかのどちらかです。前者は相補的な専門性を欠き、後者は不要な計算コストを招き、性能を低下させる可能性があります。タスクの難易度に応じて参加エージェント数を動的に決定する適応的な仕組みが不足しています。

2. 提案手法：EvolveRouter

EvolveRouter は、クエリごとのルーティングとターゲットを絞ったプロンプト改良を閉ループで共進化させる学習可能なフレームワークです。また、推論時に適応的なエージェント数を決定する機構を導入しています。

2.1 知識グラフベースのルータ（RouterGNN）

各 QA インスタンス（質問、文脈、エージェント）を異種グラフ（Knowledge Graph）として表現します。

• ノード: 質問、エージェント、文脈内の実体（Entity）。
• エッジ: 質問 - 実体、実体 - 実体、エージェント - 実体、および学習可能な質問 - エージェント間の接続。
• モデル: 異種グラフニューラルネットワーク（Heterogeneous GNN）を用いて、質問と各エージェントの埋め込みをメッセージパッシングにより更新し、各エージェントの適合度スコアを算出します。

2.2 閉ループ共進化プロセス（Co-Evolution）

このプロセスは、ルータの学習とプロンプトの改良を交互に繰り返すことで構成されます。

1. 診断とターゲット選定: 初期のルータ学習において、各エージェントの失敗パターン（F1 スコアが低い事例）を収集します。単に性能が低いだけでなく、「ルータがそのエージェントに依存している（重みが高い）にもかかわらず失敗している」エージェントを特定し、改良の優先順位をつけます。
2. プロンプトの書き換え（Prompt Refinement）: 特定された失敗事例に基づき、リライター LLM を用いてプロンプトを修正します。修正は役割の核心戦略を維持しつつ、失敗パターンを解消するよう制限された範囲（追加、言い換え、削除）で行われます。
3. 検証とルータ更新: 修正されたプロンプトをバッチ検証で評価し、性能が向上したものを採用します。その後、更新されたエージェントプールを用いてルータを微調整（Fine-tuning）します。この際、ゼロから再学習するのではなく、チェックポイントから再開することで、変更されていないエージェントに関する既存のルーティング知識を保持します。

2.3 適応的推論（Adaptive Inference）

推論時には、ルータが予測したランキング順にエージェントを順次呼び出し、**重み付き回答合意（Router-weighted Answer Agreement）**に基づいて停止判断を行います。

• 上位エージェントの回答が一定の閾値（$\tau$）以上の合意に達したら即座に停止し、それ以降のエージェント呼び出しを省略します。
• これにより、簡単な質問では少数のエージェントで済ませ、複雑な質問ではより多くのエージェントを動員する動的なコスト最適化を実現します。

3. 主要な貢献

1. ルータとエージェント専門性の閉ループ共進化:
   静的なエージェント動作の限界を克服し、ルータの診断信号を用いて劣悪なエージェントを特定・改良し、改良されたエージェントがより高品質な教師信号をルータに提供するという相互強化サイクルを確立しました。
2. 動的エージェント選択による適応的協調:
   単一エージェント選択や固定プール集約に依存せず、回答合意度に基づいて各クエリに必要なエージェント数（$K$）を動的に決定するメカニズムを導入しました。
3. 包括的な実験と分析:
   5 つの QA ベンチマーク（HotpotQA, TriviaQA, NGQA など）における実験により、既存の SOTA ルーティング手法を F1 値と Exact Match (EM) の両方で一貫して上回ることを実証しました。

4. 実験結果

• 性能向上: 5 つのベンチマークすべてにおいて、EvolveRouter は既存の最強のベースライン（GraphRouter, AgentRouter など）を上回りました。特に TriviaQA では、AgentRouter と比較して F1 で +7.08、EM で +8.67 の大幅な改善が見られました。
• アブレーション研究:
  • プロンプト最適化（PO）: 単体での改善効果は大きく、特に TriviaQA や NGQA において顕著でした。
  • 適応的 K: 固定されたエージェント数（$K$）よりも、クエリごとの適応的決定がすべてのデータセットで優位でした。
  • 相乗効果: プロンプト改良と適応的選択の両方を組み合わせた場合、単独の要素よりもさらに高い性能を示し、両者が相互に補完し合っていることが確認されました。
• 計算コスト: 適応的 K により、エージェント呼び出し回数を平均 24 回から 2.9〜7.4 回に削減（69〜88% の削減）しつつ、性能を維持または向上させています。
• 転移学習の限界: 異なるデータセット間でルーティング知識を転移すると性能が大幅に低下しますが、プロンプトの最適化を組み合わせることで部分的な回復が見られました。これは、ルーティング方針とプロンプト品質の両方がタスク固有であることを示唆しています。

5. 意義と結論

EvolveRouter は、多エージェントシステムを「固定されたリソースの組み合わせ」から「共進化する動的なシステム」へと進化させる重要な一歩です。

• システム設計の革新: ルーティングとエージェントの設計（プロンプト）を分離して最適化するのではなく、統合的に改善するアプローチの有効性を示しました。
• 実用性: 適応的なエージェント数の決定により、計算リソースを効率的に配分でき、実環境での導入コストを大幅に削減可能です。
• 将来展望: このフレームワークは、エージェントプールの動的な拡張や、自動化されたエージェント設計への展開も可能であり、LLM エージェントの自律性と効率性を高めるための基盤技術として期待されます。

要約すれば、EvolveRouter は「どのエージェントを使うか（ルーティング）」と「エージェントをどう使うか（プロンプト）」、そして「何人使うか（適応的規模）」を同時に最適化する、次世代の多エージェント QA フレームワークです。