Learning Transferable Topology Priors for Multi-Agent LLM Collaboration Across Domains

技術的サマリー：ドメイン横断的なマルチエージェント LLM 協調のための転移可能なトポロジー事前分布の学習

問題定義
大規模言語モデル（LLM）に基づくマルチエージェントシステムは、構造化された通信を通じて専門化されたエージェントを調整することで、複雑な推論において高い可能性を示しています。しかし、医療、法、科学などのマルチドメイン環境において、既存のトポロジー進化手法は、通常、各クエリに対してゼロから協調トポロジーを構築または最適化します。このアプローチは、膨大なオンライン検索オーバーヘッド、高い推論時のトークン消費、そして限られたスケーラビリティを招きます。現在のパラダイムはトレードオフに直面しています：トレーニング不要のプロンプト手法は、基盤モデルの固定された能力に制限され、一方、トレーニング集約的なファインチューニング手法は、複数のドメインにわたる壊滅的忘却と高いストレージコストのリスクを伴います。核心的な課題は、通信トポロジーを毎回ゼロから検索することなく、ドメイン横断的に効果的な協調構造を再利用し、新しいタスクに適応させる方法です。

手法：TopoPrior フレームワーク
著者は、マルチエージェント LLM 協調のための転移可能なトポロジー事前分布を学習するフレームワークであるTopoPriorを提案します。TopoPrior は、すべてのクエリを新しいトポロジー検索問題として扱うのではなく、検索の負担の一部をクエリごとのオンライン最適化から、ドメイン横断的な事前分布学習というオフライン処理へシフトさせます。このフレームワークは、2 つの主要なコンポーネントで構成されます：

1. 転移可能なトポロジー事前分布学習：
   このモジュールは、条件付き変分グラフフレームワークを採用し、ドメイン横断的な協調グラフにおける再利用可能な構造的規則性を捉えます。

   • 変分エンコーダ： グラフ畳み込みネットワーク（GCN）を用いて、参照協調グラフとそれに関連するクエリを共有潜在空間にエンコードします。
   • 条件付きジェネレータ： 学習された潜在事前分布と入力クエリから、クエリ条件付きの初期トポロジーを自己回帰的に再構成します。これにより、事前定義された役割プールから選択されたエージェントノードと、有向通信リンクを生成します。
   • 条件付き事前分布： 未見のクエリをトポロジー潜在空間の有用な領域にマッピングし、推論時に参照グラフが利用できない場合のクエリ固有の事前分布として機能します。

2. クエリ条件付き潜在適応：
   学習された事前分布がドメイン横断的に堅牢でありながら、クエリ固有のニーズに対して敏感であることを保証するため、フレームワークは敵対的潜在適応モジュールを導入します。

   • ドメイン敵対的識別子を潜在変数 $z$ に適用し、トレーニング中の不要なドメイン間の不一致を低減します。
   • これは勾配反転層（GRL）によって実現され、タスク専門化に必要なクエリ依存の構造的変異を消去することなく、ソースドメイン間での潜在分布を整合させます。

主要な貢献

• 問題定式化： 著者は、マルチドメイン環境におけるマルチエージェント LLM システムのトポロジー初期化を、再利用可能な協調構造をオフラインで学習して下流の進化を改善する「転移可能なトポロジー事前分布学習問題」として定式化しました。
• フレームワーク設計： 条件付き変分トポロジー事前分布学習とクエリ条件付き潜在適応を組み合わせた軽量フレームワークである TopoPrior を提案し、情報量の多い初期協調グラフを生成します。
• 実証的検証： MMLU および C-Eval ベンチマークにおける広範な実験により、TopoPrior が、 modest なパラメータオーバーヘッドで、複数の異種トポロジー進化バックボーンにおいて、下流の推論性能とオンライン推論時のトークン効率を向上させることが示されました。

実験結果
著者は、Llama3-8B-Instruct、DeepSeek-V3-671B-Instruct、Qwen2.5-72B-Instruct の 3 つの LLM バックボーンを用いて、MMLU および C-Eval（「Hard」サブセットを含む）上で TopoPrior を評価しました。このフレームワークは、G-Designer、AgentPrune、ARG-Designer、AgentDropout の 4 つの既存のトポロジー進化バックボーンと統合されました。

• 性能： TopoPrior の統合は、下流の性能を一貫して向上させました。例えば、Llama3-8B-Instruct を用いた MMLU において、TopoPrior+ARG は平均精度を 65.58% から 68.53% へ（+2.95 ポイント）向上させました。他のバックボーンや大規模モデルにおいても同様の改善が観察されました。
• 効率性： このフレームワークはオンライン推論時のトークン使用量を大幅に削減し、特定の構成では最大**40.22%**の削減が観測されました。また、収束に必要な通信ラウンド数も削減しました。
• パラメータ効率： トポロジー事前分布ジェネレータは、わずか330 万の追加学習可能パラメータを導入するのみ（バックボーンと合わせて約 710 万）であり、80 億パラメータのバックボーンと比較して無視できる増加量であり、MoDULA や MoDE などのトレーニング集約的なベースラインよりもはるかに低いです。
• アブレーションと一般化： アブレーション研究により、トポロジー事前分布学習目的関数（$L_{prior}$）が中核的なコンポーネントであることが確認され、一方、潜在適応（$L_{adapt}$）とクエリ条件付き事前分布（$f_{prior}$）は安定性を提供することが示されました。また、このフレームワークは、弱教師あり（部分的に収束した参照グラフを使用）下でも堅牢であり、未見のドメイン（例：芸術、軍事）に対して、クエリを意味的に妥当な潜在クラスタにマッピングすることで、効果的なドメイン外一般化を示しました。

意義と主張
本論文は、転移可能なトポロジー初期化が、ドメイン横断的なマルチエージェント LLM 協調の効率を向上させるための効果的で軽量なメカニズムであると主張しています。オフラインの事前分布学習を通じてクエリおよびドメインにわたるトポロジー検索コストを均質化（アモルタイズ）することで、TopoPrior は、マルチエージェントシステムが、トポロジーをゼロから検索する高いオーバーヘッドなしに新しいタスクに適応することを可能にします。

著者は、彼らのアプローチが既存のトポロジー進化バックボーンを補完するものであり、下流の洗練メカニズムを置き換えるのではなく、より強力な初期化シグナルを提供することを強調しています。また、参照グラフを生成するオフラインコストは存在するものの、推論中のトークン節約により、十分な規模の展開においてこのコストを回収できる（MMLU テストセットの場合、約 373,670 クエリで損益分岐点に達すると推定）と指摘しています。この研究は、再利用可能な構造的規則性を学習することが、特に複数のドメインにわたる多様な専門知識を必要とするシナリオにおいて、マルチエージェントシステムの適応性と効率性を高めるための実用的な方向性であることを示唆しています。