技術要約: QueenBee Planner

問題提起

大規模言語モデル（LLM）マルチエージェントシステムの設計パラダイムは、個々のエージェントの推論（例：プロンプティング、思考の連鎖）の最適化から、相互作用するエージェントの組織化の最適化へとシフトしている。近年の研究により、通信トポロジーがシステムの精度、コスト、および堅牢性を決定する第一級の要因であることが確立されているが、既存のアプローチには決定的な限界がある。それらは通常、特定のタスクに対してトポロジーを設計して終了してしまう。彼らは、タスクを横断して再利用可能な設計知識としての通信構造を蓄積することに失敗している。さらに、現在の手法は、タスク解決行動とアーキテクチャ設計を混同しているか、あるいはルーティングを最適化しても明示的なトポロジーの教訓を保存しないことが多い。

本論文が取り組む核心的な課題は、自己改善型の設計ループが、ノイズ（運の良い実行結果、あるいはもっともらしいが誤った説明）をポリシーへと変えてしまうことを防ぐことである。信頼できる自己進化型アーキテクトには、通信構造の改善が、基礎となるワーカーエージェントの能力とは明確に区別され、生成的かつ再現可能であることを保証するための、明示的な規律が必要である。

手法

本論文は、エージェント間の通信トポロジーを、検索可能で自己改善可能な「設計スキル」として扱うフレームワーク、QueenBee Plannerを導入する。このシステムは、厳格な関心の分離の下で動作する：

1. プランナーとワーカーの分離

• 凍結されたワーカー (Frozen Workers): 学習プロセス全体を通じて、ワーカーエージェントのプール、タスクアダプター、およびスコアリング関数は固定される。ワーカーはタスクのプライベートな断片のみを観測し、受信したメッセージに基づいて自身の信念状態を更新する。
• 生成型プランナー (Generative Planner): 外側のLLMがアーキテクトとして機能する。その唯一の学習目的は、時間的通信有向非巡回グラフ (Temporal Communication DAGs) を生成することである。これらのDAGは、誰が、どのラウンドで、誰に情報を送り、誰がメッセージを統合し、誰が最終回答を出力するかを指定する。

2. 時間的通信DAG (Temporal Communication DAG)

プランナーは、以下の要素からなる時間展開されたグラフ $G = (N, T, E, h, I, R)$ を生成する：

• $N$ はワーカーの数。
• $T$ は通信ラウンドの数。
• $E$ は有向の時間的エッジ（メッセージの流れ）を表す。
• $h$ は最終回答の保持者。
• グラフは、トークンコストとマージの複雑さを制御するために、ラウンド数 ($T_{max}$)、総エッジ数 ($M$)、および最大ファンイン ($\beta$) に関する実現可能性の制限によって制約される。

3. スキルバンクと設計ルール

プランナーのメモリは、証拠に基づいた設計ルールを含むスキルバンク (Skill Bank) である。各スキル $s = (z, r, a, q, E)$ は以下で構成される：

• 条件 ($z$): タスクの特徴（例：エージェント数、予算）。
• ルール ($r$): 構造的パターン（例：「段階的削減」、「監査エッジ」）。
• アクション ($a$): 以下の3つのアクションのいずれか：
  • 保持 (Preserve): 実行可能な足場として構造を維持する。
  • 修正 (Modify): わずかに異なるタスク条件に合わせて核となる構造を適応させる。
  • 回避 (Avoid): 過去の失敗に基づき、構造を負の制約として扱う。
• 証拠 ($E$): 裏付けとなるデータと反例。

4. 規律ある自己進化ループ

ドリフトや過学習を防ぐため、システムはスキルバンクを更新する前に、いくつかの厳格なメカニズムを採用している：

• モチーフレベルのクレジット割り当て: グラフ全体にクレジットを割り当てるのではなく、システムはグラフを構造的モチーフ（例：ファンイン制限、削減深度）に分解する。クレジットはこれらのモチーフに対して割り当てられ、単発の成功が支配的になるのを防ぐために分散を考慮したペナルティが課される。
• ホールドアウト・アクセスタンゲート: 更新 ($\Delta S$) は、トレーニングデータだけでなく、ホールドアウトされたタスクおよびシードにおいて性能が実証された場合にのみ、長期的なスキルバンクに受理される。
• 分散を考慮したクレジット: ルールには、安定性を確保するために最小限のサンプル数と保守的な損失推定が必要である。
• 洞察の反証 (Insight Falsification): プランナーが提案する自然言語による洞察は仮説として扱われ、スキルとなる前に、ホールドアウトされた証拠を用いた反証チェックに合格しなければならない。
• 転送の信頼性 (Transfer Trust): スキルは自動的にすべてのタスクに適用されるわけではない。特定のタスクスロットに対して直接的または間接的な成功の証拠がある場合にのみ展開される。
• 構造的重複排除: 同型なグラフ仕様をマージすることで、実行ラウンドとともにスキルバンクが線形に増大することを防ぐ。

主な貢献

1. トポロジーをスキルとして再定義: 本論文は、マルチエージェント通信トポロジーを、検索可能で自己改善可能な設計スキルとして再構成し、「アーキテクト（プランナー）」と「ワーカー」を分離した。学習される対象は、タスク解決行動ではなく、通信設計の知識である。
2. 規律ある自己改善のためのメカニズム: ホールドアウトゲート、モチーフレベルの属性、分散を考慮したクレジット、および洞察の反証を備えた、時間的DAGを生成するための包括的なフレームワークを導入し、信頼できる進化を実現した。
3. アーキテクチャ学習に関する実証的主張: これらの規律の下で、ワーカープールが固定されたままの状態でも、プランナーがホールドアウトされたタスクに対して生成する通信構造を改善できることを実証し、システムが単に答えを記憶するのではなく、組織を設計することを学習していることを証明した。

実験結果

手法は、カウント・周波数 (Count-Frequency: CF) 集計と、Silo-Bench スタイルの分散協調という2つのタスクファミリーで評価された。

• カウント・周波数 (CF) タスク:

  • DeepSeek-V4-Flash フルテスト設定において、自己進化した「ベスト・ソーファ（現時点での最良）」グラフ（ハイブリッドな削減・監査構造）は、RMSEを 12.53（最強の固定トポロジー）から 7.87 に減少させた。
  • この改善は、大幅な効率化を伴う：最強の固定トポロジーと比較して、メッセージ数は 74.2% 削減、モデル呼び出しは 54.5% 削減、トークンコストは 59.6% 削減 された。
  • 改善は、様々なワーカーモデル（DeepSeek, Qwen, GPT-4o, MiMo）にわたって一貫しており、RMSEの減少率は14%から56%の範囲であった。

• Silo-Bench スタイルのタスク:

  • 自己進化したグラフ生成は、0.539 の完全一致（EM）（3ラウンド後）を達成し、コールド生成（0.125）、最強の単一固定トポロジー（0.333）、さらにはケースごとのオラクル固定トポロジー（0.417）をも上回った。
  • これは、システムが単に固定されたトポロジーのセットから選択しているのではなく、タスクに応じた微細な構造を学習していることを示唆している。

• 進化の軌跡:

  • ラウンドごとの分析により、探索がノイズ（RMSEの変動）を導入する一方で、保持された「ベスト・ソーファ」アーカイブは一貫して向上していることが示された。これは、システムが時間の経過とともに再利用可能な設計知識（例：段階的削減、シンク・カバレッジ）を蓄積していることを示している。

意義と主張

本論文は、マルチエージェントシステムのアーキテクチャは単なる実装の詳細ではなく、学習の明示的な対象であると主張している。QueenBee Plannerは、マルチエージェントシステムが単にタスクの答えを記憶するのではなく、再利用可能なアーキテクチャ設計知識（いつ通信パターンを保持し、修正し、あるいは回避すべきか）を学習できることを示している。

著者らは、現在の結果が特定のタスクファミリー（CFおよびSiloスタイル）と限定された進化ラウンドに基づいていることを挙げ、その範囲について慎重な姿勢を保っている。彼らは、システムが単一の普遍的に最適なトポロジーを発見するのではなく、転送可能な事前知識を蓄積するものと考えている。主要な貢献は、規律があり、証拠に基づいた自己反省を通じて、固定されたワーカーシステムがその通信設計ポリシーを進化させることにより、性能を向上させられることを検証した点にある。