技術要約: MetaGen: マルチエージェントLLM推論のための自己進化型ロールとトポロジー

1. 問題提起

LLM（大規模言語モデル）を利用した現在のマルチエージェントシステム（MAS）は、通常、硬直的で事前定義されたアーキテクチャに依存しています。これらのシステムは、主に以下の3つの制限に直面しています。

1. タスクのミスマッチ: 固定されたロール・ライブラリ（例：プランナー、ソルバー、ベリファイア）や静的な相互作用トポロジーは、特に分布シフトが発生した場合、変動するタスクの粒度、ツールの好意、あるいはエラーモードに対して適応できず、失敗することがあります。
2. 構造的閉鎖性: 相互作用トポロジー（例：チェーン、スター、完全グラフ）が一度決定されると、それは「実行中に凍結」されます。新しい証拠を取り込んだり、矛盾を解決したりするために、実行中に構造を修正することはできません。
3. 高コスト: プロンプトや相互作用構造を特定のタスクに合わせて調整するには、多大な手動エンジニアリングが必要であり、また、硬直したシステムは、冗長または不適切なエージェント間の相互作用によって、膨大な推論コストを招くことがよくあります。

近年の研究ではトポロジー設計の自動化が探索されていますが、その多くは依然として事前定義されたロール・ライブラリを前提としており、実行開始時にグラフ構造を固定してしまいます。ロールの生成とコラボレーション構造の進化を、ベースモデルの重みを更新することなく、推論時に完全に同時に行うフレームワークには空白が存在します。

2. 手法: MetaGen

MetaGenは、ロール仕様とコラボレーション・トポロジーの両方を、推論時における編集可能な第一級エンティティとして扱うトレーニングフリー（学習不要）のフレームワークです。これは、基盤となるLLMのパラメータを変更することなく、軽量なフィードバック信号を利用して適応を実現します。

コア・コンポーネント

• アーキテクト・エージェント: クエリに応じたロール仕様を合成および修正し、制御可能で動的なロール・プールを形成します。
• 生成的ロール空間:
  • 候補の合成: アーキテクトは、入力クエリに基づき、生の候補ロールのセットを生成します。
  • 制約ベースのフィルタリング: 候補は、スキーマ要件（例：プレースホルダー）や安全性制約（例：制限されたキーワード）に対して厳格な検証を受けます。
  • 埋め込みベースの多様性ゲート: セマンティックな冗長性を防ぐため、ロールはベクトル空間に投影されます。「限界効用スコア」を用いて、外部的な新規性（履歴ライブラリに対するもの）と内部的な識別性（他の候補に対するもの）のバランスを取り、多様なロールを選択します。
• タスク適応型グラフ構築:
  • ハイブリッド初期化: システムは、最小限の機能的なバックボーン（例：コード生成におけるディスパッチャー・プロデューサー・エバリュエーターのチェーン）に推論を固定します。その後、蓄積された汎用ロールと、クエリによって合成されたロールのハイブリッド・プールを用いて、このスケルトンを拡張します。
  • スコアベースの選択: レキシカルな手がかり、能力、およびセマンティックな関連性を組み合わせた特徴ベクトルに基づき、線形優先度スコアリングによってロールとエッジを選択します。
• 推論時進化ループ:
  • タスク内進化: 実行中、システムは軽量なフィードバック（実行ログ、テスト結果、自己整合性チェック）を収集します。パフォーマンスが最適でない場合、以下の2種類の編集を行います。
    1. ロール・プロンプトの書き換え: 低い効用を持つロールのシステム/ユーザー・テンプレートを修正し、インスタンスの要件への適合性を高めます。
    2. 事前フィルタリングされたエッジ探索: DAG（有向非巡回グラフ）の制約を維持しながら、より単純で情報量の多い通信を促進するために、エッジを選択的に無効化または入れ替えます。
  • タスク間進化: インスタンス完了後、スカラー報酬（成功とトークンコストのバランス）が浅い事前分布（ロール/エッジのスコアリング用重み）を更新します。これにより、バックボーンLLMをファインチューニングすることなく、過去のインスタンスから学習することが可能になります。
  • 検証済みロールの固定化: 成功した実行に貢献したロールは、シリアライズされて永続的な「ロール・キャッシュ」に保存され、将来のインスタンスでの再利用のために蓄積されます。これにより、コールドスタート時の挙動が改善されます。

3. 主な貢献

1. MetaGenフレームワーク: ロール仕様と通信トポロジーの両方を推論時に適応させるトレーニングフリーのアプローチを提供し、固定のプリセットやモデルの重み更新を排除しました。
2. 制御可能な動的ロール・プール: クエリに応じたロール生成と、軽量な妥当性制約を備えたロール修正を導入し、実行可能で、冗長性がなく、セマンティックに一意なロールを保証します。
3. 推論時進化ループ: 明示的な制約（例：DAGの保持、コスト境界）の下で、プロンプトと構造的決定を更新するメカニズムを開発し、監査可能性と再現性を維持します。
4. 実証的検証: 多様なベンチマークにおいて、競争力のあるマルチエージェント・ベースラインと比較して、精度とコストのトレードオフにおける一貫した改善を実証しました。

4. 実験結果

DeepSeek-V3をバックボーンとして、5つのベンチマーク（GSM8K（数学）、HumanEval（コード）、MMLU（知識）、AQuA（代数）、MNLI（自然言語推論））で実験を行いました。

• パフォーマンス: MetaGenは平均精度95.1%を達成し、最強のベースラインであるG-Designerを1.8%上回りました。特にAQuA（ARG-Designerに対し+5.1%）およびMNLI（CoT few-shotに対し+9.4%）において顕著な向上が見られました。
• コスト効率: MetaGenは、他のマルチエージェントシステム（例：G-Designer, GPTSwarm）と比較して、推論トークン使用量を約85〜90%削減し、ロールやトポロジーの設計に要するトレーニング・トークンはゼロでした。
• 適応性: 非定常なストリーム評価（MMLU、MNLI、HumanEval間の切り替え）において、MetaGenは優れたコールドスタート回復力を示し、分布シフトの直後に固定トポロジーのベースラインよりも精度を10ポイント向上させつつ、トークンコストを削減しました。
• 堅牢性: ノイズの多い条件下（ノードやエッジの破損）でも、冗長な推論ルートを通じてパフォーマンスを維持し、崩壊することなく、緩やかな性能低下を示すことができました。
• アブレーション研究: コア・コンポーネント（ロール生成、学習済みポリシー、タスク内進化、またはクロスインスタンス・メモリ）のいずれかを削除すると、測定可能なパフォーマンスの低下が生じ、動的なロール、インスタンス内の洗練、およびクロスインスタンスの蓄積の相補的な価値が確認されました。

5. 重要性と主張

論文は、MetaGenが、推論時に完全に自己進化するロールとトポロジーを可能にすることで、硬直的なマルチエージェントシステムの核心的な限界に対処していると主張しています。その重要性は以下の点にあります。

• スケーラビリティと適応性: トレーニングの計算オーバーヘッドや手動プロンプト設計のエンジニアリング・オーバーヘッドなしに、インスタンス固有のニーズに合わせてコラボレーション戦略をカスタマイズできる、スケーラブルなMASへの道を提供します。
• エンジニアリング効率: 効果的なロールと相互作用パターンの発見を自動化することで、「手動エンジニアリング」の負担を軽減し、手書きの仕様を大幅に減らしながら、飽和に近いパフォーマンスを実現します。
• 監査可能性: 生成されたロール、構造的編集、およびフィードバック・トリガーの構造化され検査可能なログを提供し、アドホックなオーケストレーションを超えた再現性をサポートします。

著者らは、テキストレベルのロールと離散的なコラボレーション構造を推論時に最適化することは、バックボーンモデルの重みを変更することなく、マルチエージェントの推論能力を強化するための実用的かつ効果的な戦略であると結論付けています。