技術サマリー：MasFACT

問題定義

本論文は、継続的マルチエージェントシステム（MAS）トポロジー学習の課題に取り組んでいる。大規模言語モデル（LLM）ベースの MAS は複雑な推論において効果的であることが証明されているが、その性能は基盤となる通信トポロジー（エージェントがどのように協調するか）に大きく依存する。既存の手法は通常、孤立した静的なタスクに対してトポロジーを最適化する。タスクがストリームとして進化する現実世界のシナリオでは、これらの手法はトポロジー忘却に陥る。すなわち、システムが新しいタスクに適応するにつれて、トポロジー生成器は過去のタスクで効果的であった通信構造から乖離してしまう。

この失敗モードは、標準的なパラメータ忘却とは異なる。これは 2 つの次元におけるタスク間ミスマッチに起因する：

1. エージェントレベルの機能的意味論： 役割やツールはタスク間で意味が変化する可能性がある。
2. 関係的通信構造： 最適なグラフ接続が変化し、生成器が以前に有用であった協調パターンを上書きしてしまう。

現在の手法（検索ベースまたは生成ベース）は、過去の構造を上書きするか、明示的な構造的記憶なしに分布のドリフトに苦しむ。その結果、短期的な適応が長期的な知識の劣化を招くというトレードオフが生じている。

手法：MasFACT

著者は、歴史的な協調知識を保存・再利用するために設計された、幾何学的に意識した事後転送フレームワークであるMasFACT（Factorized Aligned Consensus Topology transfer）を提案する。この手法は 3 つの段階のパイプラインを通じて動作する：

1. 因数分解された歴史的トポロジー構築

MasFACT は、高有用性の歴史的トポロジーから導出された「事前原子」の事前バンク（$M$）を維持する。各原子 $H_m$ は、異なるエージェントのアイデンティティやグラフ基数を持つタスク間での転送を可能にするために、3 つの構成要素に因数分解される：

• コンセンサストポロジー（$S_m$）： 再利用可能な通信構造を符号化する有向グラフ。
• プロトタイプ属性（$X_m$）： 転送可能な機能的意味論（役割、ツール）を捉えるエージェント属性。
• ノード測度（$\nu_m$）： 最適輸送アライメントのためのプロトタイプノード上の測度。
• メタデータ： 各原子は、検索をガイドするために、歴史的有用性（$\bar{U}_m$）と構造的分散（$\sigma_m$）も保存する。

2. 幾何学的に意識した事前検索

新しいタスク $T_t$ が到着すると、MasFACT は最も転送可能な事前原子を検索する。単純なインデックスマッチングではなく、検索をFused Gromov-Wasserstein（FGW）距離を用いた最適輸送問題として定式化する。

• アライメント： エージェント属性（意味論）とグラフ関係（構造）の一致コストを同時に最小化することで、現在のタスクの足場グラフ（エージェントと暫定的な構造）を歴史的原子にアライメントする。
• 検索基準： システムは、幾何学的転送性（FGW コスト）、構造的集中度（分散）、および歴史的有用性のバランスを取る原子 $H_{m_t}$ を選択する。
• 射影： 選択されたコンセンサストポロジーは、最適結合行列を介して現在のエージェント空間に射影され、参照点として機能する連続的な構造的事前（$C_t$）を生成する。

3. 保守的事後適応

忘却せずに新しいタスクに適応するために、MasFACT はトポロジー空間全体を検索するのではなく、アライメントされた事前（$C_t$）を中心とした確率的事後（$q_t$）を学習する。

• 残差学習： 事後は事前の摂動として定義される：$q_t(B) \propto \exp(\langle C_t + R_t, B \rangle)$。ここで $R_t$ は疎な学習可能な残差スコア行列である。これにより、適応は必要な局所的な編集に限定される。
• PAC-ベイズ制約： 学習目的はPAC-ベイズ転送境界によって導かれる。損失関数は、経験的リスクを最小化すると同時に、事前に対する事後の複雑さ（KL 発散）を罰則化し、残差編集の疎性を強制する。これにより、構造的ドリフトを制御することでトポロジー忘却のリスクを理論的に境界付ける。

主な貢献

1. 問題定式化： 著者は、トポロジー空間とエージェント意味論の両方におけるミスマッチに起因するトポロジー忘却を、継続的 MAS 学習における固有の失敗モードとして特定し、形式化した。
2. 新規フレームワーク（MasFACT）： 歴史的トポロジーを転送可能な構造的事前として扱う幾何学的に意識したフレームワークを導入した。タスク間アライメントのための FGW 最適輸送と、PAC-ベイズに基づく保守的事後適応を組み合わせることで、MasFACT は可塑性（新しいタスクへの適応）と安定性（古いトポロジーの保持）のバランスを取る。
3. 評価プロトコル： 4 つの推論ドメインと 17 のデータセットにわたる、タスクレベル（異なる推論ファミリー）、ドメインレベル（ファミリー内の異なるデータセット）、およびクラスレベル（微細なサブスキル）の進化を網羅する階層的な継続的 MAS 評価プロトコルを提案した。

実験結果

実験は、Llama-3.1-8B をバックボーンとして 12 の継続的シナリオで実施された。MasFACT は、シングルエージェント手法、固定トポロジー、および最先端の適応的トポロジー生成器（GDesigner、MasRouter、ARGDesigner など）（リプレイベースのバリエーションを含む）と比較された。

• 性能： MasFACT はすべてのベースラインを一貫して上回った。すべての設定において、強力なベースラインと比較して**平均精度（AA）を約9.3%**向上させ、**平均忘却（AF）を69.4%**削減した。
• 忘却の軽減： 古いタスクでの性能低下（正の忘却）を示すことが多い他の手法とは異なり、MasFACT は頻繁に負の忘却（正の後ろ向き転送）を達成し、学習された協調パターンが過去のタスクの性能を向上させたことを示した。
• プラグアンドプレイ： MasFACT は、剪定ベース、グラフ生成、およびルーティングベースの多様なトポロジー生成器に対する効果的な継続層として機能し、それらのコアアーキテクチャを変更することなく性能を向上させた。
• アブレーション： 歴史的事前、FGW アライメント、または PAC-ベイズ制約を除去すると、性能は著しく低下した。これは、構造と意味論の結合アライメントと、保守的適応の組み合わせが重要であることを確認した。

意義と主張

本論文は、トポロジー忘却がパラメータ忘却とは異なる構造的現象であり、パラメータ中心の継続的学習から構造中心の転送への転換が必要であると主張する。

• 事前としての構造的知識： この研究は、効果的な協調トポロジーが、すべてのタスクでゼロから再発見されるのではなく、因数分解、アライメント、転送が可能な再利用可能な構造的知識であることを実証した。
• 幾何学的に意識した転送： FGW を利用することで、標準的なユークリッド的またはインデックスベースの検索の限界であった、タスク間におけるエージェント役割とグラフ構造のミスマッチを成功裡に処理した。
• 安定性 - 可塑性のバランス： PAC-ベイズ定式化は、システムが新しいタスクに適応しつつ、証明された歴史的構造からの逸脱を厳密に境界付ける理論的保証を提供する。

著者は、MasFACT が動的で進化的環境において信頼性が高く適応的な LLM ベースの MAS を拡張するための堅牢でアーキテクチャに依存しない解決策を提供し、静的なワンショットトポロジー設計を超えて進歩すると結論付けている。