Recursive Multi-Agent Systems

以下は、論文「Recursive Multi-Agent Systems (RecursiveMAS)」の詳細な技術的サマリーです。

1. 問題定義

現在の大規模言語モデル（LLM）は、容量の限界、視野の狭い生成、または解空間の非効率的な探索により、複雑なタスクに直面すると苦戦することが多い。この課題に対処するため、専門的なエージェントを協調ワークフローに組織化することで解決を図るマルチエージェントシステム（MAS）が登場したが、既存のアプローチには重大な限界が存在する：

• テキスト媒介の遅延: 標準的な MAS は、エージェント間の明示的なテキスト生成と交換に依存している。これにより、特にエージェントが他者のテキスト生成完了を待ってから進行しなければならない再帰的または反復的な設定において、大幅な遅延とトークンオーバーヘッドが生じる。
• トレーニングの非効率性: 全体の MAS を最適化することは困難である。すべてのモデルパラメータを更新することは計算コストが高く、また逐次的なテキスト依存関係はバックプロパゲーション中に勾配消失を引き起こしやすく、複雑な協調ダイナミクスの学習を阻害する。
• 静的適応: 既存の多くの手法はプロンプトエンジニアリングや反復的なコンテキスト洗練に依存しており、これらは整合性を向上させるものの、エージェントの内部的推論能力やシステムの協調構造を根本的に進化させるものではない。

著者らは問う：エージェントの協調そのものを再帰を通じて拡張することは可能か、また、これをテキスト空間ではなく潜在空間で操作することで、より効率的に達成することは可能か？

2. 手法：RecursiveMAS

本論文は、マルチエージェントシステム全体を統合された潜在空間の再帰的計算として捉えるフレームワークRecursiveMASを提案する。エージェントをテキストを交換する別個の实体として扱うのではなく、RecursiveMAS はそれらを再帰ループ内の層として扱い、トークンではなく**潜在表現（隠れ状態）**を渡して洗練させる。

中核的なアーキテクチャ構成要素

1. 潜在思考生成（内部ループ）:

   • 各エージェントは、トークンの自動回帰的生成ではなく、潜在思考（連続的な隠れ状態埋め込み）の生成を行う。
   • **Inner RecursiveLink（$R_{in}$）**は、あるエージェントの最終層の出力を、次のステップの入力埋め込み空間に再帰的に接続する。これにより、エージェントはテキストにデコードすることなく、内部的推論状態を反復的に洗練できる。
   • $R_{in}$ は軽量な 2 層の残差投影モジュールであり、$R_{in}(h) = h + W_2 \sigma(W_1 h)$ と定義される。

2. エージェント間協調（外部ループ）:

   • 異種のエージェント（異なるモデルサイズ/アーキテクチャ）は、**Outer RecursiveLink（$R_{out}$）**を介して接続される。
   • $R_{out}$ は、あるエージェントの潜在状態を次のエージェントの埋め込み空間に変換し、異なるモデルタイプ間でのシームレスな情報転送を可能にする。
   • システムは閉ループを形成する：エージェント $A_1 \to A_2 \to \dots \to A_N \to A_1$。最終的なテキスト出力への潜在状態のデコードは、最後の再帰ラウンドにおける最終エージェントのみが行う。

3. 内部 - 外部ループトレーニングパラダイム:

   • 内部ループトレーニング: 各エージェントを個別にウォームアップする。内部の $R_{in}$ は、エージェントが生成する潜在思考を正解のセマンティック分布に整合させるようトレーニングされる（コサイン類似度回帰を使用）。これにより、エージェントが意味のある潜在状態を生成できることが保証される。
   • 外部ループトレーニング: システム全体を共最適化する。外部の $R_{out}$ モジュールは、共有勾配ベースのクレジット割り当てメカニズムを用いてトレーニングされる。勾配は、最終出力に対する標準的なクロスエントロピー損失を用いて、すべてのエージェントと再帰ラウンドにわたる完全な再帰計算グラフを通じてバックプロパゲートされる。これにより、システムは協調的な反復学習の方法を習得できる。

理論的利点

本論文は、潜在空間再帰に対する 2 つの主要な理論的根拠を提供する：

• 実行時複雑性: RecursiveMAS は、高価な語彙空間デコーディング（$O(|V|)$）を潜在空間投影（$O(d_h^2)$）に置き換える。隠れ次元 $d_h$ は語彙サイズ $|V|$ よりもはるかに小さいため、複雑性は大幅に削減される。
• 勾配の安定性: 理論的解析により、テキストベースの再帰は softmax 操作とエントロピー制約により勾配消失（勾配ノルム $\approx 0$）に苦しむことが示される。対照的に、RecursiveMAS は潜在空間内の残差接続を通じて、安定したほぼ一定の勾配（ノルム $\approx 1$）を維持し、効果的な深層再帰トレーニングを可能にする。

3. 主要な貢献

1. システムレベルの再帰: 単一モデルから異種マルチエージェントシステムへ再帰的スケーリング原理を拡張した最初のフレームワークであり、MAS 全体を統合された潜在空間ループとして扱う。
2. 軽量 RecursiveLink: 基礎 LLM の巨大なパラメータを更新することなく、潜在思考生成とエージェント間状態転送を可能にする、新規かつパラメータ効率の高いモジュール（$R_{in}$ および $R_{out}$）。
3. 内部 - 外部ループ最適化: エージェントの能力（内部）とシステム協調（外部）を分離する 2 段階トレーニングアルゴリズムにより、システム全体の安定した共最適化を実現する。
4. 汎用性: このフレームワークはアーキテクチャ非依存であり、逐次、エキスパート混合、蒸留、ツール統合審議など、多様な協調パターンをサポートする。

4. 実証結果

著者らは、4 つの異なる協調パターンと多様なモデルファミリー（Qwen, Llama, Gemma, Mistral）を用いて、9 つのベンチマーク（数学、科学、医療、検索、コード）において RecursiveMAS を評価した。

• 精度: RecursiveMAS は、高度な単一エージェントおよびマルチエージェントベースライン（再帰的テキストベースシステムを含む）と比較して、平均 8.3% の精度向上を達成した。
  • 推論集約型タスクでの顕著な改善：AIME2025 で +18.1%、AIME2026 で +13.0%。
• 効率性（速度）:
  • 推論速度向上: テキストベースの再帰 MAS と比較して、1.2 倍から 2.4 倍のエンドツーエンド推論速度向上を達成した。再帰深度が増加するにつれて速度向上は増大する。これは、テキストベースシステムが累積的なトークン生成コストに苦しむためである。
  • トークン削減: ほとんどの相互作用が圧縮された潜在空間で発生するため、テキストベースのベースラインと比較してトークン使用量を**34.6% から 75.6%**削減した。
• スケーリング則:
  • 再帰深度: 再帰ラウンド数（$r=1, 2, 3$）が増加するにつれて、パフォーマンスは一貫して向上する。
  • トレーニング対推論: より深いトレーニング再帰はパフォーマンスのフロンティアを上方にシフトさせ、より深い推論再帰は学習された潜在構造をさらに活用する。
• コスト: RecursiveMAS のトレーニングは、単一エージェントのフルファインチューニングや LoRA ファインチューニングよりもはるかに安価である。更新されるのは軽量な RecursiveLink モジュールのみ（全パラメータの約 0.31%）であるためである。

5. 意義

RecursiveMAS は、マルチエージェントシステムの設計とトレーニングのあり方におけるパラダイムシフトを表している：

• 効率性: マルチエージェント協調における「トークン税」を解決し、過度な遅延やコストなしに複雑なタスクに対する反復的推論を実行可能にする。
• スケーラビリティ: システムレベルのパフォーマンスを、単一モデルが深度とともにスケーリングするのと同様に、再帰ループを深めることでスケーリングできることを実証する。ただし、これは協調エコシステムに適用されるものである。
• 安定性: 協調を潜在空間へ移行させることで、テキストベースのシステムにおいて歴史的に深層再帰トレーニングを悩ませてきた勾配不安定性の問題を克服する。
• 汎化: 異なるエージェントトポロジー（逐次、並列、蒸留）にわたって汎化するこのフレームワークの能力は、エージェント協調のスケーリングに対する堅牢で普遍的なアプローチを示唆している。

結論として、RecursiveMAS は、潜在空間再帰がマルチエージェントシステムにとって実行可能かつ優れたスケーリング軸であることを証明し、より能力が高く、効率的で、トレーニング可能な協調型 AI への道を開くものである。