技術要約：マルチエージェントシステムにおける潜在的コラボレーション（Latent Collaboration）

1. 問題提起

現在の大規模言語モデル（LLM）ベースのマルチエージェントシステム（MAS）は、推論と通信のために**テキストベースの中介（text-based mediation）**に依存しています。これらのシステムでは、エージェントは自然言語のトークンを介して情報を交換し、これが「共通言語（lingua franca）」として機能します。この手法は効果的である一方、以下のような重大な非効率性を引き起こします：

• 計算オーバーヘッド： テキストトークンの生成とデコードは計算コストが高く、高いレイテンシとトークン使用量をもたらします。
• 情報の損失： モデルの連続的な内部表現を離散的なトークンへと変換し、再び戻すプロセスにおいて、情報の損失や「再エンコーディング」のコストが発生する可能性があります。
• 表現力の限界： 離散的なトークンは、モデルの連続的な内部思考プロセスの持つ豊かな性質を完全には捉えきれない場合があります。

既存の研究では、単一モデルの内部推論（例：潜在的Chain-of-Thought）や、限定的な情報交換（例：2つのモデル間でのKVキャッシュ共有）のための潜在表現が探索されてきました。しかし、複数のエージェント間で純粋な潜在的コラボレーション（pure latent collaboration）、すなわち中間的なテキストデコードを経ることなく、連続的な潜在空間内で推論と通信が完全に完結する包括的なフレームワークは、未だ開拓されていません。

2. メソドロジー：LatentMAS

著者らは、LLMエージェントが連続的な潜在空間内のみで純粋にコラボレーションすることを可能にする、エンドツーエンドかつ学習不要（training-free）のフレームワークであるLatentMASを提案しています。このフレームワークは、以下の3つのコアメカニズムによって動作します。

A. 自己回帰的な潜在思考生成（Auto-Regressive Latent Thoughts Generation）

各エージェントは、トークンをデコードする代わりに、最終層の隠れ状態（last-layer hidden representations） ($h_t$) を自己回帰的に生成することで推論を行います。

• プロセス： 入力埋め込みを与えられたエージェントは、最終的な隠れ状態を計算します。この状態は、標準的なソフトマックスおよび語彙投影（$W_{out}$）をバイパスし、次のステップの入力として扱われます。
• 入出力のアライメント： 生成された隠れ状態が学習済みのトークン埋め込みと統計的に異なる（分布ドリフトが発生する）のを防ぐため、著者らは線形アライメント演算子を提案しています。投影行列 $W_a$ （$W_{out}^\dagger W_{in}$ として近似）が、出力隠れ状態を有効な入力埋め込み空間へとマッピングし、それが次のステップへと供給されます。これは実行ごとに一度計算され、再利用されます。

B. 潜在的ワーキングメモリ転送（Latent Working Memory Transfer）

テキストを用いずにエージェント間の通信を促進するため、LatentMASはKey-Value（KV）キャッシュに格納された共有潜在ワーキングメモリを利用します。

• メカニズム： エージェント $A_1$ が潜在的な推論ステップを完了すると、蓄積されたKVキャッシュ（初期の入力コンテキストと新たに生成された潜在的思考の両方を含む）が抽出されます。
• 転送： これらのKVキャッシュは、後続のエージェント（$A_2$）のKVキャッシュに直接結合（prepend）されます。これにより、$A_2$ は情報をテキストへと再エンコードすることなく、$A_1$ の完全な内部状態に基づいて生成を行うことができます。
• 忠実度： このメカニズムは、生の連続表現が直接保存・転送されるため、ロスレスな情報転送を保証します。

C. システムアーキテクチャ

本フレームワークは特定のコラボレーション戦略に依存せず、以下の2つの標準的なMAS設定下で評価されます。

1. 逐次型MAS（Sequential MAS）： チェイン・オブ・エージェント・パイプライン（Planner $\to$ Critic $\to$ Refiner $\to$ Solver）であり、潜在的思考が逐次的に流れます。
2. 階層型MAS（Hierarchical MAS）： ドメイン特化型エージェント（数学、科学、コード）が独立して推論を行い、サマライザー（Summarizer）エージェントがそれらの潜在的ワーキングメモリを集約して最終回答を合成します。

パイプライン内の最終エージェントのみが結果をテキストにデコードし、中間的な推論と通信はすべて潜在的な状態で保持されます。

3. 主な貢献

1. 純粋な潜在的コラボレーション・フレームワーク： LatentMASは、中間的なテキスト生成を経ることなく、連続空間内で動作する、複数のエージェントにわたる潜在的推論と潜在的通信を統合した初のフレームワークです。
2. 学習不要のデザイン： 本手法は、追加のファインチューニングや学習データを必要としません。既存の事前学習済みモデルを活用し、潜在空間を整列させるための単純な線形投影を使用します。
3. 理論的分析：
   • 表現力： 著者らは、潜在的思考がテキストベースの推論よりも $O(d_h / \log |V|)$ 高い効率で情報を表現できることを証明しています（ここで $d_h$ は隠れ次元、 $|V|$ は語彙サイズ）。
   • 情報の保存： KVキャッシュの転送が、直接的な入力交換と同等の情報忠実度を保証することを実証しています。
   • 複雑性： LatentMASは、同等の表現力を持つテキストベースのMASと比較して、より低い時間計算量を示します。これは、トークンのデコードおよび再エンコーディングのオーバーヘッドを回避するためです。
4. 実証的検証： 9つのベンチマーク（数学、科学、常識、コード）および5つのモデルスケール（Qwen3およびLlama3ファミリー）にわたる包括的な評価を実施しました。

4. 結果

LatentMASは、すべての指標において、単一モデルのベースラインおよびテキストベースのMAS（TextMAS）の両方に対して一貫した改善を示しました。

• 精度（Accuracy）：
  • 単一モデルのベースラインに対し、平均で 14.6%（逐次型）および 13.3%（階層型）向上しました。
  • テキストベースのMASベースラインに対し、2.8%（逐次型）および 4.6%（階層型）向上しました。
  • 特定のタスクにおいて、最高のテキストベース・ベースラインと比較して最大 14.6% 高い精度を達成しました。
• トークン効率（Token Efficiency）：
  • テキストベースのMASと比較して、総出力トークン使用量を 70.8% から 83.7% 削減しました。
  • 単一エージェントと比較して、トークン使用量を 15.0% から 60.3% 削減しました。
• 推論速度（Inference Speed）：
  • テキストベースのMASと比較して、エンドツーエンドの推論を 4.0倍から 4.3倍 高速化しました。
  • タスクやモデルのスケールに応じて、2.6倍から 7.7倍 のスピードアップを達成しました。
• 潜在ステップ分析： パフォーマンスは 40〜80 潜在ステップ でピークに達し、その後は横ばいとなります。これは、推論の深さと冗長性の間の最適なトレードオフを示唆しています。

5. 意義と主張

本論文は、LatentMASが自然言語の制約を超越する、スケーラブルで汎用的なエージェント・コラボレーションのパラダイムを確立したと主張しています。その意義は以下の通りです：

• 効率性と表現力のトレードオフ： 従来のトレードオフを再構築し、計算オーバーヘッドを大幅に抑えつつ、より高い推論の表現力（より豊かな意味構造）を提供します。
• ロスレスな通信： テキストという離散的なボトルネックを回避することで、転送中にエージェントの内部状態が完全に保持されることを保証し、より堅牢なマルチエージェント推論を可能にします。
• 実用的な展開： 学習不要の手法であるため、再学習のコストをかけることなく、既存のLLMに即座に適用してシステムレベルの知能を高めることができます。

著者らは、テキスト媒介から潜在媒介へのコラボレーションへの移行が、エージェントAIの時代において、効率的で高容量なシステムレベルの知能を実現するための重要なステップであると結論付けています。