技術要約：LLMエージェントのワークフローにおける直接的な潜在空間合成のためのパラレル・シンセシス（Parallel-Synthesis）

1. 問題の定式化

大規模言語モデル（LLM）は現代のエージェント・システムにおける実行エンジンとして機能しているが、それらは逐次的なテキスト・インターフェースを通じて動作する。このことは、構造化されたエージェント・ワークフロー、特に、独立したサブエージェント（ワーカー）が並列ブランチ（証拠の検索、サブタスクの解決、あるいは候補解の生成など）を実行し、その後にダウンストリームのシンセサイザー（統合器）がそれらの知見をマージするという有向非巡回グラフ（DAG）で構成される構造に対して、根本的なミスマッチを生じさせる。

現在のシステムは、この「並列実行後の合成」パターンを、すべてのワーカー・ブランチのテキスト出力を単一の拡張されたプロンプトへと連結することで処理している。このアプローチには、主に2つの制限がある：

1. 構造の喪失： DAGの豊かな依存関係構造を線形なシーケンスへと平坦化してしまい、各ブランチの独立性を破棄してしまう。
2. 計算の冗長性： シンセサイザーは、ワーカーのデコーディング・フェーズ中にこれらのトークンがすでにKey-Value（KV）キャッシュへとエンコードされているにもかかわらず、ワーカーの出力をテキストとして再エンコード（プリフィル）する必要がある。これは、大幅なレイテンシと計算オーバーヘッドを招く。

要約（summarization）は潜在的な緩和策ではあるが、自然言語によるコミュニケーションに依存しており、依然として再エンコードを必要とし、重要な詳細を失うリスクがある。本論文では、より直接的な代替案を調査する：シンセサイザー・エージェントは、テキストに変換することなく、並列ワーカー・ブランチから生成された潜在的なKV状態を直接消費できるか？

2. 手法：パラレル・シンセシス（Parallel-Synthesis）

著者らは、ダウンストリームのシンセサイザーが並列ワーカー・エージェントによって生成されたKVキャッシュを直接再利用することを可能にする、プラグアンドプレイのフレームワークであるParallel-Synthesisを提案する。このフレームワークは、離散的な並列キャッシュとシンセサイザーの生成プロセスとの間の溝を埋めるために設計された、3つのコア・コンポーネントで構成されている。

2.1 モデル・アーキテクチャ

1. 位置再エンコーディング（Positional Re-encoding）：
   ワーカーの出力 $z_j$ は、本来、特定のブランチ・コンテキスト $c_j$ に関連付けて生成されるため、個別のRoPE（Rotary Positional Embedding）位置を持つ。これらを共同で合成するために、本フレーム・ワークでは、すべてのワーカーの出力の位置エンコーディングを共通のポスト・ブランチ位置 $n$ に再整列させる。具体的には、ワーカー出力の $r$ 番目のトークンを、RoPE回転演算子を用いて位置 $n+r$ へと再エンコードする。これにより、すべてのブランチが、シリアル化されたシーケンスではなく、単一の分岐点からの並列な継続として現れるようにする。

2. キャッシュ・マッパー（Cache Mapper）：
   独立して生成されたキャッシュを較正するために、学習可能な多層パーセプトロン（MLP）が、ワーカー固有のメタデータ（出力長および総ワーカー数）をアフィン係数へとマッピングする。これらの係数は、再エンコードされたキーおよび値（$\hat{K}, \hat{V}$）に対して要素ごとの変換を適用し、潜在状態を調整することで、それらが連結される前にシーケンシャルなコンテキストをより良く近似するように調整する。

3. シンセサイザー用LoRAアダプター（Synthesizer LoRA Adapter）：
   非シーケンシャルかつマルチブランチなキャッシュ・インターフェースをモデルが解釈し、推論できるように、シンセサイザー側でLow-Rank Adaptation（LoRA）モジュールが学習される。このアダプターは合成時のみ活性化され、ワーカーの実行には影響を与えない。

2.2 学習戦略

本フレームワークは、補完的な能力を保持するためにチェックポイントをマージする、2トラックのポストトレーニング・アプローチを用いて学習される：

• トラック1：並列コンテキストへの全般的な適応
  • 継続的事前学習（Continued Pre-training）： 対話ターンがシリアル化された履歴ではなく、並列キャッシュとしてエンコードされている大規模なマルチターン対話データ（WildChat, UltraChatなど）を使用する。これは、アーキテクチャのウォームアップとして機能する。
  • 教師あり微調整（SFT）： 自然に分解可能な入力（ツール使用の軌跡、Few-shotの例題、マルチドキュメントQAなど）を用いたタスクを使用し、モデルが並列ブランチ間の情報を能動的に合成することを教える。
• トラック2：テキストベース合成からの蒸留（Distillation from Text-Based Synthesis）
  複雑な推論挙動を捉えるため、標準的なテキスト・シリアライゼーション・パイプライン（BrowseCompを使用）から軌跡を蒸留する。高品質な合成トレース（シンセサイザーがワーカーの出力を推論・比較しているもの）を、キャッシュベースの形式に変換する。これにより、モデルに、並列エージェントの軌跡に対する高レベルの推論と判断を行うことを学習させる。

3. 主な貢献

• 直接的な潜在空間インターフェース： シンセサイザーがテキストのシリアライゼーションのボトルネックを回避し、並列エージェントからKVキャッシュを直接消費する、新しいインターフェースを提案する。
• 較正メカニズム： 離散的な並列キャッシュを、シンセサイザーにとって一貫したコンテキストへと整列させるための、キャッシュ・マッパーと位置再エンコーディングを導入する。
• 学習パラダイム： 効果的なパラレル・シンセシスには、単なる推論時のキャッシュ再利用ではなく、特定のポストトレーニング（全般的な適応と推論の蒸留の両方）が必要であることを実証する。
• プラグアンドプレイ設計： 本フレームワークは、ワーカー・エージェントを変更することなく、既存のエージェント・ワークフローに統合できるアダプターとして設計されている。

4. 実験結果

著者らは、数学的推論（AIME, GSM8K）、科学的QA（GPQA, MedQA）、コード生成（HumanEval, MBPP）、およびマルチエージェント・ベンチマーク（GAIA, MARBLE）にわたる9つのダウンストリーム・データセットにおいて、Parallel-Synthesisを評価した。

• パフォーマンス： Parallel-Synthesisは、9つのデータセット中7つにおいて、標準的なテキストベースの合成と同等またはそれを上回る性能を示した。特に、推論の重いタスク（AIME 2025, GPQA, MARBLEなど）で顕著な向上を実現しており、これは直接的な潜在状態の合成が、テキストベースの合成よりも豊かな推論の痕跡を保持していることを示唆している。証拠中心のタスク（GAIA, MBPPなど）においても同等の性能を発揮している。
• 効率性： ワーカーの出力を再プリフィルすることを避けることで、Parallel-Synthesisは、テキストベースの合成と比較して、初動トークン生成時間（TTFT）を2.5倍から11倍削減した。
• 推論能力： 本手法は、ほとんどのデータセットにおいて単純な多数決（majority voting）のベースラインを上回っており、最終的な回答を集計するだけでなく、中間的な推論ステップや証拠の質を活用していることを示している。
• アブレーション研究：
  • トラック1とトラック2のチェックポイントをマージすることは、逐次的なチューニングよりも優れた結果をもたらし、破滅的忘却を防ぐ。
  • キャッシュ・マッパーとシンセサイザーLoRAの両方が必要であり、どちらか一方を削除すると性能が低下する。
  • フル・トラジェトリ情報（ツールの観測結果を含む）を提供すると最も高い精度が得られるが、レイテンシのコストがかかる。最終出力を用いるのが、最適なトレードオフとなる。

5. 重要性と主張

本論文は、Parallel-Synthesisが、よりネイティブで効率的なエージェント・ワークフローのための、より直接的なキャッシュベースの合成インターフェースであることを示している。結果は以下のことを示唆している：

1. 潜在状態は推論に優れている： 並列的な推論の痕跡の深い統合を必要とするタスクにおいて、直接的なキャッシュ消費は、テキストベースの合成と同等、あるいはそれ以上に競争力がある。
2. 効率性は本質的である： この手法は、処理済みの情報を再エンコードする必要性を排除することで、冗長な計算を根本的に削減する。
3. 学習は不可欠である： 推論時の較正に依存するRAGスタイルのキャッシュ再利用とは異なり、堅牢なパラレル・エージェント合成には、明示的なポストトレーニング（異種混合のブランチ状態を解釈し集約する方法を学ぶこと）が必要である。

著者らは、本フレームワークはまだ、すべての複雑なワークフローにおけるテキスト通信の普遍的な置き換えには至っていないものの、DAG構造のワークフローが、テキストのシリアライゼーションのオーバーヘッドを回避し、よりネイティブに実行・統合できるという強力な証拠を提供すると結論づけている。今後の課題は、より多様なツール使用パターンや分岐構造をカバーするために、ポストトレーニングをより広範なエージェント・ワークフローのコレクションへとスケールアップすることである。