Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

1. 問題定義 (Problem)

大規模言語モデル（LLM）は、推論や情報検索のためのポストトレーニング技術の進歩により、検索された大量の知識を取り込んで複雑なタスクを解決できるようになっています。しかし、LLM のコンテキストウィンドウ（入力可能なトークン数）の限界が、外部知識の量のスケーリングを阻害しており、さらなる性能向上を妨げています。

既存の解決策には以下の課題があります：

• コンテキストウィンドウの拡張（トレーニングベース）: アテンション機構の二次的な計算量や、長文データの不足により、経済的・実用的に困難。
• 検索拡張生成（RAG）: 検索ランキングの誤りにより、重要な証拠が除外されるリスクがある。
• コンテキスト圧縮: 圧縮過程で、推論チェーンが展開されて初めて有用になるような微妙な手がかりが失われる（情報損失）。
• 既存のマルチエージェント手法: 知識の同期帯域幅（Bandwidth）が狭く、推論プロセスにおける冗長情報の比率が高いため、外部知識量を増やしても性能が向上しない、あるいは低下する現象が観察された。

本研究は、**「推論時に外部知識の入力量をコンテキストウィンドウを超えてスケーリングし、LLM のタスク性能を継続的に向上させることは可能か？」**という問いに答えることを目的としています。

2. 提案手法：EXTAGENTS (Methodology)

著者らは、既存のマルチエージェント協調手法の 2 つのボトルネックを特定し、それを克服する新しいフレームワーク EXTAGENTS を提案しました。

2.1 既存手法のボトルネック

1. 知識同期（Knowledge Synchronization）のボトルネック: エージェント間での知識共有が局所的（近隣エージェントのみ）であり、アクセス可能なエージェントの数が限られているため、重要な情報が全体に伝播しにくい（帯域幅の制限）。
2. 知識統合推論（Knowledge-Integrated Reasoning）のボトルネック: 推論プロセスにおいて、冗長な情報が過剰に含まれてしまい、重要な情報が埋もれてしまう（情報過多）。

2.2 EXTAGENTS のアーキテクチャ

EXTAGENTS は、入力データをエージェント固有の小さなチャンクに分割し、以下の 2 種類の役割を持つエージェントと 2 つの主要なコンポーネントで構成されます。

• エージェントの役割:

  • Seeking Agents（探索エージェント）: 割り当てられた知識チャンクを理解し、タスクのクエリに対する関連性を評価・要約する。
  • Reasoning Agent（推論エージェント）: 探索エージェントから集約された知識を統合し、最終的な回答を生成する。

• 主要コンポーネント:

  1. グローバル知識同期（Global Knowledge Synchronization）:
     • 従来の局所的な共有ではなく、すべての Seeking Agent が生成したメッセージをグローバルにランキングし、上位の重要な情報のみを共有します。
     • これにより、各エージェントが全体的な文脈（高い帯域幅）を把握できるようになり、重要な情報の伝播が最大化されます。
     • 各ステップで並列実行が可能であり、遅延を低減します。
  2. 知識蓄積型推論（Knowledge-Accumulating Reasoning）:
     • Reasoning Agent は、一度にすべての情報を処理するのではなく、反復的に重要な情報を追加・統合していきます。
     • 各反復ステップで、同期されたメッセージから「上位 2^s 個（s は反復回数）」を選択してコンテキストに追加します。
     • これにより、情報過多を避けつつ、段階的に文脈を拡大して推論精度を高めます。また、情報が不十分な場合は回答を拒否する機能も備えています。

3. 主要な貢献 (Key Contributions)

1. 問題の定義とベンチマークの構築:
   • 「コンテキストウィンドウを超えた外部知識入力のスケーリング」という新たな課題を定義しました。
   • 既存の長文ベンチマーク「∞Bench」のバイアス（短い文脈で答えられるサンプルが多い）を排除し、大規模なドキュメントから情報を統合する必要がある多段階 QA テストセット ∞Bench+ を構築しました。
2. 新規フレームワークの提案:
   • 既存のマルチエージェント手法のボトルネックを克服する EXTAGENTS を提案しました。トレーニング不要で推論時のスケーリングを実現します。
3. 効果と効率性の実証:
   • 多段階 QA や長文サマリー生成タスクにおいて、外部知識量が増加しても性能が向上し続けることを実証しました。
   • 高い並列性により、推論効率も維持されていることを示しました。

4. 実験結果 (Results)

多様なベンチマーク（HotpotQA, ∞Bench+, AutoSurvey）およびモデル（GPT-4o, Llama-3.1/3.2 など）を用いた実験で以下の結果が得られました。

• 性能の向上:
  • 外部知識入力量がコンテキストウィンドウ（例：128k トークン）を超えて増加するにつれて、EXTAGENTS は一貫して性能が向上しました。
  • 既存の最善の非トレーニング手法（LLM×MapReduce, Chain of Agents など）や、単純な入力切り捨て（Truncation）を大幅に上回る結果を示しました。
  • 例：HotpotQA において、1024k トークンの入力に対して F1 スコア 0.534 を達成（ベースラインは 0.482 以下）。
• スケーラビリティ:
  • 入力量が 128k を超える領域でも性能が低下せず、むしろ向上する傾向が見られました。
  • 強力な LLM（GPT-4o など）ほど、EXTAGENTS のスケーラビリティの恩恵を大きく受けることが確認されました。
• 効率性:
  • Seeking Agent の並列実行と、非同期パイプラインの採用により、遅延（Latency）は入力量に対して線形的に増加し、直接入力（二次関数的な増加）や既存の逐次的手法よりも効率的でした。
• 異種モデル協調:
  • 軽量モデルを Seeking Agent に、強力なモデルを Reasoning Agent に割り当てることで、計算コストを削減しつつ高い性能を維持できることも示されました。

5. 意義と将来展望 (Significance)

• 実用性の向上: 企業知識ベースの分析、学術論文の調査レポート作成、複雑な多段階推論など、実世界のタスクではコンテキストウィンドウを超える膨大な情報が必要とされます。EXTAGENTS は、大規模なモデルの再トレーニングなしに、これらのタスクを効果的に処理できる道を開きます。
• パラダイムシフト: 単にコンテキストウィンドウを長くする（モデルアーキテクチャの変更）アプローチから、マルチエージェントによる分散処理と協調によって外部知識をスケーリングするアプローチへの転換を提案しています。
• 将来の課題: 敵対的入力への耐性、チャンキング戦略の最適化、ランキング精度のさらなる向上（より強力なモデルや校正手法の導入）などが今後の研究課題として挙げられています。

総じて、EXTAGENTS は、LLM のコンテキスト制限をマルチエージェント協調によって克服し、推論時の知識入力量を増やすことでタスク性能を飛躍的に向上させる可能性を示した画期的な研究です。