技術要約: HMARS

問題提起

長文脈の推論には、広範な文書、対話、またはインタラクション履歴の中に散在する証拠へのアクセス、検索、および統合が必要です。標準的な検索拡張生成（RAG）のアプローチは、通常、この課題を埋め込み類似性に基づく受動的なトップ-$K$チャンク検索プロセスへと還元してしまいます。著者らは、この受動的なインターフェースは、複雑な推論タスクにおいて根本的に欠陥があると考えています。なぜなら、それは関連性が局所的かつ静的に測定可能であることを前提としているからです。その結果、RAGは、特に以下の状況において、推論が始まる前に関連する証拠を破棄してしまうことがよくあります：

1. 証拠の広がり（Evidence Breadth）: 必要な情報が文書の遠く離れた領域に散在しており、多くの非隣接なチャンクの統合を必要とする場合。
2. 文脈依存の関連性（Context-Dependent Relevance）: ある一節が、より広い文脈や他の場所に述べられた情報（例：予算制約に関する初期の言及が、後の住宅に関する質問に対して不可欠となる場合）に対して解釈されて初めて関連性を持ち、語彙的なオーバーラップが低い場合。

階層的な要約やマルチエージェントによる逐次的な読み取りといった既存の解決策は、多くの場合、受動的または中央集権的なままであり、早期の除外を行うことなく、ローカルな領域がクエリに基づいた評価に能動的に参加できる真のメモリシステムを提供できていません。

メソドロジー: HMARS

著者らは、HMARS（Hierarchical Multi-Agent Memory System：階層型マルチエージェント・メモリシステム）を提案します。これは、長文脈をフラットな検索コーパスとしてではなく、管理されたメモリとして扱うものです。本システムは、非対称なモデル階層（$L_{sub} \ll L_{mid} \ll L_{base}$）を採用し、2つのフェーズで動作します。

1. インデキシング・フェーズ（Indexing Phase）

• パーティショニング: 入力文書またはインタラクション履歴を、境界のあるローカルな領域に分割します。
• サブエージェント（Sub-Agents）: 各領域は、軽量なサブエージェント（$L_{sub}$）によって管理されます。領域はさらに固定サイズのページに分割されます。各サブエージェントは、要約、トピック、エンティティ、およびページインデックスを含む**ローカル・メモリカード（Local Memory Card）**を作成します。このカードは、最終的な証拠として機能するのではなく、次のレベルに対してサブエージェントが何を知っているかを公開するものです。
• ミッドエージェント（Mid-Agents）: サブエージェントは、ミッドエージェント（$L_{mid}$）の下にグループ化されます。ミッドエージェントは、割り当てられたサブエージェントのメモリカードを集約して、**共有リージョナル・メモリ（Shared Regional Memory）**を構築します。これには、リージョンレベルの要約、サブエージェントのトピック/エンティティへのマッピング、および孤立したサブエージェント間の依存関係（例：共有エンティティ、時間的更新）を追跡するための相互参照メカニズムが含まれます。

2. クエリ・フェーズ（Query Phase）

• ブロードキャストと解釈: クエリを受信すると、各ミッドエージェントは、自身の共有リージョナル・メモリに対してクエリを解釈します。ハードなルーティング決定を行う代わりに、ミッドエージェントはリージョンレベルのクエリ解釈（$\gamma$）と、各サブエージェントに対する具体的なヒント（$h$）を生成します。
• 並列ローカル評価: 極めて重要な点として、すべてのサブエージェントは、ミッドエージェントのヒントに従って、自身のローカルページに対してクエリ条件付きの評価を並列に実行します。これにより、文書のどの領域も、早期のトップ-$K$フィルタリングによって破棄されないことが保証されます。
• 根拠に基づいた証拠検索: 選択されたページは重複が排除され、グローバルなトークンオフセットに従ってソートされ、根拠に基づいた証拠コンテキストへと再構成されます。
• 最終推論: フロンティア・ベースモデル（$L_{base}$）が、検索された根拠に基づいた証拠ページのみを用いて、最終的な推論と回答の合成を行います。

主な貢献

1. 診断用ベンチマーク: 著者らは、単純な逐次的ホップを超え、証拠の広がりと文脈依存の関連性をストレス・テストするために特別に設計された2つのベンチマークを構築しました：
   • LongBench-v2から派生した長文ドキュメント・ベンチマーク。これは、RAGの再現率が低い、少なくとも4つの離れたチャンクから証拠を必要とする質問をフィルタリングしたものです。
   • RealMemに着想を得た累積的インタラクション・メモリ・ベンチマーク。これは、重要な事実が散在しており、後の文脈の下で初めて関連性を持ちとなるような、マルチターン対話を含んでいます。
2. 問題の定式化: 本論文は、長文脈の失敗を、受動的なチャンクベースのメモリアクセスの限界としてフレーム化しており、特に標準的なRAGが広範な証拠の網羅性と文脈依存の関連性を扱えない点を強調しています。
3. HMARSアーキテクチャ: ローカルなメモリ管理、リージョナルな調整、および最終的な推論を分離した階層型システムの導入。これにより、強力なフロンティアモデルを最終的な合成のために確保しつつ、ローカルエージェントによるフルコンテキストの考慮を保証します。

実験結果

HMARSは、高密度RAG（様々な予算とチャンクサイズを使用）、高密度リランキング、フルコンテキスト・プロンプティング、およびエージェント型ベースライン（Chain-of-Agents, MemAgent）に対して評価されました。

• パフォーマンス: HMARSは両方のベンチマークにおいて最高の全体的パフォーマンスを達成しました。マルチターン・メモリ・タスクにおいてすべてのベースラインを上回り、ほとんどの長文ドキュメント推論カテゴリ（合成、比較、因果、相互参照）において最高の精度を実現しました。
• 証拠の網羅性: 分析により、RAGのバリアント（高い予算設定であっても）が約57%しかカバーできなかったのに対し、HMARSは注釈付きのサポートチャンクの99.4%をカバーしていることが明らかになりました。これは、HMARSの利得が、単に最終的な回答プロンプトを変更したことによるものではなく、必要な証拠をより完全に検索できることに起因することを裏付けています。
• 効率性: 複数のモデル呼び出しを使用しているにもかかわらず、HMARSは優れた精度・計算コストのトレードオフを提供します。フロントランニングモデルに全コンテキストを読ませる（最大級のFLOPsを使用する）フルコンテキスト・プロンプティングや、高予算のRAGよりも高い精度を達成しており、これは計算を、高価なフロントランニングモデルが全コンテキストを読み取ることから、軽量なローカルおよびミッドレベルのモデルがメモリへのアクセスを管理することへとシフトさせたことによるものです。
• アブレーション研究:
  • フル・ファンアウト（Full Fanout）: ミッドエージェントが選択したサブエージェントのみへの参加制限は、精度を著しく低下させました。これは、すべてのローカル領域が関連性を評価する必要があることを検証しています。
  • ミッドエージェントの調整: ミッドエージェント層を取り除くと、特にマルチターン・タスクにおいてパフォーマンスが低下しました。これは、共有リージョナル・コンテキストの必要性を証明しています。
  • モデルの割り当て: サブエージェントに大型モデルを使用しても、有意な利得は見られませんでした。これは、軽量なモデルがローカルページを管理するという非対称設計を支持しています。

意義と主張

本論文は、長文脈の推論を、単に「より多くのチャンクを検索する」ことや「コンテキストウィンドウを拡張する」こととして捉えるべきではないと主張しています。代わりに、入力として与えられた証拠を能動的に管理、アクセス、および接地（グラウンディング）するメモリシステムを構築すべきであると論じています。

著者らは、HMARSが以下のことを実証したと断言しています：

1. 受動的なトップ-$K$検索は、証拠が散在している場合や文脈依存である場合に失敗する。
2. 入力を管理されたローカル・メモリとして構成し、すべての領域がクエリ条件付きの評価に参加するようにすることは、中央集権的または逐次的な処理よりも効果的である。
3. 非対称なモデル割り当てにより、フロントランニングモデルに全コンテキストを投入するという膨大なコストを負うことなく、フルコンテキストの考慮が可能になる。

結論として、HMARSは証拠へのアクセスを改善するものの、ローカルエージェントがページを見落とす可能性があるため、完全な再現性を保証するものではないとしています。さらに、著者らは、自らの診断用ベンチマークが特に証拠の広がりと文脈依存性を対象としており、システムの利点は累積的なインタラクション・メモリ・タスクにおいて最も顕著になることを指摘しています。