技術概要：AgentIR

問題定義

LLM エージェントの長期的な会話記憶は、Lucene、FAISS、または PISA といった古典的な情報検索（IR）システムとは本質的に異なる検索負荷を提示する。従来のエンジンが静的なコーパス、定常的なクエリ分布、そして数十ミリ秒単位で測定されるレイテンシ制約を前提としているのに対し、エージェント記憶はこれらの前提を崩す 5 つの明確な特性を示す：

1. 極端な直近性バイアス：検索クエリは、ウェブ検索の緩やかなドリフトとは異なり、最も最近のレコードの割合（例えば、セッションの上位 20〜27%）に強く集中する。
2. 非静的なインデックス成長：コーパスはクエリストリーム中（会話レートで）単調に成長するため、従来のインデックス再構築や高テールレイテンシを伴う増分更新は非現実的である。
3. 多様なクエリタイプ：単一のエージェントセッションには、事実照会、多段階推論、時間的クエリが含まれ、単一の融合戦略（BM25、Dense、または RRF）がすべてのタイプを支配することはない。
4. 厳格なレイテンシ制約：エージェントステップあたり 5〜20 回の検索が行われるため、クエリあたりの予算は 10ms 未満である。Dense エンコーダ（例：SPLADE++）は、エンコードのオーバーヘッドにより、しばしばこの予算を超えてしまう。
5. 役割構造化レコード：データには、標準的なテキストマッチングを超えた特定のフィルタリングと融合ロジックを必要とするメタデータ（役割、セッション ID、ツールタイプ）が含まれる。

既存のシステムはこれらの特性を活用できず、エージェント記憶を「小規模 IR」として扱うことが多く、線形スケーリングコストと最適化されていない融合戦略に苦しんでいる。

手法：AgentIR サブストレート

AgentIR は、これらの構造的性質に対処するために設計された、ワークロード適応型のカスケード検索サブストレートであり、2 軸の適応制御面を通じて機能する：(1) クエリごとの最適な融合戦略の選択、および (2) 高コストな Dense チャネルを実行するかどうかの判断。

1. アーキテクチャとパイプライン

このシステムは、単一の CSR（圧縮疎行列）サブストレート上で 3 つの並行チャネルを実行する：

• SIMD 加速 BM25：AVX2/NEON ベクトル化と MaxScore プルニングを用いた CPU ベースの疎検索。
• Dense チャネル：Dense 埋め込み（例：BGE-small）のための HNSW ベースの ANN 検索。
• 時間分割インデックス：ドキュメントを 7 日ごとのバケットに分割する時間ウィンドウ型インデックス構造。

2 軸適応：

• 融合選択：システムは、クエリタイプに基づいて、BM25、Dense、RRF、または「エージェント対応型」RRF（直近性のボーナスと重要度重みを追加するもの）のいずれかを選択する。
• カスケードルーティング：信頼度トリガー型ルーターが、Dense チャネルを完全にスキップするかどうかを決定する。BM25 のトップ-$k$マージンが高い場合（高い信頼性を示す）、システムは早期に終了する。それ以外の場合は、完全なハイブリッドパイプラインにエスカレートする。

2. 主要な最適化

• サブリニア時間スケーリング：エージェントワークロードの指数関数的な直近性バイアスを利用し、時間インデックスは最も最近のパーティションのみを検索する。定理 4.1 は、このバイアス下では、期待される作業量が総コーパスサイズ $N$ に依存せず、$O(\log(1/\varepsilon))$ であることを証明している。
• 異種 CPU/GPU パイプライン：
  • CPU：SIMD とマルチスレッド並列化を通じて、メモリバウンドな HNSW と計算バウンドな BM25 を最適化する。
  • GPU：バッチ処理された BM25 スコアリング（CSR 配置）とトップ-$k$選択のための 2 カーネル CUDA パイプライン。システムは、現代のハードウェアでの BM25 の再実装において、3 つの特定の正しさの落とし穴を特定し修正した：事前正規化された用語頻度、線形利得 nDCG、および GPU トップ-$k$カーネルにおける陳腐化した共有メモリ読み取り。
• ワークロード条件付き融合：TF-IDF または軽量分類器を使用するランタイムルーターがクエリタイプを予測し、最適な融合戦略を選択する。「ソフトルーター」は、分類器の事後確率に基づいてランクリストをブレンドし、曖昧なクエリに対応する。

主要な貢献

1. サブリニア領域の実装：時間分割インデックスが、直近性バイアスのあるワークロードに対して $O(\log(1/\varepsilon))$ の作業量を達成し得ることを実証する。実証的には、コーパスを 1,234 倍（4K から 5M レコード）成長させても、レイテンシはわずか 3.6 倍に増加し、5M レコードにおいて逐次スキャンに対して 1,769 倍の高速化を達成し、$p50$レイテンシは 100 $\mu$s 未満であった。
2. 高性能ハイブリッドエンジン：9 つの BEIR データセット（最大 880 万ドキュメント）全体で、Pyserini（8 スレッド）より平均 10 倍、PISA-1T（BlockMax-WAND）より平均 11 倍高速に動作しながら、Lucene 品質の検索（$\pm 0.020$ nDCG@10 以内）を提供する。また、CPU と GPU 実装間のビット完全な正しさを検証した。
3. 条件付き融合のクロスワークロード証拠：最適な融合戦略がワークロードとクエリタイプによって変化することを実証的に示す。
   • LongMemEval（500 問）では、ハイブリッド RRF + 直近性戦略が静的なベースラインを上回る。学習済みルーターは、gpt-4o 下で「離散オラクル」の限界（0.300 の LLM 判定精度）を達成する。
   • LoCoMo（1,982 問）では、BM25 単独が最強のシステムである。
   • カスケードルーターはこれらのベンチマーク間で自動調整を行う：LongMemEval クエリの 63%（2.67 倍の高速化）と LoCoMo クエリの 100%（132 倍の高速化）で Dense チャネルをスキップしつつ、精度の同等性を維持する。

結果

• 品質：9 つの BEIR データセットのうち 5 つで Pyserini Lucene と同等かそれ以上の性能を示す。BGE-small を用いたハイブリッド RRF は、BM25 単独に対して平均 nDCG@10 を +0.033 改善する。LongMemEval において、エージェント対応型融合は R@10=0.978、LLM 判定精度 0.254（BM25 は 0.246）を達成する。
• レイテンシとスループット：
  • 時間スケーリング：5M レコードにおいて、時間分割は $p50$で 100 $\mu$s 未満でクエリに応答するのに対し、逐次スキャンは約 159 ms を要する。
  • マルチテナント：8 コア VM は、不変の $p50$レイテンシ（約 0.38 ms）と 5.5 倍の集約スループットで 8 つの同時エージェントにサービスを提供する。
  • カスケード効率：カスケードルーターは、LongMemEval で償却レイテンシを 53.2 ms から 19.9 ms（2.67 倍）に、LoCoMo では 0.4 ms（132 倍）に削減する。
• 正しさ：本論文は、以前 nDCG@10 で 6〜8 倍の回帰を引き起こしていた 3 つの微妙なバグ（事前正規化 TF、線形利得 nDCG、GPU の陳腐化したメモリ）を文書化し修正した。修正後、CPU と GPU は 0.0002 nDCG@10 以内で一致する。

意義と主張

本論文は、エージェント記憶が単なる「小規模 IR」ではなく、アーキテクチャの専門化を必要とする固有のワークロード領域であると主張する。AgentIR の意義は以下の点にある：

• 構造的性質の活用：直近性スキュー、単調成長、クエリ多様性を設計入力として扱うことで、汎用エンジンよりも桁違いに低いクエリごとの作業量を達成する。
• ワークロード条件付き適応：軽量ルーターとカスケード機構を用いて、単一のデプロイメントが特定のワークロードに基づき（ハイブリッド融合対 BM25 単独など）、大きく異なる動作点に自動調整できることを実証する。
• 正しさと再現性：再実装で一般的に発生するサイレントな回帰を修正し、現代の CPU/GPU ハードウェア上の BM25 の検証済み、ビット完全な実装を提供する。
• コスト効率：検索サブストレートのコストは、LLM レイヤーよりも 2〜3 桁低いと推定され、スケーラブルで費用対効果の高いエージェントシステムにとって重要なコンポーネントである。

著者らは、時間分割、ワークロード条件付き融合、およびカスケードルーティングの組み合わせにより、単一システムが汎用ハードウェア上でサブミリ秒のレイテンシで長期的なエージェント記憶にサービスを提供できることを結論付けている。これは、静的な IR エンジンでは以前は達成不可能であった領域である。