💬 NLP

AgentIR: A Workload-Adaptive Cascade Retrieval Substrate for Long-Term Conversational Memory

AgentIR 提出了一种面向长期对话记忆的负载自适应级联检索基底，该基底基于置信度阈值动态跳过昂贵的稠密检索，并利用时间分区索引，在各类基准测试中保持或提升检索准确率的同时，实现低于 10 毫秒的延迟和高达 132 倍的加速。

原作者： Aojie Yuan, Haiyue Zhang, Shahin Nazarian

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Aojie Yuan, Haiyue Zhang, Shahin Nazarian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是《AgentIR》论文的通俗解读，采用类比方式呈现。

宏观图景：AI 代理的智能图书管理员

想象你拥有一个非常聪明的 AI 助手（即“代理”），它为你服务数月甚至数年。随着时间的推移，这个代理积累了海量的对话记录、工具使用日志和计划——相当于数百万页的笔记。

每当代理采取行动解决问题时，它都必须翻阅这本“日记”以寻找正确信息。如果代理需要执行 20 个步骤，它就必须连续搜索这本日记 20 次。如果每次搜索哪怕只多花几分之一秒，对人类用户而言，整个对话就会显得“卡顿”或缓慢。

问题出在哪里？我们通常用来搜索图书馆的工具（如标准搜索引擎）是为搜索整个互联网而设计的，而非用于搜索一本单一且不断增长的日记，其中最重要的笔记往往就是刚刚写下的那些。

AgentIR 是一款专为这些 AI 代理打造的全新、专用搜索引擎。它速度更快、更懂得如何搜索，并且能够扩展规模而不会导致速度下降。

1. “时间旅行”书架（时间分区）

问题所在： 想象一个图书馆，书籍每秒都在增加。如果你要借一本书，标准图书管理员可能不得不从最旧的书开始，一本接一本地检查书架，直到找到最新的书。随着图书馆藏书量增长到数百万本，这种搜索会变得越来越慢。

AgentIR 的解决方案： AgentIR 以不同的方式组织图书馆。它不是将所有书排成一行，而是根据书籍撰写的时间将它们分放在不同的书架上。

类比： 这就像一个“时间旅行”图书馆。最新的书籍被放在最前方一个特殊且易于取用的书架上，而较旧的书则被推到更靠后的位置。
工作原理： 由于 AI 代理通常需要最近对话中的信息（例如“我们刚才修复了什么？”），系统会首先只查看前方的书架。如果在那里找到了答案，它立即停止搜索，无需浪费时间检查后方积满灰尘的书架。
结果： 即使图书馆规模扩大 1000 倍，搜索时间也几乎不会增加。这就像在干草堆里找针，但这根针始终位于最前 1% 的干草中。

2. “双工具”策略（混合搜索）

问题所在： 有时你需要按确切单词搜索（例如查找特定的错误代码），而有时你需要按含义搜索（例如查找关于“修复漏洞”的对话，即使其中并未出现“漏洞”这个词）。

工具 A（BM25）： 擅长精确单词匹配，速度极快。
工具 B（稠密/向量）： 擅长理解含义，但速度慢且计算量大。

AgentIR 的解决方案： AgentIR 不会强迫你对每个问题都同时使用这两种工具。它就像一个聪明的交通指挥员。

类比： 想象你在商店里寻找特定物品。
- 如果你问：“红色的锤子在哪里？”，系统知道只需查看“锤子”过道（工具 A）。它会跳过昂贵且缓慢的“含义”扫描仪。
- 如果你问：“那个能修好吱吱作响的门的工具在哪里？”，系统知道需要动用“含义”扫描仪（工具 B）来理解这个概念。
级联机制： 系统首先尝试快速工具。如果快速工具非常有把握找到了答案，它就在此停止。如果它不确定，然后才会调用那个缓慢、沉重的工具。这节省了巨大的时间。

3. “变形”策略（工作负载自适应）

问题所在： 不同类型的问题需要不同的搜索策略。

在一个数据集（LongMemEval）上，混合单词匹配和含义匹配效果最好。
在另一个数据集（LoCoMo）上，仅使用单词匹配实际上更好且更快。
旧系统强迫你选择一种策略并永远坚持使用它。

AgentIR 的解决方案： AgentIR 是一只“变色龙”。它拥有一个微小、快速的分类器（决策者），该分类器会审视你的问题并判断：“啊，这是一个‘时间’类问题，让我们使用策略 A"，或者“这是一个‘事实’类问题，让我们使用策略 B"。

结果： 它自动进行自我调整。在一次测试中，它跳过了慢速工具 63% 的时间；在另一次测试中，由于快速工具表现完美，它 100% 地跳过了慢速工具。它能够适应手头的工作，而无需重新训练。

4. “超高速”引擎（GPU 与 CPU 优化）

问题所在： 在标准计算机芯片（CPU）上执行这些搜索很快，但在功能强大的图形处理卡（GPU）上执行通常很棘手，因为数学运算无法完美对齐。此外，标准搜索引擎通常存在隐藏缺陷，当你试图加速它们时，会导致准确性略微下降。

AgentIR 的解决方案：

引擎： 他们构建了一个定制引擎，可在 CPU 和 GPU 上完美运行。
“漏洞修复”： 作者发现了三个细微的“漏洞”，这些漏洞常出现在人们试图加速搜索引擎时（例如数值归一化错误或忘记清除内存）。这些漏洞会使搜索结果变差 6 到 8 倍，而无人察觉。AgentIR 修复了这些问题，确保超快速的 GPU 版本能提供与较慢的 CPU 版本完全相同的正确答案。
结果： 在特定任务上，他们的速度比标准系统快高达132 倍，同时保持准确性完全一致。

结果总结

速度： 它能处理数百万条记录，对于近期数据，响应时间仍低于 100 微秒（即 1/10,000 秒）。
效率： 它可以在单台计算机上同时为 8 个不同的 AI 代理提供服务，而不会导致速度下降。
准确性： 在找到正确答案方面，它匹配甚至超越了现有的最佳搜索引擎（如 Lucene），但速度快得多。
成本： 由于它如此快速高效，其成本仅为商业云搜索服务收费的一小部分。

简而言之： AgentIR 是一款专用的高速搜索引擎，它知道何时查看最近的笔记，何时使用简单的单词匹配，以及何时完全跳过繁重的计算，从而确保即使 AI 代理的记忆变得巨大，它们依然能保持快速和响应灵敏。

技术摘要：AgentIR

问题陈述

大语言模型（LLM）智能体的长期对话记忆所面临的检索负载，与 Lucene、FAISS 或 PISA 等经典信息检索（IR）系统有着根本性的不同。传统引擎假设语料库是静态的、查询分布是平稳的，且延迟预算以几十毫秒为单位；而智能体记忆则表现出五个截然不同的特性，打破了这些假设：

极端的近期偏差：检索查询高度集中在最新的一小部分记录上（例如，前 20–27% 的会话），这与网络搜索的缓慢漂移截然不同。
非静态索引增长：语料库在查询流过程中（以对话速率）单调增长，使得传统的索引重建或增量更新（会产生高尾部延迟）变得不切实际。
异构查询类型：单个智能体会话包含事实性查找、多步推理和时间查询，其中没有任何一种单一的融合策略（BM25、Dense 或 RRF）能主导所有类型。
严格的延迟预算：每个智能体步骤包含 5–20 次检索，单次查询的预算低于 10 毫秒。稠密编码器（如 SPLADE++）通常因编码开销而超出此预算。
角色结构化记录：数据包含元数据（角色、会话 ID、工具类型），需要超越标准文本匹配的特定过滤和融合逻辑。

现有系统未能利用这些特性，往往将智能体记忆视为“小型 IR"，从而遭受线性扩展成本和非最优融合策略的困扰。

方法论：AgentIR 基底

AgentIR 是一种负载自适应级联检索基底，旨在通过双轴自适应控制面来解决这些结构性特性：(1) 为每个查询选择最优的融合策略，(2) 决定是否执行昂贵的稠密通道。

1. 架构与流水线

该系统在单个 CSR（压缩稀疏行）基底上运行三个并发通道：

SIMD 加速的 BM25：基于 CPU 的稀疏搜索，利用 AVX2/NEON 向量化和 MaxScore 剪枝。
稠密通道：基于 HNSW 的近似最近邻（ANN）搜索，用于稠密嵌入（如 BGE-small）。
时间分区索引：一种时间窗口索引结构，将文档划分为 7 天的桶。

双轴自适应：

融合选择：系统根据查询类型在 BM25、Dense、RRF 或“智能体感知”的 RRF（增加近期奖励和重要性权重）之间进行选择。
级联路由：一个由置信度触发的路由器决定是否完全跳过稠密通道。如果 BM25 的 top- $k$ 间隔较大（表明高置信度），系统则提前退出；否则，升级为完整的混合流水线。

2. 关键优化

次线性时间扩展：利用智能体负载的指数级近期偏差，时间索引仅搜索最新的分区。定理 4.1 证明，在此偏差下，预期工作量为 $O(\log(1/\varepsilon))$ ，与语料库总大小 $N$ 无关。
异构 CPU/GPU 流水线：
- CPU：通过 SIMD 和多线程并行性，针对内存受限的 HNSW 和计算受限的 BM25 进行优化。
- GPU：一个用于批量 BM25 评分（CSR 布局）和 top- $k$ 选择的双内核 CUDA 流水线。该系统识别并修复了在现代硬件上重新实现 BM25 时的三个具体正确性陷阱：预归一化词频、线性增益 nDCG 以及 GPU top- $k$ 内核中的陈旧共享内存读取。
负载条件融合：一个运行时路由器（使用 TF-IDF 或轻量级分类器）预测查询类型并选择最佳融合策略。一个“软路由器”根据分类器的后验概率混合排名列表，以处理模糊查询。

主要贡献

次线性机制实现：证明了时间分区索引可以为近期偏斜的负载实现 $O(\log(1/\varepsilon))$ 的工作量。经验表明，将语料库扩大 1,234 倍（从 4K 到 500 万条记录）仅使延迟增加了 3.6 倍，在 500 万条记录时实现了 1,769 倍的加速（相比顺序扫描），且 $p50$ 延迟低于 100 $\mu$ s。
高性能混合引擎：在 9 个 BEIR 数据集（最多 880 万文档）上实现了与 Lucene 相当的检索质量（nDCG@10 误差在 $\pm 0.020$ 以内），同时平均运行速度比 Pyserini（8 线程）快 10 倍，比 PISA-1T（BlockMax-WAND）快 11 倍。此外，还验证了 CPU 和 GPU 实现之间的位级精确一致性。
跨负载的条件融合证据：经验表明，最优融合策略因负载和查询类型而异。
- 在 LongMemEval（500 个问题）上，混合 RRF + 近期策略优于静态基线。一个学习到的路由器在 gpt-4o 下实现了“离散神谕”界限（0.300 LLM 判定的准确率）。
- 在 LoCoMo（1,982 个问题）上，仅 BM25 是最强的系统。
- 一个 级联路由器 在这些基准测试中自动调整：它跳过了 LongMemEval 中 63% 查询的稠密通道（2.67 倍加速）和 LoCoMo 中 100% 的查询（132 倍加速），同时保持了准确率的一致性。

结果

质量：在 9 个 BEIR 数据集中的 5 个上，匹配或超过了 Pyserini Lucene。带有 BGE-small 的混合 RRF 比仅 BM25 将平均 nDCG@10 提高了 +0.033。在 LongMemEval 上，智能体感知融合实现了 R@10=0.978 和 0.254 的 LLM 判定准确率（BM25 为 0.246）。
延迟与吞吐量：
- 时间扩展：在 500 万条记录时，时间分区在 <100 $\mu$ s（ $p50$ ）内服务查询，而顺序扫描需要约 159 毫秒。
- 多租户：一个 8 核虚拟机为 8 个并发智能体提供服务，保持不变的 $p50$ 延迟（约 0.38 毫秒）和 5.5 倍的总吞吐量。
- 级联效率：在 LongMemEval 上，级联路由器将平均延迟从 53.2 毫秒降低到 19.9 毫秒（2.67 倍），在 LoCoMo 上降低到 0.4 毫秒（132 倍）。
正确性：本文记录并修复了三个细微的 bug（预归一化 TF、线性增益 nDCG、GPU 陈旧内存），这些 bug 此前曾导致 nDCG@10 出现 6–8 倍的回归。修复后，CPU 和 GPU 在 nDCG@10 上的差异在 0.0002 以内。

意义与主张

本文认为，智能体记忆不仅仅是“小型 IR"，而是一个需要架构专门化的独特负载机制。AgentIR 的意义在于：

利用结构性特性：通过将近期偏斜、单调增长和查询异构性作为设计输入，该系统实现了比通用引擎低几个数量级的单次查询工作量。
负载条件自适应：它证明了一个单一部署可以根据特定负载，使用轻量级路由器和级联机制，自动调整到截然不同的工作点（例如，混合融合与仅 BM25）。
正确性与可复现性：本文提供了在现代 CPU/GPU 硬件上经过验证的、位级精确的 BM25 实现，纠正了重新实现中常见的静默回归。
成本效率：检索基底的成本估计比 LLM 层低 2–3 个数量级，使其成为可扩展、成本效益高的智能体系统的关键组件。

作者得出结论，时间分区、负载条件融合和级联路由的结合，使得单一系统能够在商用硬件上以亚毫秒级延迟服务长期智能体记忆，这是以前静态 IR 引擎无法达到的机制。