🤖 AI

CAMI: Cost-Aware Agent-Guided Multi-Indexing for Semantic Retrieval

CAMI 是一个成本感知型框架，它通过将富集选择视为一个预算组合问题，利用智能体发现和早期剪枝来优化语义检索索引的构建，从而识别出具有高召回率且计算成本显著低于穷举搜索的配置。

原作者： Adnan Qidwai, Anand Eswaran, Sonam Mishra, Jaydeep Sen, Sachindra Joshi

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Adnan Qidwai, Anand Eswaran, Sonam Mishra, Jaydeep Sen, Sachindra Joshi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图从一个巨大的食材库（你的“文档语料库”）中，寻找一份完美的、复杂的巨型汤品配方（你的“搜索结果”）。

在过去，你可能只是把所有东西都扔进锅里，然后听天由命。但现代搜索系统试图变得更聪明。它们不仅仅使用原始食材；它们甚至在开始烹饪之前，会为每一种食材制作“风味增强剂”（例如摘要、改写问题或思维导图）。这有助于让汤的味道更好，并更符合客户（用户）真正想要的东西。

然而，有一个巨大的问题：制作这些风味增强剂需要花费一大笔钱。

如果你有一百万种食材，并且尝试用五种不同的厨师（AI 模型）为每一种食材制作五种不同类型的风味增强剂，在你开始烹饪之前，你就会把钱花光。你不能尝试所有可能的组合来观察哪种味道最好；那份账单将是天文数字。

这就是 CAMI 发挥作用的地方。把 CAMI 想象成一位精明且注重预算的主厨，他知道如何在不浪费一分钱的情况下，找到最好的汤品配方。

以下是 CAMI 的工作原理，分为简单的步骤：

1. “试味”策略（多保真度评估）

与其为了测试一个新配方而先煮一整百万加仑的汤，CAMI 会先煮一小勺具有代表性的汤进行测试。

隐喻： 想象你想测试加入“烟熏红椒粉”是否有效。你不会煮整锅汤。你只煮一小杯。如果味道不好，你就立即把它扔掉。如果味道好，那么你再换一个更大的锅。
论文观点： CAMI 首先在小规模的数据子集上测试这些“风味增强剂”（称为富化数据表示，即 EDRs）。这节省了大量的资金，因为它能在昂贵的错误发生之前，及早停止那些糟糕的想法。

2. “乐高积木”法（原子单元）

旧方法试图将整个预制的汤品配方作为一个单一的、不可更改的整体块来进行测试。CAMI 则将食材视为乐高积木。

隐喻： 与其测试“配方 A”（即红椒粉、盐和洋葱的固定混合物），CAMI 会分别测试“红椒粉积木”和“盐积木”。一旦它知道“红椒粉积木”效果很好，它稍后就可以将其扣在“盐积木”上，而无需从头开始重新测试红椒粉。
论文观点： CAMI 将问题分解为“原子单元”（一种特定类型的风味增强剂 + 一种特定的 AI 模型）。它单独测试这些单元，然后将胜出的部分重新组合。这意味着它不会在重新评估那些它已经知道有效的配方部分时浪费钱。

3. “创意副厨”（代理发现）

通常，厨师会固守一份固定的食材清单（比如“摘要”或“改写”）。但有时，某种特定的汤可能需要一种没人想到的奇特、定制的食材。

隐喻： CAMI 有一个创意助手（一个 AI 代理），它会观察你库中的特定食材，然后说：“嘿，对于这道特定的汤，也许我们应该尝试一个‘因果联系’增强剂，而不是标准的摘要。”
论文观点： 该系统使用 AI 代理来发明新的、定制的“风味增强剂”，这些增强剂是专门针对它正在处理的数据量身定制的，而不是仅仅使用通用的、预设的列表。

4. “预算守护者”（成本感知搜索）

最重要的部分是，CAMI 绝不会过度消费。它对“试味”有着严格的预算。

隐喻： 主厨有一个钱包。每当他们尝试一种新的组合时，钱就会流出。如果一种组合太贵或者味道不好，它会立即被砍掉。厨师只会在那些有真正获胜机会的组合上花钱。
论文观点： 该系统使用一种数学方法（称为 MO-ASHA）来决定哪些想法值得下一步测试。它会停止在那些不太可能成功的想法上浪费钱，从而确保找到最佳的“召回率 vs 成本”平衡。

结果：他们发现了什么？

论文在几个困难的“汤品配方”（如科学论文、经济数据和技术问答等数据集）上测试了这个系统。

更好的味道： CAMI 发现的汤品配方在寻找正确答案的能力上，比标准方法高出多达 9.4%。
更便宜的采购： 它找到这些更好的配方所使用的资金比随机猜测或尝试所有组合要少 5 倍。
黄金分割点： 它成功识别了“帕累托前沿”（Pareto Frontier）。用通俗的话说，这意味着它找到了一个完美的平衡点，即用最少的“钱”（成本）获得最多的“味道”（检索质量）。

总结

CAMI 是一个聪明的系统，它阻止了我们在完善搜索引擎时浪费金钱。它不再盲目地尝试 AI 模型和文本摘要的所有可能组合，而是通过以下方式实现目标：

小规模测试以节省资金。
利用模块构建（重复使用好的部分）而不是从头开始。
发明定制工具以应对特定任务。
一旦想法看起来很糟，立即停止支出。

其结果是一个既更智能、构建成本也显著降低的搜索系统。

技术摘要：CAMI —— 用于语义检索的实用、成本感知型智能体引导多索引技术

1. 问题陈述

现代检索增强生成（RAG）系统日益依赖多索引检索（Multi-Index Retrieval），以缓解用户查询与源文档之间的词法和结构失配问题。这种方法涉及在摄取阶段使用大语言模型（LLM）生成富集数据表示（EDR）——例如合成摘要、改写或问题——并将这些 EDR 与基础文本一同进行索引，以提高召回率。

然而，这一策略引入了组合成本瓶颈：

搜索空间复杂度：可能的 EDR 类型（如摘要 vs. 思维导图）与生成模型（如 Qwen-8B vs. Llama-70B）组合而成的空间呈指数级增长。
评估成本：在全量语料库上穷举评估每一种可能的组合（EDR 类型与模型的配对）在财务和计算上都是难以承受的。搜索成本随语料规模线性增长，往往超过了直接部署一个次优索引的成本。
静态局限性：现有的流水线通常依赖于固定的、静态的富集模板库，这些模板可能无法与特定语料库的特征对齐，导致在没有保证召回率提升的情况下浪费构建成本。

核心挑战在于：如何在严格的优化预算内，识别出能够最大化检索召回率并最小化结构化部署成本的 Pareto 最优前沿（Pareto-optimal frontier） 配置。

2. 方法论：CAMI 框架

作者提出了 CAMI（Cost-Aware Multi-Indexing，成本感知型多索引），该框架将多索引构建形式化为一个受预算约束的多目标组合选择问题。CAMI 分为两个主要阶段运行：

第一阶段：智能体驱动的 EDR 发现

CAMI 不依赖于静态目录，而是采用智能体发现阶段。基于种子查询-证据对（query-evidence pairs）和语料上下文，由基于 LLM 的智能体提出特定于语料库的 EDR 提示词模板。

受控提议：智能体生成模板（例如针对技术手册的“过程提取”），并在搜索开始前对其进行验证、模式检查并将其“冻结”。
预算核算：发现阶段智能体的 Token 使用量被计入搜索预算中，确保动态扩展不会突破财务限制。

第二阶段：AACA 搜索算法

其核心优化引擎是 AACA（原子单元获取 + 闭包 + MO-ASHA）。它不将搜索空间视为单体配置，而是视为可组合的原子单元（即一个特定的 EDR 类型与一个特定生成模型的配对）。

原子单元定义：一个原子单元 $a = (e, m)$ 是指特定的富集类型 $e$ 和模型 $m$ 。一个组合（portfolio）即为一组活跃的原子单元集合。
多保真度评估：为了控制成本，CAMI 在嵌套的查询子集（ $Q_0 \subset Q_1 \subset \dots \subset Q_L$ $Q_{0} \subset Q_{1} \subset \dots \subset Q_{L}$ ）上进行评估。
- 保真度 0：用于初步筛选的小型代表性子集。
- 更高保真度：用于确认结果的较大子集。
- 代表性：通过主题感知的分层抽样来选取子集，以确保它们能够近似完整的查询分布。
三动作循环：算法迭代执行以下三个动作之一：
1. 获取（Acquisition）：基于新颖性/协同效应驱动，由 LLM 驱动的选择器提出新的原子单元以扩大候选池。
2. 闭包（Closure）：系统重新组合当前保真度池中先前已验证的原子单元，从而形成新的组合。这利用了这样一个事实：如果单元 A 和单元 B 单独表现良好，那么它们的组合也值得测试，而无需从头开始重新评估它们。
3. 晋升（Promotion）：基于 多目标异步成功减半（MO-ASHA） 调度机制，将配置晋升至更高保真度。
置信度感知晋升：晋升过程使用**置信上限（UCB）**排名，以平衡经验性能与不确定性（标准误差）。这防止了由于小规模查询子集中的噪声导致有潜力的配置被过早丢弃。
成本语义：CAMI 区分了：
- 运行时未缓存支出（ $C_{uncached}$ ）：在搜索过程中实际产生的美元成本（受预算 $B_{search}$ 控制）。
- 结构化成本（ $C_{struct}$ ）：部署最终索引的理论成本，通过累加其原子单元的名义成本计算得出（允许缓存复用）。

3. 核心贡献

论文概述了四项主要贡献：

形式化：将检索富集建模为一个具有明确成本语义的受预算约束的 Pareto 前沿发现问题，实现了构建成本与搜索优化成本的分离。
AACA 优化器：引入了一种优化器，它将 MO-ASHA 预算控制与**保真度局部闭包（fidelity-local closure）**相结合，实现了在搜索过程中对 EDR-模型对的计算复用。
智能体发现：通过集成 LLM 引导阶段来生成特定于语料库的 EDR 模板，在遵守预算约束的同时超越了静态目录。
工程化落地：提供了一个端到端的实用 RAG 摄取流水线，并在多种公开数据集上进行了评估，证明了其在显著提升召回率的同时降低了搜索预算。

4. 实验结果

该框架在五个数据集上进行了评估：BRIGHT-ES（地球科学）、BRIGHT-Econ（经济学）、BRIGHT-SO（Stack Overflow）、StatCanDialogueRetrieval 以及 NQTables。

相对于随机搜索的性能：CAMI（特别是 AACA 优化器）始终优于预算匹配的随机搜索基准。在所有数据集中，它在识别更优 Recall@10 组合方面取得了 92% 的胜率（92 胜 8 负）。
召回率增益：CAMI 识别出的组合相比仅含内容的基准（如 StatCan 数据集）使 Recall@10 提升了高达 9.4%。
搜索效率：与随机搜索基准相比，CAMI 使用最多 5 倍少的预算 即可识别出高召回率的组合。在特定案例中（如 StatCan），它仅使用穷举网格搜索所需成本的不到 20%，就达到了近乎最优的配置。
消融实验：
- 不确定性感知排名：使用 UCB 进行晋升显著提高了吞吐量，防止了高潜力配置在存在噪声的小规模子集上被过早淘汰。
- 闭包 vs. 发现：虽然 LLM 引导的发现过程扩展了候选库，但保真度局部闭包机制（重组已证实的原子单元）才是长期搜索效率的主要驱动力。
- 动态 vs. 静态：智能体发现的 EDR（例如经济学领域的 causal_links，Stack Overflow 领域的 function_names）经常出现在最终的 Pareto 最优组合中，在成本和质量上均优于静态种子目录。

5. 重要性与主张

论文声称，CAMI 从根本上改变了多索引检索系统的设计，将其从静态、启发式驱动的富集转向了证据驱动、语料自适应的优化。

实用性：通过将搜索预算与总语料规模解耦，并利用原子重组，CAMI 使优化复杂的 RAG 流水线变得可行，因为在实际生产场景中，穷举评估是不可能的。
成本-质量权衡：该框架提供了一种严谨的方法来驾驭召回率-成本的 Pareto 前沿，确保从业者可以根据特定的部署预算选择提供最佳检索质量的配置。
可扩展性：通过使用多保真度评估和感知缓存的预算追踪，该系统可以在不产生高昂 Token 成本的情况下，实现大规模语料库的配置搜索。

作者承认了局限性，指出该方法依赖于原子单元具有加性（忽略了复杂的非加性交互）的假设，且性能取决于代理子集（保真度子集）反映全量语料行为的准确性。未来的工作建议对更强的非加性交互进行建模，并改进晋升停止规则。