🤖 machine learning

Retriever Portfolios: A Principled Approach to Adaptive RAG

本文提出了“检索器组合”（Retriever Portfolios），这是一种通过自动选择多样化的检索器子集来处理异构查询的原则性方法，与单检索器或朴素多检索器基准相比，该方法实现了更高的准确度以及更低的延迟和成本。

原作者： Miltiadis Stouras, Vincent Cohen-Addad, Silvio Lattanzi, Ola Svensson

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Miltiadis Stouras, Vincent Cohen-Addad, Silvio Lattanzi, Ola Svensson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图回答一个问题，而你拥有一个巨大的图书馆（互联网）来提供帮助。在人工智能领域，这被称为 RAG（检索增强生成）。AI 会向一位“图书管理员”（检索器）寻求帮助，寻找最合适的页面，然后由一位“作家”（大语言模型）利用这些页面来撰写答案。

长期以来，这些系统对每一个问题都使用同一个图书管理员。问题在于：有些问题很简单（“谁是总统？”），而有些问题则是复杂的谜题，需要你在许多不同的书籍中建立联系（“印刷机的发明如何影响了法国大革命？”）。

擅长寻找简单事实的图书管理员可能并不擅长解决复杂的谜题，反之亦然。依赖单一的图书管理员意味着你经常会拿到错误的页面，从而导致错误的答案或“幻觉”（捏造事实）。

解决方案：“检索组合”（Retriever Portfolio）

本文作者提出了一种更聪明的方法：与其雇佣一名图书管理员，不如雇佣一个小型专业化图书管理员团队（一个“组合”）。

你可以把它想象成一家医疗诊所。

旧方法： 你有一位全科医生，试图治疗从脚趾骨折到心脏病的所有疾病。他们可能会错过心脏病，因为他们习惯于看脚。
新方法（本文的思想）： 你拥有一家诊所，里面有足科医生、心脏专家和神经科专家。当患者走进来时，一位聪明的预检护士（“路由”）会迅速查看症状，并将患者送往最适合其特定问题的专家那里。

在本文中，“专家”是指具有不同设置的不同搜索算法（检索器）。有些擅长寻找精确的词汇匹配，有些擅长寻找听起来相似的概念，还有些擅长连接相关的概念。

他们是如何组建这个团队的

研究人员并非仅仅靠猜测来决定雇佣谁。他们创建了一种数学方法来构建完美的团队：

大池子： 他们从一个包含 360 个不同“图书管理员”（不同的搜索策略和设置）的庞大池子开始。
“Best-of-K”目标： 他们提出了一个简单的问题：“如果我们挑选 5 名图书管理员，哪 5 个人能覆盖最广泛的领域？”他们不想要 5 个做同样事情的图书管理员。他们想要一个多样化的团队，这样如果一个失败了，另一个也能成功。
算法： 他们使用了一种贪心算法（一种逐步选择的过程）。它首先挑选出表现最好的图书管理员，然后挑选第二个能弥补第一个人所“遗漏”的问题的图书管理员，以此类推。
结果： 他们最终得到了一个规模较小且多样化的团队（例如 4 或 5 名专家），能够覆盖几乎所有类型的问题。

它是如何在现实中运作的

当用户提出问题时：

路由（Router）： 一个轻量级的 AI 会观察问题并做出判断：“这看起来像是一个复杂的谜题；让我们询问图谱专家和多样性专家。”
并行搜索： 系统不是问完一个图书管理员、等待、再问下一个，而是同时（并行地）询问选定的团队成员。
最终答案： 系统会获得几组不同的页面。一个“裁判”AI 会查看基于这些页面生成的答案，并选出最好的那一个。

为什么这种方法更好（结果）

论文在几个困难的问答基准测试（如 HotpotQA 和 TriviaQA）上对其进行了测试。以下是他们的发现：

更高的准确度： 与任何单一的图书管理员（即使是平均表现最好的那个）相比，这个专家团队能更频繁地找到正确的信息。
更快、更便宜： 其他方法试图在回答问题时对图书管理员进行“微调”（例如，一个接一个地尝试不同的设置直到成功）。这既慢又贵。本文的方法是在事前就选定了团队。由于团队成员是并行工作的，因此该系统比以往更快，使用的计算资源（Token）也更少，同时能获得相同甚至更好的结果。
不仅仅是“更多的书”： 他们证明了这种提升不仅仅是因为阅读了更多的页面，而是因为他们从正确的专家那里阅读了正确的页面。

核心结论

本文介绍了一种原则性的方法，旨在停止使用“一刀切”式的 AI 搜索引擎。通过构建一个小型且多样化的搜索专家团队，并使用智能路由来为特定任务挑选合适的专家，系统变得更加准确、快速且高效。这体现了“一名全科医生试图处理一切”与“一个专业团队协作解决问题”之间的本质区别。

技术摘要：检索器组合（Retriever Portfolios）：一种面向自适应 RAG 的原则性方法

1. 问题定义

检索增强生成（RAG）系统通常依赖于一个具有固定超参数集的单一检索器来处理所有用户查询。然而，现实应用中的查询分布是高度异构的，从简单的实事型问题到复杂的多跳推理任务不等。不同的检索配置（模型、策略或超参数）往往专注于不同的领域，这意味着没有单一的检索器对所有查询都是最优的。虽然最近的 Adaptive-RAG 和 Vendi-RAG 等工作尝试调整检索策略，但它们要么是在一个较小的、人工设计的策略集合上进行操作，要么是在推理时进行昂贵的逐查询超参数微调，从而导致高延迟和高 Token 成本。

本文通过提出一种原则性的**检索器组合优化（Retriever Portfolio Optimization）**方法，解决了“一刀切”检索的局限性。核心问题被定义为：从包含 $m$ 个候选者的庞大候选池中，选择一个规模较小且多样化的子集（即组合/组合集） $k$ 。目标是最大化对于从底层分布中随机抽取的随机查询的“最佳 $k$ 选一（best-of- $k$ ）”检索器的期望性能，而非最大化单个检索器的平均性能。

2. 方法论

2.1 理论框架

作者使用期望最佳 $k$ 选一（expected best-of- $k$ ）目标对该问题进行了形式化。令 $Q$ 为具有未知分布 $D$ 的查询集， $\mathcal{R}$ 为候选检索器集合。评分函数 $s(q, r) \in [0, 1]$ 衡量检索器 $r$ 对查询 $q$ 的适用程度。组合 $S \subseteq \mathcal{R}$ （其中 $|S| \le k$ ）的质量定义为：
$F(S) = \mathbb{E}_{q \sim D} \left[ \max_{r \in S} s(q, r) \right]$
目标是找到使 $F(S)$ 最大化的 $S$ 。作者证明了对于任何固定的查询 $q$ ，函数 $f_q(S) = \max_{r \in S} s(q, r)$ 是非负、单调且具有次模性（submodular）的。因此，总体目标 $F(S)$ 及其经验估计也是次模集合函数。

2.2 算法：贪婪组合选择

为了高效解决这一优化问题，论文提出了 Algorithm 1，一种基于采样的贪婪程序：

采样： 从分布 $D$ 中抽取 $N$ 个独立同分布（i.i.d.）的查询。
经验估计： 用经验估计值 $\hat{F}_Q(S)$ 代替总体目标。
贪婪构建： 迭代选择能使边际收益 $\hat{F}_Q(S \cup \{r\}) - \hat{F}_Q(S)$ 最大化的检索器 $r$ 。算法维护一个当前每个查询最佳得分的记忆化向量，以实现高效计算增益。
保证： 该算法的运行时间为 $O(k |\mathcal{R}| N)$ 。理论分析表明，只要样本量 $N$ 随池规模和所需置信度适当缩放，它可以在统计误差项 $\epsilon$ 范围内，实现对最优组合的 $(1 - 1/e)$ 近似。

2.3 推理流水线

所提出的系统由两个阶段组成：

离线组合构建： 使用 Algorithm 1，基于训练数据从大型候选池（包括稠密检索、基于多样性的检索和基于图的检索）中选择一个具有互补性的多样化组合 $k$ 。
自适应推理： 训练一个轻量级的路由器（router），为特定查询动态选择最佳的检索器。
- 路由器使用原始文本和缓存的稠密嵌入（MPNet/E5）对查询进行编码。
- 它通过与学习到的检索器嵌入的相似度，为 $k$ 个组合成员进行评分。
- 前 $\ell$ 个检索器被并行执行，以最小化延迟。
- 选择器 LLM 聚合来自并行检索器的答案，生成最终输出。

这种方法将适配的成本转移到了离线阶段，避免了推理时所需的迭代搜索方法。

3. 核心贡献

问题形式化： 引入了“RAG 组合优化”问题，通过期望最佳 $k$ 选一目标，形式化了如何选择一小组多样化的检索器来覆盖异构查询分布。
理论保证： 证明了该目标具有次模性，从而能够高效构建具有可证明的 $(1 - 1/e)$ 近似保证的近优组合。
实用流水线： 一个完整的系统，包含离线组合选择和轻量级路由器，支持并行检索和回答，显著降低了与顺序自适应方法相比的推理延迟。
实验验证： 在四个多样化的问答基准测试（HotpotQA, 2WikiMultiHopQA, TriviaQA, MusiQue）上进行了全面评估，证明了其性能优于单一检索器基线和推理时微调方法。

4. 实验结果

该方法在四个开放域问答数据集上使用两种回答模型（Gemma-3-27B-IT 和 Llama-3.1-70B-Instruct）进行了评估。

检索覆盖率： 学习到的组合显著优于“平均最佳”检索器选择。例如，规模为 $k=5$ 的组合实现了 0.594 的支持召回率（Support Recall），而前 5 名平均检索器的召回率为 0.492。研究表明，这种提升源于互补性（覆盖了不同的查询子群体），而非仅仅增加了检索文档的数量。
端到端准确率： 路由组合一致地比单一检索器基线和 Vendi-RAG（一种推理时微调基线）取得了更高的精确匹配（EM）分数。“全池（all-pool）”组合（结合了 Dense、Vendi 和 GraphDense 检索器）在所有数据集上获得了最佳的平均 EM。
效率与准确率： 在与 Vendi-RAG（使用相同的 Vendi 搜索空间）的受控对比中，离线组合方法实现了相当或更好的准确率，同时具有显著更低的延迟和 Token 成本。这是因为组合允许并行执行固定数量的检索器，而 Vendi-RAG 需要顺序、迭代的生成和判断过程。
路由有效性： 消融研究显示，学习到的路由器明显优于随机选择，并且能一致地选择出能够超越单一最佳平均成员的检索器，有效地将查询路由到最合适的组合成员。

5. 重要性与主张

本文声称通过将优化负担从昂贵的、顺序的推理时适配转向高效的离线组合构建，推动了 RAG 领域的发展。作者认为：

没有单一的检索器是最优的： 固定单一策略会浪费性能，无法满足多样化的信息需求。
互补性是关键： 一组规模较小且多样化的检索器比单一的“最佳”检索器或单纯增加文档预算能更有效地覆盖查询分布。
效率： 固定组合支持并行检索和 LLM 调用，提供了一种实用的权衡方案，能够在实现高准确率的同时，保持可预测的低延迟和低 Token 使用量，使自适应 RAG 在生产环境中更具部署可行性。

这项工作并非声称解决了所有 RAG 挑战，而是提供了一种原则性的、有理论依据的方法，用于选择和路由检索策略，该方法既是可证明近优的，也是经验有效的。