💬 NLP

CompactRAG: Reducing LLM Calls and Token Overhead in Multi-Hop Question Answering

CompactRAG 是一个用于多跳问答的高效能框架，它通过将离线的语料库重构为原子化的问答知识库，与依赖稠密检索和答案提取的在线推理阶段进行解耦，从而最大限度地减少了 LLM 调用次数和 Token 开销，无论推理复杂度如何，都仅调用两次 LLM。

原作者： Hao Yang, Zhiyu Yang, Xupeng Zhang, Wei Wei, Yunjie Zhang, Lin Yang

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hao Yang, Zhiyu Yang, Xupeng Zhang, Wei Wei, Yunjie Zhang, Lin Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解开一个复杂的谜题，比如弄清楚某部特定电影的导演是谁，但答案并不在一个地方。你必须读一本关于这部电影的书，找到导演的名字，然后去查阅那位导演的传记以找到他们的出生地，最后查看地图以确定城市。

这就是多跳问答（Multi-Hop Question Answering）：通过在不同的信息碎片之间跳转（即“跳跃”）来解决谜题。

问题所在：“过度劳累的图书管理员”

目前的系统（称为 RAG 或检索增强生成）试图通过让一个超级聪明的 AI（即大语言模型或 LL0LLM）来完成这项工作。然而，它们的方法效率很低。

把目前的方法想象成雇佣了一位非常昂贵、高薪的图书管理员来解决你的谜题。

你向图书管理员提问。
图书管理员跑到书架旁，拿出一本书，阅读它，然后写下一条笔记。
图书管理员跑回你面前，读了你的笔记，然后说：“好的，现在我需要知道那位导演在哪里出生。”
你再次提问。图书管理员再次跑向书架，拿了另一本书，阅读它，并写下另一条笔记。
他们为谜题中的每一个步骤都重复这个过程。

结果是？ 图书管理员累了，过程变得极其漫长，而且你必须支付巨额账单（以“Token”或计算能力的形式），因为图书管理员在不停地来回奔波。此外，有时图书管理员会对第二个步骤中的“他”指的是谁感到困惑，从而导致错误的答案。

解决方案：CompactRAG（“预包装知识盒”）

这篇论文的作者提出了一个更聪明的方法：CompactRAG。与其在用户提出问题之前让昂贵的图书管理员在图书馆里到处乱跑，不如在用户出现之前就重新组织好图书馆。

第一步：离线准备（“一次性设置”）

在任何用户提问之前，系统会使用 AI 一次性阅读整个图书馆的所有文档。

它将每份文档拆解成微小的、完美的、自包含的“事实卡片”。
它不再使用一段话如“这部电影由 Arthur Crabby 在 1953 年制作”；而是创建一个特定的卡片，写着：“问题：谁导演了《莉莉·玛琳的婚礼》？答案：Arthur Crabtree。”
它为图书馆中的每一个事实都执行此操作。这就创建了一个紧凑型知识库（Compact Knowledge Base）。

类比： 想象一下，与其拥有一个杂乱无章的图书馆，不如你拥有一个组织得极其完美的索引卡片大盒子。每张卡片的正面都有一个特定的问题，背面有准确的答案。没有废话，没有多余的词汇。

第二步：在线推理（“两次往返规则”）

现在，当用户提出一个复杂的问题时，系统的运作方式如下：

拆解（第一次往返）： 昂贵的图书管理员（LLM）被调用仅一次，用于将大的谜题拆解成简单的、细小的步骤。
- 用户： “这部电影的导演在哪里出生？”
- LLM： “好的，第一步：谁导演了这部电影？第二步：那个人在哪里出生？”
搜索（无需图书管理员）： 系统不再再次调用昂贵的图书管理员。相反，它使用一个廉价、快速的机器人在预制的“事实卡片”盒中查找答案。
- 机器人找到了“谁导演了……”的卡片，并得到了“Arthur Crabtree”。
- 机器人随后会重写下一个问题，使其表达清晰：“Arthur Crabtree 在哪里出生？”（这防止了“他”所指不明的困惑）。
- 机器人找到了“Arthur Crabtree 在哪里出生？”的卡片，并得到了“伦敦”。
最终答案（第二次往返）： 一旦机器人收集齐了所有的小答案，昂贵的图书管理员会被最后一次调用，负责将这些碎片拼凑起来并给出最终答案。

神奇之处在于： 无论谜题有多少个步骤（跳数），昂贵的图书管理员每次问题只会被调用两次。无论谜题是 2 步还是 10 步，成本都保持不变。

为什么这很重要

节省成本： 你不再需要支付昂贵的图书管理员进行来回奔波的费用。你只需为他们调用两次付费。
节省时间： 由于“事实卡片”易于查找和阅读，整个过程要快得多。
减少错误： 通过重写问题以包含具体的姓名（例如使用“Arthur Crabtree”而不是“他”），系统不会对讨论对象产生混淆。

实验结果

论文在三个困难的谜题数据集（HotpotQA, 2WikiMultiHopQA, 和 MuSiQue）上测试了该方法。

准确度： CompactRAG 解决谜题的能力与那些旧的、昂贵的方法一样出色。
效率： 它使用了显著更少的“Token”（AI 计算的货币）。在某些情况下，它使用的资源不到其他方法的 la la la 一半。

总结

CompactRAG 就像是将一场混乱、昂贵且反复往返的调查，变成了一项精简、预包装的操作。它通过预先进行一次性的繁重整理工作，使得解决任何新谜题都变成了一个快速、廉价且仅需两步的过程。

技术摘要：CompactRAG

问题陈述

检索增强生成（RAG）已成为知识密集型问答的标准范式。然而，现有的多跳 RAG 系统在处理需要整合多个文档证据的复杂查询时，面临着显著的效率问题。目前的迭代方法（如 Self-Ask、IRCoT、Iter-RetGen）会在每一步中交替进行检索与 LLM 推理。这种设计导致了三个主要问题：

可扩展性与成本： 由于重复调用 LLM，Token 消耗和延迟会随着推理跳数的增加而线性增长。
冗余性： 检索到的上下文通常包含冗余信息，从而推高了 Token 使用量。
实体漂移（Entity Drift）： 将复杂问题自动分解为子问题可能会丢失显式的实体提及（例如，在将“他是在哪里出生的？”中的“他”识别为某位科学家后，若未进行处理，会导致语义丢失）。这种歧义会导致检索错误以及跨跳步的不一致结果。

方法论：CompactRAG

作者提出了 CompactRAG，这是一个通过将离线语料库重构与在线推理解耦来实现高效多跳推理的框架。该系统分为两个截然不同的阶段运行：

1. 离线阶段：原子化 QA 知识库构建

CompactRAG 不在推理过程中检索原始语料段落，而是在离线阶段对语料库进行一次性处理。

过程： LLM 阅读原始语料库，并将文档内容重新表述为一组原子化 QA 对。
粒度： 每个对子代表一个最小的、细粒度的事实单元（例如，“谁导演了 X？” $\to$ “Y”）。
实体锚定： 语料库中的实体会被自动标注（使用 SpaCy），并在生成过程中被显式强制执行，以确保语义完整性并防止指代丢失。
索引： 每个原子 QA 对都被嵌入到共享的语义空间中，使用稠密检索（Contriever）。问题和答案被拼接在一起（ $[q; a]$ ）以保留完整的语义范围，使检索器能够同时匹配意图和内容。

2. 在线阶段：两次调用推理

在推理期间，系统通过一个固定的轻量级流水线来解决复杂查询，无论推理深度如何，该流水线仅调用主 LLM 两次。

步骤 1：分解（LLM 调用 #1）： 将复杂查询分解为一个按依赖顺序排列的子问题图。
步骤 2：迭代解析（轻量级模块）：
- 检索： 利用子问题从预构建的知识库中检索前 $k$ 个原子 QA 对。
- 答案提取： 一个轻量级的基于 RoBERTa 的答案提取器从检索到的对子中识别出正确的答案片段，从而避免调用 LLM 进行提取。
- 子问题重写： 一个基于 Flan-T5 的子问题重写器获取提取出的答案实体，并将下一个子问题进行重写，以显式地对模糊指代进行落地（例如，将“他在哪里出生？”改为“[实体] 在哪里出生？”）。这防止了实体漂移。
步骤 3：综合（LLM 调用 #2）： 一旦所有子问题得到解决且证据被聚合，主 LLM 执行单步综合以生成最终答案。

核心贡献

可扩展性分析： 论文分析了迭代式 RAG 流水线中的 Token 消耗和 LLM 调用如何随推理深度线性扩展，并指出这是大规模部署的瓶颈。
CompactRAG 框架： 引入了一种两调用 RAG 架构，利用离线原子 QA 知识库和在线轻量级模块（提取器和重写器），实现了高效的多跳推理，而无需重复调用 LLM。
实证验证： 在 HotpotQA、2WikiMultiHopQA 和 MuSiQue 上进行了全面的评估，证明了 CompactRAG 在实现具有竞争力的准确率的同时，与强力的迭代基准相比，大幅降低了 Token 消耗。

实验结果

使用 LLaMA-3.1-8B 作为骨干 LLM 在三个多跳基准测试上进行了评估：

准确率： CompactRAG 表现出了极具竞争力的性能。在 HotpotQA 上，它达到了 45.20% 的精确匹配（EM）和 70.40% 的基于 LLM 的准确率，与 IRCoT (42.80% EM) 和 Iter-RetGen (46.80% EM) 等迭代基准相当甚至更高。
效率： 系统显著降低了 Token 开销。
- CompactRAG： 每个样本约 1.9K tokens。
- Iter-RetGen： 约 4.7K tokens。
- IRCoT： 约 10.2K tokens。
- Self-Ask： 约 6.9K tokens。
消融实验： 移除子问题重写器或答案提取器模块会导致准确率持续下降（例如，在 HotpotQA 上移除重写器使准确率从 70.4% 降至 63.2%），证实了它们对于维持实体落地和检索精度的必要性。
上限： 使用 GPT-4 进行离线 QA 构建进一步提升了准确率（例如，在 HotpotQA 上达到 49.60% EM），这表明离线知识库的质量直接影响推理性能。

重要性与主张

论文认为 CompactRAG 为迭代式 RAG 系统提供了一个实用且具成本效益的替代方案。其核心意义在于：

固定成本推理： 通过将 LLM 调用限制为每个查询两次（分解和综合），该系统将推理成本与推理深度解耦，使其对于深层多跳任务具有高度的可扩展性。
解耦检索与推理： 该框架证明了高质量的多跳推理并不严格要求重复的 LLM 交互。相反，通过将外部知识结构化为语义对齐的原子单元，并利用轻量级的本地模块，可以以显著降低的计算开销获得相当的准确率。
可部署性： 不同于依赖内部模型信号（如注意力熵）的方法（这些信号在闭源模型中是不可用的），CompactRAG 的架构方法兼容开源和闭源 LLM。

作者总结道，这种方法为开发适用于大规模、知识密集型应用的、可扩展且 Token 高效的 RAG 系统提供了蓝图。

问题所在：“过度劳累的图书管理员”

解决方案：CompactRAG（“预包装知识盒”）

第一步：离线准备（“一次性设置”）

第二步：在线推理（“两次往返规则”）

为什么这很重要

实验结果

总结

技术摘要：CompactRAG

问题陈述

方法论：CompactRAG

1. 离线阶段：原子化 QA 知识库构建

2. 在线阶段：两次调用推理

核心贡献

实验结果

重要性与主张

类似论文