💬 NLP

LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG

LatentRAG 是一个新颖的框架，它将智能体 RAG 的推理与检索从离散语言空间转移到连续潜在空间，从而实现端到端的联合优化，在保持与显式多步方法相当性能的同时，将推理延迟降低约 90%。

原作者： Yijia Zheng, Marcel Worring

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Yijia Zheng, Marcel Worring

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是《LatentRAG》论文的解释，已用通俗易懂的语言和日常类比进行翻译。

问题所在：“过度思考”的智能体

想象你有一位非常聪明但话很多的助手（一个 AI），它帮你从互联网上查找答案。

旧方法（朴素 RAG）： 你问一个问题，助手抓取一篇文章，然后给出答案。这很快，但如果问题很复杂，它经常答错，因为它挖掘得不够深。
“智能体”方法（当前最先进水平）： 为了处理难题，我们给助手戴上了一顶“思考帽”。现在，在回答之前，助手会在一张纸上写出一长串想法和搜索查询。
- 想法： “我需要找出谁赢了比赛。”
- 行动： 写下"2016 年谁赢了比赛？”
- 搜索： 去谷歌搜索。
- 想法： “好的，现在我需要找出他们的出生年份。”
- 行动： 写下“谁出生于 1988 年？”
- 搜索： 再次去谷歌搜索。
- 答案： "1988 年。”

关键问题： 这种“智能体”方法虽然能给出正确答案，但很慢。为什么？因为助手必须像打字员按顺序敲击键盘一样，一个接一个地写出它每一个想法和搜索查询的每个字。如果思考过程很长，用户就必须等待很长时间。论文指出，这个“书写”阶段占据了总时间的约90%。

解决方案：LatentRAG（“心灵感应”助手）

这篇论文的作者，LatentRAG，问道：“如果助手能在不实际写下任何东西的情况下进行思考和搜索，会怎么样？”

他们构建了一个系统，让助手在自己的“大脑”内部（即他们所称的“潜在空间”）进行推理和搜索规划，而不是在一张纸上（即“语言空间”）进行。

类比：秘密握手 vs. 长信

传统智能体 RAG（长信）： 为了告诉图书管理员你想要哪本书，你必须写一封长长的、详细的信，解释你的思考过程。图书管理员读完整封信后，才去书架取书。这非常耗时。
LatentRAG（秘密握手）： 助手和图书管理员共享一个秘密代码。助手不写信，而是发送一个单一的、复杂的“信号”（一个潜在令牌），瞬间传达整个想法和搜索查询。图书管理员立即理解该信号并取来书。

它是如何工作的（魔法技巧）

1. “静默”模式思考
AI 不再生成诸如“我需要搜索 X"这样的词语，而是生成一个隐藏的数学表示（一个“潜在令牌”）。这发生在瞬间（一次“前向传递”），而不是花几秒钟敲出一句话。

结果： “思考”部分变得几乎瞬间完成。

2. 翻译器（潜在解码）
你可能会问：“如果 AI 没有写任何东西，我们怎么知道它在想什么？这难道不是一个黑盒吗？”
论文增加了一个巧妙的功能，称为并行潜在解码。

想象 AI 将它的秘密信号发送给图书管理员。
一个独立的、微小的“翻译”模块可以在搜索完成后，立即将该秘密信号翻译回英文单词。
酷点在于： 因为 AI 不必等待写出单词就能进行搜索，所以翻译器可以同时（并行地）解码整个过程中所有的想法，而不是一个接一个地解码。即使我们需要看到“想法”，系统依然保持快速。

3. 训练图书管理员
由于图书管理员（搜索引擎）通常期望收到书面查询，论文教导图书管理员直接理解这些“秘密信号”。他们使用一种特殊的训练方法，确保信号能指向正确的文档，就像书面查询一样。

结果：速度与智慧

作者在七个不同的困难问答数据集（如复杂的常识问答或多步骤逻辑谜题）上测试了这种方法。

准确性： LatentRAG 和那些缓慢、话多的智能体一样聪明。它以相同的比率获得正确答案。
速度： 它快了90%。
- 如果一个传统的“思考”智能体需要5 秒来回答一个难题，LatentRAG 大约只需0.5 秒。
- 它缩小了“超级聪明但缓慢”与“快速但简单”之间的差距。

总结

LatentRAG 就像是将一名侦探升级：从那种每发现一条线索就写日记条目的侦探，升级为使用心灵感应的侦探。他们依然能同样出色地解开谜团，但只需极短的时间，因为他们不再浪费时间写下想法。如果你真的需要看到日记，他们可以瞬间将心灵感应转化为文字，但核心工作是在快速、静默的区域完成的。

关键要点： 你不必为了获得复杂推理而牺牲速度。通过将“思考”从可见的文本转移到 AI 内部的隐藏数学中，我们获得了两全其美的效果。

技术摘要：LatentRAG

问题陈述

传统的检索增强生成（RAG）系统通常依赖单步检索过程，难以应对需要迭代推理的复杂问题。虽然**代理式 RAG（Agentic RAG）**通过利用大语言模型（LLM）作为搜索代理，迭代生成中间思维链和子查询来检索信息，从而解决了这一问题，但该方法引入了显著的延迟。

现有代理式 RAG 方法（如 Search-R1、AutoRefine）的主要瓶颈在于自然语言思维链和子查询的自回归、逐 token 生成。正如论文分析所示，这些生成阶段占据了总推理延迟的约 90%，使得代理式 RAG 比朴素单步 RAG 慢 15–20 倍。此外，显式生成长文本序列阻碍了高效并行化，并由于输出 token 的离散特性，妨碍了 LLM 与检索模型之间的端到端联合优化。

方法论：LatentRAG

作者提出了LatentRAG，这是一个将推理和检索从离散语言空间转移到连续潜在空间的框架。该模型不再为思维链和子查询生成显式的自然语言 token，而是操作“潜在 token"——即特殊占位符 token 的最后一层隐藏状态。

核心组件

潜在生成：
- LLM 被提示包含特殊 token（例如，用于思维链的 <think1>...<thinkm> 和用于子查询的 <query1>...<queryn>）。
- 在预填充（prefill）阶段，这些特殊 token 被并行处理。模型提取这些 token 的最后隐藏状态，作为潜在思维（ $H^\tau_t$ ）和潜在子查询（ $H^s_t$ ）token。
- 这使得模型能够在没有自回归文本生成带来的顺序开销的情况下分配内部计算。
潜在检索：
- 由于潜在 token 位于 LLM 的输出空间，一个轻量级的投影模块（ $Proj_{ret}$ ）弥合了其与检索模型输入空间之间的差距。
- 投影后的潜在子查询被输入到一个可训练稠密检索模型中以生成嵌入。
- 训练目标： 为了使潜在子查询嵌入与参考（冻结）自然语言子查询的检索行为对齐，且无需为每个中间步骤提供真实文档标注，作者引入了KL 散度损失。该损失最小化了由潜在子查询诱导的文档相似度分布与由参考自然语言子查询诱导的分布之间的散度。这使得 LLM 和检索模型能够实现完全可微的端到端联合优化。
并行潜在解码（可选）：
- 为了解决潜在推理的“黑盒”性质并确保透明度，该框架集成了并行解码机制。
- 投影模块将潜在 token 映射回 LLM 输入空间，使模型能够解码出相应的自然语言思维链和子查询。
- 关键在于，由于潜在 token 是在单次前向传递中生成的，后续不同步骤的思维链和子查询解码可以并行执行，与顺序自回归生成相比，显著降低了解码延迟。

主要贡献

LatentRAG 框架： 一种新颖的代理式 RAG 系统，完全在潜在空间内执行推理和检索，消除了为思维链和子查询进行显式逐 token 生成所带来的延迟开销。
潜在空间对齐： 一种基于 KL 散度的训练目标，将 LLM 的潜在子查询表示与预训练稠密检索模型对齐。这促进了端到端联合优化，并允许潜在 token 在中间步骤数据稀缺的情况下仍作为有效的检索查询。
并行解码机制： 一种将潜在 token 翻译回自然语言以增强透明度的方法。该机制支持跨多个推理步骤的并行解码，在效率与可解释性之间提供了权衡，同时相比显式方法保持了显著的速度优势。

实验结果

作者在七个基准数据集（NQ、TriviaQA、PopQA、HotpotQA、2Wiki、Musique、Bamboogle）上，使用各种检索模型和 LLM 规模评估了 LatentRAG。

性能： LatentRAG 实现了与最先进的显式代理式 RAG 方法（如 Search-R1、AutoRefine）相当的性能，相对性能差异通常在 5% 以内。
效率： 与显式代理式 RAG 基线相比，该方法将推理延迟降低了约90%。
- 平均而言，LatentRAG 将延迟从约 5,000 毫秒（Search-R1）降低至约 600 毫秒。
- 这将代理式 RAG 的延迟降低到了与传统单步 RAG（例如，约 400–500 毫秒）相当的水平。
可扩展性： 效率提升在不同模型规模下（3B 至 14B LLM 以及 0.6B 至 8B 检索模型）均成立。扩大 LLM 规模会因更长的解码序列而显著增加显式方法的延迟，而 LatentRAG 则保持了高效性。
消融研究： 研究表明，KL 散度检索目标优于余弦损失或 InfoNCE 损失。移除预训练检索模型或潜在解码损失会导致性能下降，证实了检索模型归纳偏置的必要性以及解码所提供的正则化作用。

意义与主张

论文声称，LatentRAG 成功弥合了多步代理式 RAG 的高性能与单步 RAG 的高效率之间的差距。通过将推理和检索移至潜在空间，该框架避免了自回归文本生成的计算低效性，同时保留了分解复杂问题的能力。

作者强调，虽然潜在推理已在纯生成任务中得到探索，但将其应用于代理式 RAG 引入了关于数据稀缺性和透明度的独特挑战。LatentRAG 通过提出联合优化策略和可选的并行解码机制解决了这些问题。这项工作暗示了从面向人类的基于文本的搜索引擎向面向代理的基于嵌入的搜索引擎的转变，为大语言模型时代的信息寻求代理提供了更高效的范式。作者谦逊地指出，他们目前的方法依赖于使用现有代理轨迹的监督微调（SFT），未来的工作可以探索强化学习以进一步优化检索策略。