💬 NLP

When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models

本文介绍了 ReaLM-Retrieve，这是一个通过在大推理模型的推理步骤层面检测知识缺口来优化检索时机的框架，与标准和固定间隔方法相比，该框架显著提高了答案准确性和检索效率，同时减少了不必要的检索调用。

原作者： Dongxin Guo, Jikun Wu, Siu Ming Yiu

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Dongxin Guo, Jikun Wu, Siu Ming Yiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和日常类比对论文《推理时何时检索：面向大型推理模型的自适应检索》的解释。

核心问题：“图书馆访问”的不匹配

想象你是一位才华横溢的侦探（即大型推理模型），正在试图解开一个复杂的谜团。你有一个笔记本，用来一步步写下你的思路。有时，你会因为不知道某个具体事实而卡住，比如证人的名字或事件的日期。

旧方法（标准 RAG）：
目前，大多数系统就像一位图书管理员，在你开始在笔记本上书写之前，就递给你一摞书。你读完这些书，然后尝试解决整个谜团。

缺陷： 如果你在长达 20 页的思考过程中途卡住，因为忘记了某个细节，你就无法回头去索取新的书籍。你只能依赖最初获得的信息，即使这些信息不足以支撑后续的步骤。

新方法（ReaLM-Retrieve）：
这篇论文介绍了一个名为 ReaLM-Retrieve 的系统。侦探不再一次性拿到所有书籍，而是被允许在书写笔记的中途前往图书馆，但仅限于真正需要的时候。

工作原理：三大“魔法工具”

研究人员构建了一个包含三个主要部分的系统，以实现这种“思考中途的图书馆之旅”完美运作。

1. “信心检查”（步骤级不确定性）

想象侦探在笔记本的每一段之后都会暂停。他们会问自己：“我真的是知道这个，还是只是在猜测？”

旧方法要么检查每一个单词（太频繁），要么检查每一个句子（太僵化）。
ReaLM-Retrieve 在逻辑步骤层面进行检查。它会问：“我刚刚是否完成了一个完整的想法？我对接下来的逻辑跳跃感到不确定吗？”
如果侦探感觉到“知识缺口”（不确定性），系统就会发出标记。这就像汽车的“检查引擎”灯，只有当汽车真正需要燃油时才会亮起，而不是仅仅因为引擎在运转就亮起。

2. “智能经理”（学习到的干预策略）

仅仅因为侦探感到不确定，并不意味着他们应该每次都跑去图书馆。有时他们只是在深入思考，而不是遗漏了事实。

这个系统就像一位坐在侦探旁边的智能经理。
经理查看“信心检查”结果和案件历史。它会决定：“好吧，我们确实需要现在就查阅那个具体事实，”或者“不，继续思考，你会想出来的。”
它还能帮助侦探向图书管理员（搜索查询）提出完美的问题，确保侦探拿到的是恰好正确的那一页，而不是一整本无关的信息。

3. “快速配送”（高效集成）

去图书馆需要时间。如果侦探每次需要事实时都停下来花 5 分钟，整个过程就会变得缓慢。

研究人员建立了一个高速配送服务。
他们不是递给侦探一整本书，而是只给他们确切需要的段落（压缩信息）。
他们还使用了一种“推测性”技巧：如果侦探接下来很可能需要关于“巴黎”的事实，系统就会在侦探仍在写当前句子时提前抓取该信息。如果需要，它就已经瞬间到位了。
结果： 该系统获取信息的速度比旧方法快 3.2 倍。

结果：更聪明、更快速、更经济

团队在三个需要连接多个线索才能找到答案的困难谜题游戏（MuSiQue、HotpotQA 和 2WikiMultiHopQA）上测试了该系统。

更准确的答案： 与标准的“一次性获取所有书籍”方法相比，该系统获得正确答案的频率高出 10%。
更少的往返： 它前往图书馆的次数减少了 47%。它不像旧方法（如 IRCoT）那样每隔几句就去查一次图书馆，而只在绝对必要时才去。
最佳平衡点： 在最难的谜题（需要 4 步逻辑推理）上，新方法表现显著更好。它证明了次数更少但时机恰当的图书馆之旅优于频繁且随机的往返。

论文中的真实案例

论文给出了一个问题的例子：“柏林墙倒塌的那一年，获得最佳影片奖的电影是由谁导演的？”

侦探的思路：
1. “柏林墙倒塌于 1989 年。”（有信心，无需去图书馆）。
2. "1989 年的最佳影片是《为黛西小姐开车》。”（有信心，无需去图书馆）。
3. “是谁导演了它？”（在这里，侦探感觉到了缺口。系统说：去图书馆）。
4. 系统瞬间获取了导演的名字。
5. 侦探完成答案。
旧方法： 会在最开始就获取导演的名字，尽管侦探直到第 3 步才需要它，这不仅浪费了时间，还可能因为过早提供过多信息而让侦探感到困惑。

总结

ReaLM-Retrieve 教导 AI 模型在恰好卡住时停下来寻求帮助，而不是在开始之前就寻求帮助，或者过于频繁地寻求帮助。这就像拥有一个聪明的助手，知道确切何时打开百科全书，从而节省时间并获得更好的结果。

以下是郭、吴和尤所著论文《推理时何时检索：大推理模型的自适应检索》的详细技术总结。

1. 问题陈述

本文探讨了大型推理模型（LRMs，如 DeepSeek-R1 和 OpenAI o1）与传统检索增强生成（RAG）系统之间存在的根本性时间错位。

不匹配之处： 标准 RAG 遵循“先检索后生成”的范式，在推理开始之前注入上下文。然而，LRMs 会生成包含多步推理、自我验证和回溯的长思维链（12,000–25,000 个 token）。知识缺口往往在推理中途出现，无法在查询阶段被预见。
现有迭代方法的局限性： 当前的迭代检索方法（如 IRCoT、FLARE）不适合 LRM，原因如下：
1. 粒度不匹配： 它们在 token 或句子级别触发检索，而 LRM 在推理步骤级别（跨越多个句子的逻辑单元）进行操作。
2. 信号不可用： 依赖 token 概率（FLARE）或内部注意力状态（DRAGIN）的方法在面对不暴露这些内部信息的“仅完成”模型（如 o1）时失效。
3. 效率崩溃： 固定间隔检索（例如每句话后检索）对于长链而言代价过高，会显著增加延迟和 token 开销。

2. 方法论：ReaLM-Retrieve

作者提出了 ReaLM-Retrieve，这是一个推理感知框架，在推理链中动态集成检索。它包含三个核心组件：

A. 推理步骤分割

系统不再进行句子级别的分割，而是识别逻辑推理步骤。

机制： 一个轻量级的 3 层 Transformer 分类器基于话语标记（“因此”、“然而”）、逻辑连接词、主题转换（通过嵌入相似度）和标点符号来检测步骤边界。
训练： 在来自 DeepSeek-R1 的人工标注轨迹上进行训练，在识别边界方面达到了 94.2% 的 F1 分数。这使得系统能够将推理链视为一系列离散的逻辑单元，而非 token 流。

B. 步骤级不确定性检测 (RSUS)

系统计算推理步骤不确定性分数 (RSUS) 以确定某一步骤是否需要外部知识。

综合分数： $RSUS(r_i) = \alpha \cdot U_{verb} + \beta \cdot U_{ent} + \gamma \cdot U_{cons}$ $R S U S (r_{i}) = α \cdot U_{v er b} + β \cdot U_{e n t} + γ \cdot U_{co n s}$
- $U_{verb}$ （语言化不确定性）： 提示模型对其置信度进行评分（0–100）。对于仅完成模型，一个学习到的 MLP 代理基于表面特征和实体数量来估算该分数。
- $U_{ent}$ （实体熵）： 衡量检索语料库中命名实体的歧义性或稀疏覆盖度。高熵表明模型缺乏关于特定实体的知识。
- $U_{cons}$ （一致性）： 衡量当前步骤的多个采样续写之间的一致性。
效率： 该计算仅增加约 8% 的开销，避免了语义熵或自一致性采样的巨大成本。

C. 学习到的干预策略与高效集成

策略 ( $\pi$ )： 一个上下文多臂老虎机模型决定是否检索、如何构建查询以及如何整合证据。它通过 REINFORCE 进行训练，以最大化答案准确率，同时惩罚检索成本（延迟和调用次数）。
查询构建： 策略生成针对信息需求的具体查询（例如，"[实体] 与 [概念] 的关系是什么？”），而不仅仅是重复当前步骤。
效率优化：
- 隐式压缩： 仅保留检索文档中超过重要性阈值的句子，将上下文扩展减少了 73%。
- 推测性缓存： 并行预取可能下一步查询的文档；如果猜测正确（37% 的命中率），则消除检索延迟。
- KV 缓存保留： 对于开放权重模型，保留未更改上下文部分的缓存键值状态，将首 token 时间减少了 2.1 倍。

3. 主要贡献

步骤级粒度： 将检索触发器从 token/句子级别转移到推理步骤级别，与 LRM 的逻辑结构保持一致。
黑盒兼容的不确定性： 引入了 RSUS，这是一种适用于仅完成模型（如 o1）的方法，无需访问 token 概率或内部注意力状态。
效率优化的集成： 通过推测性缓存和上下文压缩，将每次检索的开销降低了3.2 倍（与朴素集成相比），实现了实际部署。

4. 实验结果

在 MuSiQue、HotpotQA 和 2WikiMultiHopQA 上使用 DeepSeek-R1 和 QwQ 模型进行了评估。

准确率： ReaLM-Retrieve 在 F1 分数上比标准 RAG 平均提高了 10.1% 的绝对值，比最强的先前方法（ReARTeR）提高了 4.6%。
- 在 MuSiQue（2–4 跳推理）上，其 F1 分数达到 71.2%（IRCoT 为 65.4%）。
效率：
- 更少调用： 与固定间隔方法相比，检索调用减少了 47%（在 MuSiQue 上，IRCoT 为 3.4 次调用，而 ReaLM-Retrieve 为 1.8 次）。
- 延迟： 端到端延迟比 IRCoT 低 1.33 倍，比朴素交错方式低 1.50 倍。
- 成本： 由于推理链更短（证据能更快地解决不确定性），输出 token 成本降低了 16%。
检索质量： Recall@5 提升至 81.3%（IRCoT 为 72.6%），证明该系统在正确的时间检索到了更好的证据。
泛化性： 该策略很好地泛化到不同的模型架构（如 QwQ），并在跨基准测试（在 HotpotQA 上训练，在 MuSiQue 上测试）中转移，性能下降极小。

5. 意义

范式转变： 本文证明了**“更少、时机更佳的检索”**优于频繁、固定间隔的检索。这为高推理强度任务中的准确率 - 效率权衡确立了新的帕累托前沿。
可扩展性： 通过在推理步骤级别运行并支持仅完成模型，该框架适用于目前许多 RAG 研究工作无法触及的最强大的专有 LLM（如 o1）。
系统设计： 它为将检索集成到长视野推理任务中提供了蓝图，将 RAG 从静态的预处理步骤转变为动态的、自适应的推理伙伴。

总之，ReaLM-Retrieve 解决了 LRM-RAG 集成中的关键时机错位问题，在显著降低计算成本的同时实现了最先进的准确率。