💻 computer science

When Should Multi-Round RAG Stop? Structured Stopping Judgments and Retrieval Reduction in Search-R1

本文提出了一种将结构化充分性与差距判断框架应用于冻结的 Search-R1 流水线的方法，在 HotpotQA 上成功减少了 3.70% 的检索调用，而精确匹配准确率仅略微下降了 0.625 个百分点，同时明确指出这并不保证提高整体准确率或降低总推理成本。

原作者： Weimeng Luo

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Weimeng Luo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个正在尝试解决棘手谜题的智能机器人助手。为了得到答案，机器人可以向图书管理员寻求帮助。这位图书管理员是一个巨大的事实数据库。机器人有一个选择：要一本，读完它，然后猜测；或者要第二本、第三本，一直持续下去，直到它感到百分之百确定为止。这被称为“检索增强生成”，简称 RAG。这就像一个正在参加考试的学生，被允许使用教科书，但学生必须决定何时停止阅读并写下答案。

最大的问题在于知道何时停止。如果学生停止得太早，他们可能会错过关键事实而导致答错。如果他们在已经获得答案后继续阅读，则会浪费时间、精力和耐心。在人工智能的世界里，“时间”和“精力”意味着计算能力和金钱。因此，科学家们正试图教会 AI 助手一种“直觉”，让它们知道何时拥有足够的信息可以停止搜索。目标是找到那个甜点（sweet spot）：既能在节省资源的同时停止搜索，又不会牺牲答案的正确性。

论文的故事：教机器人学会适时收手

这篇论文通过一个特定的 AI 系统——Search-R1 来解决“何时停止”的问题。把 Search-R1 想象成一个非常聪明但有点过度热情的侦探。它有一种习惯，即使在已经找到解决方案后，仍会不断索要更多线索（检索文档）。研究人员想要看看是否能教会这个侦探更早地停止，且不降低其智力水平。

为了实现这一点，他们没有改变侦探的大脑或图书馆，而是增加了一个新角色：法官（Judge）。这位法官是一个较小的、专门化的 AI（一个 Qwen3.5-2B 模型），它的唯一工作就是观察侦探的工作，并说：“停！你已经够了！”或者“继续，你还漏掉了东西。”

实验：一项严格的测试
研究人员使用 1,000 个难题建立了一个非常严谨的实验。他们将这些问题进行了分组，以确保法官不会仅仅通过死记硬背答案来应对。

训练阶段： 他们在 900 个问题上训练了法官，使用了源自这些问题的 3,009 个特定状态（即侦探进度快照），以此向它展示何时侦探拥有足够信息以及何时没有的情况。
测试阶段： 他们锁定了法官的设置，并在剩余的 800 个问题（“验证”集，具体为索引 200–999）上对其进行测试，以观察它在处理未见过的案例时的表现。

结果：节省了时间，但也存在代价
结果既有喜讯，也有必要的警示。

好消息： 新策略奏效了！通过使用法官来决定何时停止，该系统比原始的 Search-R1 少进行了 77 次搜索调用。这意味着搜索量减少了 3.70%。侦探能够更早地停止并节省了资源。
准确性检查： 提前停止是否会让侦探出错？答案是“有一点，但不多”。原始系统大约在 44.88% 的情况下得到正确答案。带有法官的新系统得到正确答案的概率为 44.25%。这下降了 0.625 个百分点。
结论： 研究人员在开始前设定了一个规则：只有当准确率下降不超过 2 个百分点时，他们才会接受新系统。由于下降幅度仅为 0.625，因此该系统通过了测试。它成功地减少了搜索次数，同时保持了准确率在“大致保留”（即保持在安全范围内）的状态。

论文明确排除的情况
理解这篇论文没有声称什么至关重要，因为作者非常谨慎地避免夸大其词：

它并非“安全”的停止规则： 论文明确指出，这不是一个“安全停止规则”。在法官告诉侦探提前停止的 69 次情况中，有 27 次是“不安全”的。这意味着在这 27 次案例中，尽管最终答案有时因运气好而仍然正确，但侦探在实际获得足够信息之前就停止了。该系统并非毫无风险。
它并非总成本的胜利： 论文并未声称该系统整体上更便宜。法官本身也需要消耗计算能力来进行思考。研究人员并没有衡量通过减少搜索所节省的时间是否足以抵消法官思考所需的时间。他们只测量了搜索调用次数的下降。
它并非准确性的提升： 新系统并没有获得更好的答案；它只是在减少搜索的同时，得到的正确答案稍微少了一点。

底线
这篇论文表明，我们可以教会 AI 更早地停止搜索，从而节省约 3.7% 的搜索精力。然而，这伴随着一个权衡：系统在决定停止时会更容易犯错。研究人员证明，如果你愿意容忍不到 2 个百分点的微小准确率下降，那么这种权衡是可以接受的。但他们同时也警告说，这并不是一个完美的、无风险的解决方案。虽然“法官”擅长节省时间，但它并不完美，无法完全确定侦探何时真正准备好收手。这是向提高 AI 效率迈出的一步，但它还不是解决该问题的最终答案。

技术摘要：多轮 RAG 何时应当停止？

问题定义
多轮检索增强生成（RAG）系统（如 Search-R1）面临一个序列选择问题：即在推理展开过程中，如何确定何时停止检索证据。这不同于独立的分类任务，部署后的停止策略是由轨迹上的“首次阈值穿越”（first threshold crossing）决定的。因此，一次早期的假阳性（false positive）可能会抑制后续所有的正确状态，而过于保守的分类器则可能无法有效降低检索成本。现有方法（如 SIM-RAG、S2G-RAG）通常报告的是状态级得分或端到端平均值，无法充分解释为什么部署后的策略会成功或失败。本文旨在填补状态级排序质量与“首次穿越”决策这一系统级行为之间的鸿沟，并探讨在不违反预设准确率容差的前提下，最多可以减少多少检索成本。

研究方法
本研究将来自 S2G-RAG 的结构化充分性与差距判断机制（structured sufficiency-and-gap judgment mechanism）适配到了一个冻结的 Search-R1 流水线中。核心实验设计分为三个阶段：

审计上游系统： 作者使用了官方的 Search-R1 Qwen2.5-7B PPO v0.2 检查点，配备 E5 top-3 检索器，基于 Wiki-2018 语料库及四次搜索预算。推理器、检索器和搜索预算均保持冻结；唯一的干预是决定是否提前接受某个状态。
探索性可达性审计： 利用 200 个原生轨迹上的冻结且非干预的“仅答案”探测器（answer-only probe），作者估计了经验条件预言机（empirical conditional oracles）。这确定了在原生系统停止之前，正确答案已处于可达状态的频率，以及理论上可以在不改变最终答案的情况下移除多少次搜索调用。
判别器训练与评估：
- 训练： 使用由 900 个不相交的 HotpotQA 问题衍生的 3,009 个状态来训练一个 Qwen3.5-2B 判别器。该判别器输出一个包含布尔值 sufficient 字段和 gap_items 列表的结构化 JSON 模式。
- 验证与冻结： 使用分组验证集（100 个问题）来选择停止阈值。该阈值的选择目标是在满足最小 STOP 精确度为 0.90 的条件下最大化召回率。
- 确认性分析： 最终评估在保留的测试集（HotpotQA 1,000 个问题中的索引 200–999）上进行。该策略针对两个冻结标准进行评估：
  - 非劣效性（Non-inferiority）： 精确匹配（EM）损失必须不超过 2 个百分点（即 $\Delta$ EM > -0.02 的 95% 置信区间下限）。
  - 成本降低： 平均搜索调用次数必须减少（即 $\Delta$ search < 0 的 95% 置信区间上限）。

核心贡献

结构化判别机制的适配： 本文成功地将 S2G 式的结构化判别机制（预测充分性和缺失信息）适配到了 Search-R1 的状态接口，并在 Search-R1 状态上训练了一个特定的 Qwen3.5-2B 判别器。
轨迹感知公式化： 引入了一种将候选可达性、状态排序、首次穿越策略行为和系统结果分离的公式化方法。这强调了提高状态排序（平均精度 AP）并不自动保证系统性能的提升，如果阈值穿越过于激进的话。
受控机制阶梯： 研究展示了一个受控机制：二元监督虽然能提高平均精度，但可能损害系统性能；而结构化差距监督有助于减少过度停止，尽管它并未声称实现了系统级的优越性。

结果
在确认性测试集（800 个问题）上：

检索减少： 扩展后的 S2G 策略减少了 77 次检索调用（3.70%），使平均值从 2.60125 降至 2.50500。该减少量的 95% 置信区间为 $[-0.12000, -0.07375]$ ，排除了零。
准确率影响： 官方精确匹配（EM）从 0.44875（原生）下降到 0.44250（扩展后），损失为 0.625 个百分点。差异的 95% 置信区间为 $[-0.01250, 0]$ 。这满足了非劣效性标准（损失 < 2 个百分点）。
状态排序： 扩展后的判别器比结构化基准（Structured Base）提升了 0.03983 的 STOP 平均精度（AP）。
风险分析： 该策略产生了 69 次系统级早期停止。其中，42 次是“安全”的（冻结探测器可以正确回答），27 次是“不安全”的。所选的早期停止不安全比例为 39.13%。验证集上的精度为 0.9091（基于 11 个状态），但在确认性集上并未转移（精度降至 0.6216）。

意义与主张
本文声称，训练后的 S2G 式结构化判别器可以在预设容差内广泛保持答案准确性的同时，减少检索调用。具体而言：

结果表明，在 EM 损失小于 0.63 个百分点的条件下，可以实现约 3.7% 的检索减少。
本文明确并未声称该策略是一个“安全停止规则”。高比例的不安全早期停止（39.13%）和弱校准性（Brier 分数 0.2952）表明该策略并非经过风险认证的。
该结果并不意味着准确率提高、准确率不变或总推理成本降低（因为没有将判别器自身的计算成本与检索节省量进行归一化处理）。
研究强调，“安全停止”（被接受停止中的条件误差较低）与“准确率保持”（所有问题的平均质量）是不同的目标，目前的策略实现了后者，而非前者。

作者总结道，未来的工作必须报告一个由四部分组成的评估体系：候选可达性、状态排序、首次穿越策略行为，以及配对的质量-成本-风险指标，并指出没有任何单一视角是充分的。

技术摘要：多轮 RAG 何时应当停止？

类似论文