💻 computer science

Adaptive Stopping for Multi-Turn LLM Reasoning

该论文提出了首个适用于多轮推理的共形预测框架 MiCP，通过在不同轮次间分配误差预算，使大语言模型能够在自适应检索增强生成和 ReAct 等场景中实现早期停止，同时保证最终预测的覆盖有效性并降低推理成本。

原作者： Xiaofan Zhou, Huy Nguyen, Bo Yu, Chenxi Liu, Lu Cheng

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaofan Zhou, Huy Nguyen, Bo Yu, Chenxi Liu, Lu Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 MiCP 的新方法，旨在解决大型语言模型（LLM）在“多轮对话”或“多步推理”中何时该停下来的难题。

为了让你更容易理解，我们可以把整个系统想象成一个**“侦探破案”**的过程。

1. 核心难题：侦探什么时候该收队？

想象你雇佣了一位超级聪明的侦探（也就是 AI 模型）来帮你破案（回答问题）。

单轮模式：侦探看一眼现场，马上给你一个答案。但这往往不够准确，特别是对于复杂的案件。
多轮模式（现在的趋势）：侦探会先查资料、问证人、去现场勘查，然后思考，再查资料……如此循环。
- 问题出在哪？ 侦探什么时候该说“案子破了，我有答案了”？
  - 如果停得太早：证据不足，侦探可能抓错人（回答错误）。
  - 如果停得太晚：侦探还在无休止地查资料，浪费你的时间和金钱（计算成本高、延迟高），甚至可能因为查了太多无关信息而把自己绕晕（引入错误）。

以前的方法就像让侦探凭“感觉”或者“数数”（比如：最多查 3 次资料）来决定何时停止。但这没有法律保证，万一侦探感觉错了怎么办？

2. 解决方案：MiCP —— 给侦探配一位“严谨的法官”

这篇论文提出的 MiCP（多轮语言模型与共形预测），就像给侦探配了一位拥有“数学魔法”的法官。这位法官的核心任务是：确保侦探给出的答案集合里，一定包含真相，同时尽量让侦探少跑冤枉路。

这个“法官”是怎么工作的？

第一步：给每一轮“预算”（Error Budget Allocation）
想象侦探的总预算是 100 块钱（代表允许出错的概率，比如 5%）。

以前的做法：不管案子简单还是复杂，每一轮都花一样的钱。
MiCP 的做法：法官很聪明，他会动态分配预算。
- 如果是简单的案子（比如“巴黎在哪”），侦探第一轮就查到了，法官就允许侦探立刻停手，把剩下的预算省下来。
- 如果是复杂的案子（比如“某位科学家在特定年份的某个会议上的演讲主题”），第一轮查不到，法官就批准侦探继续查第二轮、第三轮，把预算留给后面更难的步骤。
- 比喻：就像你给孩子的零花钱，如果是买面包（简单任务），给 5 块就够了；如果是买昂贵的玩具（复杂任务），允许他多花点，但总账不能超支。

第二步：过滤“垃圾情报”（Retrieval Filtering）
侦探在查资料时，可能会查到一堆无关紧要的报纸（无关文档）。

MiCP 会在每一轮都设一个**“质量门槛”**。如果查到的资料不够靠谱（相关性分数太低），法官直接把它扔掉，不让侦探看。这保证了侦探的脑子不会被垃圾信息污染。

第三步：决定“停还是走”（Adaptive Stopping）
每一轮结束后，法官会检查侦探的“信心指数”：

如果侦探收集到的线索非常一致，且信心超过了**“安全线”**，法官就喊停：“够了，答案就在这，别查了！”
如果侦探查了一圈还是很迷茫，法官会让他继续查下一轮。
最厉害的一点：如果查完了所有轮次，侦探还是没把握，法官会直接说：“这个案子太难了，我们无法回答（Can't Answer）”。这比瞎猜一个错误答案要好得多，因为它保证了诚实。

3. 为什么这很重要？（实际效果）

论文通过实验证明，MiCP 就像给侦探装上了**“智能导航”**：

保证安全（覆盖率保证）：无论侦探查几轮，只要他给出了答案（或者承认不会），法官就能从数学上保证：正确答案一定在侦探给出的那个“候选名单”里。这就像法官盖了个章：“此结果 95% 可信”。
省钱省力（效率提升）：对于简单问题，侦探不需要跑完所有轮次，提前下班，大大减少了时间和金钱成本。
更精准：通过过滤掉垃圾情报，侦探的推理过程更干净，答案更准。

4. 总结

简单来说，这篇论文发明了一种**“智能刹车系统”**。

以前的 AI 侦探要么刹不住车（查太多，浪费钱），要么刹太早（查太少，答错）。
现在的 MiCP 系统，就像一位经验丰富的老交警，他手里拿着精准的地图和预算表：

路好走（问题简单）？立刻停车，节省时间。
路难走（问题复杂）？继续开，直到找到路。
实在找不到路？直接告诉你“此路不通”，绝不乱指方向。

这种方法特别适合用在医疗、金融等不能出错的领域，因为它既保证了**“绝不乱说”（有数学保证），又保证了“不瞎折腾”**（效率高）。

1. 研究背景与问题 (Problem)

核心挑战：
随着大语言模型（LLM）在自适应检索增强生成（Adaptive RAG）和 ReAct 代理等场景中的应用，模型通过多轮交互（检索、推理、行动）来回答复杂问题。然而，现有的多轮系统面临一个关键问题：何时停止推理？

过早停止： 可能导致信息收集不足，给出错误答案。
过晚停止： 增加延迟、计算成本，甚至因引入更多噪声检索内容而降低准确率。
现有方法的局限： 目前主要依赖启发式规则（如置信度阈值、固定轮次预算），缺乏形式化的统计保证，无法确保最终预测集包含正确答案的概率满足用户设定的置信度。

现有 CP 方法的不足：
共形预测（Conformal Prediction, CP）能为 LLM 输出提供有限样本的覆盖保证（Coverage Guarantee），但现有的 LLM-CP 方法仅适用于单轮（Single-shot） 输出。直接将其应用于多轮管道存在以下问题：

无法保证在所有可能的停止时间下的整体覆盖性。
随着轮次增加，采样成本呈组合爆炸式增长。
缺乏在有限计算预算下处理“无法回答”（Abstention）的机制。

2. 方法论 (Methodology)

作者提出了 MiCP，这是首个针对多轮 LLM 推理的共形预测框架。MiCP 通过三个核心组件协同工作：

2.1 整体流程

MiCP 将校准分为两个阶段：

检索过滤（Retrieval Filtering）： 在每一轮中过滤掉不相关的检索文档。
自适应早期停止与预测集构建（Adaptive Early Stopping & Prediction Set Construction）： 根据每轮的置信度决定是否停止，并构建最终的预测集。

2.2 关键技术组件

A. 检索阈值校准 (Retrieval Threshold Calibration)

问题： 多轮检索中，无关文档会累积并污染上下文。
方法： 定义“乐观相关性分数” $s^*(p, x_i)$ 为黄金文档 $p$ 在所有轮次中出现的最大相关性分数。
机制： 利用校准集计算共形阈值 $\hat{q}_{ret}$ 。在测试时，仅保留相关性分数高于该阈值的文档。
保证： 确保至少 $1-\alpha_{ret}$ 比例的可检索黄金文档被保留，同时过滤掉低相关性证据。

B. 序列归一化熵校准与误差预算分配 (Sequential NE Calibration with Error Budget Allocation)

核心创新： 将总误差预算 $\alpha$ 动态分配给每一轮，而不是使用全局统一的阈值。
原理： 简单问题可能在早期轮次即可解决，而复杂问题需要更多轮次。统一预算会导致早期浪费或后期不足。
公式： 分配每轮预算 $\alpha_t$ $α_{t}$ ，满足 $\sum (1 - c_{ans}^t) \cdot \alpha_t \le (1 - c_{ans}^{final}) \cdot \alpha$ $\sum (1 - c_{an s}^{t}) \cdot α_{t} \leq (1 - c_{an s}^{f ina l}) \cdot α$ 。
- $c_{ans}^t$ 表示在第 $t$ 轮未被早期停止且可回答的问题比例。
- 该机制允许模型在证据充足时（早期）快速停止，同时为困难问题（后期）保留误差预算。
停止决策： 使用 LLM 采样答案分布的归一化熵 (Normalized Entropy, NE) 作为不确定性信号。当某轮的 NE 分数低于该轮特定的共形阈值 $\hat{q}_t$ 时，模型停止。

C. 预测集构建与“无法回答”机制

构建： 最终预测集由所有累积的高置信度答案簇组成。
拒绝机制： 如果模型跑完所有轮次仍未达到置信度，或者在预算内无法找到可靠答案，预测集将包含 "Can't Answer" 标签。
保证： 确保 $P(\text{正确答案} \in C(x) \text{ 或 } \text{Can't Answer} \in C(x)) \ge 1-\alpha$ 。

D. 复合评估指标 (Composite Evaluation Metric)

提出新指标 $L$ ，联合衡量覆盖有效性与回答效率。
公式包含平均轮数 $\bar{T}$ 和正确/错误回答的加权比例，旨在奖励“用更少轮次正确回答”的方法，并惩罚不必要的检索步骤。

3. 主要贡献 (Key Contributions)

首个多轮 CP 框架： 提出了 MiCP，首次将共形预测扩展到多轮推理场景，在允许早期停止的同时提供严格的整体覆盖保证。
多轮误差分配策略： 设计了将总误差预算分配到不同轮次的策略，使模型能根据问题难度自适应决策（停止或继续），同时保持端到端的覆盖保证。
新的评估指标： 引入联合衡量覆盖有效性和效率的指标，专门用于评估多轮推理系统的停止策略。
广泛的实验验证： 在自适应 RAG 和 ReAct 两种范式下，于 5 个问答基准（包括单跳和多跳任务）上进行了验证。

4. 实验结果 (Results)

实验使用了 Gemma-2-9B-IT, Qwen3.5-9B, 和 GPT-4o-mini 三个模型，在 Natural Questions, TriviaQA, HotpotQA, MuSiQue, 2WikiMultiHopQA 等数据集上进行测试。

覆盖性保证 (RQ1)：
- 检索阶段： 黄金文档保留率紧密跟踪 $1-\alpha$ 目标，证明检索过滤有效。
- 预测阶段： 所有模型在所有数据集和误差率下，实际覆盖率均达到或超过 $1-\alpha$ 的理论保证。
效率提升 (RQ2)：
- 轮数减少： MiCP 显著减少了平均推理轮数（例如在 2WikiMHQA 上，从 3.0 轮降至约 1.7-2.5 轮）。
- 预测集缩小： 通过过滤掉后期轮次中可能包含噪声的低置信度答案，显著减小了预测集的大小（Prediction Set Size）。
- 成本降低： 减少了不必要的检索和推理步骤，降低了推理成本。
优化策略 (RQ3)：
- 通过网格搜索优化误差预算分配，进一步提升了复合指标 $L$ 的表现。
- 即使在未针对特定模型微调的情况下，MiCP 也表现出比无早期停止（No Early Stop）基线更优的效率和准确性平衡。

5. 意义与影响 (Significance)

理论突破： 解决了多轮 LLM 系统中“何时停止”缺乏形式化保证的难题，将共形预测从静态输出扩展到动态决策过程。
实际应用价值：
- 高可靠性领域： 在金融、医疗等高风险领域，MiCP 提供了可量化的置信度保证，避免盲目决策。
- 成本效益： 通过自适应停止，显著降低了 LLM 应用的 Token 消耗和延迟，使其更适合大规模部署。
- 通用性： 框架不仅适用于 RAG，也适用于 ReAct 等需要工具调用的代理系统，具有广泛的适用性。

总结： MiCP 通过创新的误差预算分配机制和分阶段校准，成功实现了多轮 LLM 推理中**效率（少轮次、低成本）与可靠性（形式化覆盖保证）**的平衡，为构建更智能、更安全的下一代 AI 代理奠定了重要基础。