📊 statistics

Knowing When to Quit: A Principled Framework for Dynamic Abstention in LLM Reasoning

该论文提出了一种基于正则化强化学习的动态中止框架，通过在中途生成时评估价值函数并适时终止低效推理，在数学推理和毒性规避任务中实现了计算效率与选择准确率的显著提升。

原作者： Hen Davidov, Nachshon Cohen, Oren Kalinsky, Yaron Fairstein, Guy Kushilevitz, Ram Yazdi, Patrick Rebeschini

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Hen Davidov, Nachshon Cohen, Oren Kalinsky, Yaron Fairstein, Guy Kushilevitz, Ram Yazdi, Patrick Rebeschini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章提出了一种让大型语言模型（LLM）学会"及时止损"的新方法。

想象一下，你正在让一个非常聪明但有点“话痨”的助手帮你解一道复杂的数学题。这个助手一旦开始解题，就会滔滔不绝地写满几页纸。

问题在于：有时候，他在写第一行时就已经想错了，但他停不下来，继续写了三页纸，最后得出了一个错误的答案。这不仅浪费了你的时间（计算资源），还给了你一个错误的答案。
现有的方法：要么让他一开始就猜这道题能不能做（输入处理），要么让他写完整个答案后再检查（输出处理）。但这就像要么在起跑线就放弃比赛，要么跑完全程再决定要不要成绩，都不够灵活。

这篇论文提出的"动态放弃机制"（Dynamic Abstention），就像是给这位助手配了一位聪明的“监工”。

核心比喻：聪明的“监工”与“止损线”

1. 以前的做法：要么全有，要么全无

输入处理：就像在助手还没动笔前，你就问：“你觉得你能做对吗？”如果助手犹豫，你就直接让他别做了。但这很粗糙，因为有时候助手虽然开头犹豫，但后面能灵光一闪做对；有时候他开头很自信，后面却掉进坑里。
输出处理：就像让助手把整篇论文写完，你再看一眼。如果错了，你不仅没得到答案，还白白浪费了他写几千字的时间。

2. 新做法：动态的“监工”

这篇论文给模型加了一个实时监工（Value Function Estimator）。这个监工不看题目本身，也不等答案写完，而是盯着助手写的每一个字。

工作原理：
每写一个词，监工就会在心里算一笔账：“根据目前写的这些内容，这道题最后做对的概率还有多少？”
- 如果概率很高，监工就喊：“继续写！”
- 如果概率掉到了某个警戒线（Threshold）以下，监工立刻喊："停！别写了！"（这就是“放弃”或 Abstention）。
为什么要停？
因为继续写下去，不仅大概率是错的，而且是在浪费算力（就像在一条死胡同里继续挖土）。与其浪费资源得到一个错误答案，不如直接承认“这道题我暂时不会”，然后去求助更厉害的人（人类专家或更强的模型），或者直接跳过。

这个方法的三大亮点

1. 理论上的“最优解”

作者用数学证明了：只要这个“监工”足够聪明（能准确预测成功率），这种随时喊停的策略，永远比“硬着头皮写完”或者“只在固定位置（比如写了 20 个字）才检查”的策略要好。

比喻：就像在迷宫里，如果你发现脚下的路通向死胡同，立刻掉头（动态放弃）永远比走到迷宫尽头才发现走错了（输出处理），或者在迷宫入口就盲目放弃（输入处理）要高明得多。

2. 像“止损线”一样控制成本

你可以设定这个“警戒线”的高低：

警戒线设得很高：只要有一点点不确定就喊停。结果是：你几乎不会得到错误答案（准确率极高），但你会放弃很多本来能做对的题（放弃率高）。
警戒线设得很低：只有非常确定做不对才喊停。结果是：你会得到很多答案，但其中混着一些错误。
好处：用户可以根据需要，在“省钱（省算力）”和“保质量（高准确率）”之间自由滑动调节。

3. 实验效果惊人

作者在数学题（如奥数题）和毒性内容检测上做了测试。

结果：在那些很难的奥数题上，普通模型的正确率只有 16%。用了这个“动态监工”后，如果愿意放弃 90% 的难题，剩下的 10% 答案的正确率竟然飙升到了64%！
对比：其他方法在同样放弃 90% 的情况下，正确率只有 34% 左右。这就像是一个原本只能考 16 分的学生，在学会“及时放弃难题”后，剩下的题目几乎全对，成绩直接翻倍。

总结：为什么这很重要？

这就好比给 AI 装上了自我反思和成本控制的开关。

省钱：不再浪费算力去生成那些注定错误的长篇大论。
更可靠：在医疗、法律等高风险领域，AI 如果不确定，与其胡编乱造，不如直接说“我不知道，请找专家”。这种“知之为知之，不知为不知”的能力，比盲目自信更重要。
灵活：它不是死板的规则，而是根据每一道题的实时情况动态决定。

简单来说，这篇论文教 AI 学会了在错误的道路上及时刹车，把资源留给真正值得解决的问题。这不仅让 AI 变得更聪明，也让它变得更“懂事”和“经济”。

这篇论文提出了一种名为动态值阈值法（Dynamic Value-Thresholding）的框架，用于在大语言模型（LLM）推理过程中进行动态中止（Dynamic Abstention）。该方法旨在解决 LLM 在生成链式思维（Chain-of-Thought, CoT）推理时，因生成长而错误的回答所导致的计算资源浪费问题。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

计算浪费与错误生成：LLM 在进行复杂推理（如数学解题、代码生成）时，往往会产生冗长的推理过程。然而，许多推理路径最终会导致错误的结论。生成这些错误路径不仅浪费了计算资源（延迟和成本），还向用户提供了错误信息。
现有方法的局限性：
- 输入处理（Input Processing）：仅在提示词（Prompt）阶段判断是否中止。虽然节省计算，但无法捕捉生成过程中出现的错误路径，准确率较低。
- 输出处理（Output Processing）：在完整生成后判断是否接受。虽然准确，但无法节省生成过程中的计算成本。
- 固定位置中止（Fixed-Position Abstention）：在生成过程中的某个固定 Token 位置（如第 $k$ 个词）进行判断。这种方法缺乏灵活性，因为不同问题的“失败点”出现的时间各不相同。
核心挑战：如何在推理过程中实时判断当前路径是否“无望”，并在不牺牲最终答案质量的前提下尽早终止生成。

2. 方法论 (Methodology)

作者将文本生成建模为一个马尔可夫决策过程（MDP），并引入“中止”作为一个显式的动作。

2.1 形式化框架

MDP 建模：
- 状态： $(x, y_{1:t})$ ，即提示词 $x$ 和当前生成的前缀 $y_{1:t}$ 。
- 动作空间：词汇表 $V$ 加上一个特殊的中止动作 $\perp$ 。
- 奖励函数：
  - 对于生成完整且正确的答案，奖励为 1（稀疏奖励）。
  - 对于生成中止动作 $\perp$ ，给予一个固定的中止奖励 $r_\perp$ （代表回退机制的效用，如转交人类专家或更强大的模型）。
  - 中间步骤奖励为 0。
- 目标：最大化期望总奖励 $J_\beta(\pi)$ ，其中包含 KL 正则化项以防止偏离参考策略。

2.2 动态值阈值规则 (Dynamic Value-Thresholding)

核心思想：在每一个 Token 生成位置 $t$ ，计算当前状态的值函数 $V_\beta(x, y_{1:t})$ ，即从当前状态开始继续生成所能获得的期望未来奖励。
决策规则：
- 如果 $V_\beta(x, y_{1:t}) < r_\perp$ ，则立即执行中止动作 $\perp$ 。
- 否则，继续按照策略 $\pi$ 生成下一个 Token。
理论依据：
- 在稀疏奖励设置下（ $\beta=0$ ），值函数 $V_0$ 等价于当前前缀下最终答案正确的条件概率。
- 该规则在理论上被证明优于任何不进行中止的策略，也优于任何在固定位置进行中止的策略（只要低价值状态无法在固定位置前恢复）。
- 参数 $r_\perp$ 允许实践者直接控制准确率与计算节省之间的权衡： $r_\perp$ 越高，中止率越高，计算节省越多，但保留的答案越少；反之亦然。

2.3 值函数估计 (Value Approximation)

由于真实的值函数未知，论文提出了一种高效的估计方法：

探针（Probe）：在 LLM 的隐藏状态上训练一个轻量级的两层 MLP。
训练目标：使用**二元交叉熵（Binary Cross-Entropy）**损失函数。
- 对于非终止状态，预测该前缀最终导致正确答案的概率。
- 利用已完成轨迹的标签（正确/错误）作为监督信号，对所有非终止位置进行并行训练。
优势：探针参数量极小（约 $10^4$ 参数），推理开销可忽略不计，且能捕捉到模型内部关于最终正确性的信号。

3. 主要贡献 (Key Contributions)

理论框架：首次将 LLM 的动态中止问题形式化为正则化强化学习问题，并推导出了动态值阈值规则作为最优策略的必要条件。
理论保证：
- 支配性（Dominance）：证明了在理想值函数下，动态中止策略严格优于不中止策略和固定位置中止策略。
- 最优性：在基础策略本身是最优且无 KL 正则化的情况下，动态值阈值策略在所有包含中止动作的策略中是最优的。
- 改进界限：给出了性能改进的上界，表明改进幅度与中止率和值函数的 Lipschitz 连续性相关。
高效实现：提出了一种基于隐藏状态探针的值函数估计方法，仅需极小的额外计算成本即可实现动态决策。
实证验证：在数学推理（GSM8K, OlympiadBench）和毒性避免（RealToxicityPrompts）任务上进行了广泛实验，验证了理论预测。

4. 实验结果 (Results)

实验在 Qwen2.5-7B 和 Phi-3-mini 模型上进行，对比了多种基线（输入处理、固定位置中止、LoRA 中止等）。

选择性准确率（Selective Accuracy）：
- 动态值阈值法在所有中止率（Abstention Rate）下均取得了最高的选择性准确率。
- 难点任务表现显著：在 OlympiadBench（高难度数学题）上，当 Phi-3 基线准确率仅为 16% 时，动态中止在 90% 中止率下将选择性准确率提升至 64%（基线方法仅约 34%）。Qwen 模型在同样条件下从 43% 提升至 91%。
计算效率：
- 动态中止在大部分中止率下能保留输入处理方法的计算节省优势。
- 即使在低中止率下，中止决策也通常发生在生成的前一半（平均在 16-34 个 Token 处），有效避免了长路径的浪费。
泛化性与鲁棒性：
- 跨数据集迁移：在一个数据集上训练的探针，在另一个数据集上零样本（Zero-shot）测试时，性能依然优于所有基线，表明探针学到了通用的推理质量特征。
- 估计误差鲁棒性：即使值函数估计存在噪声或校准偏差，只要排序关系保持，选择性准确率依然保持稳定。

5. 意义与影响 (Significance)

效率与成本的平衡：该方法提供了一种 principled（有原则的）方式，在推理过程中动态分配计算资源，显著降低了 LLM 推理的能耗和成本，同时提高了输出质量。
可靠性提升：通过让模型在不确定时主动“放弃”并转交人类或更强模型，减少了错误信息的传播，对于医疗、法律、金融等高风险领域的应用至关重要。
理论指导实践：论文不仅提供了算法，还建立了严格的理论框架，解释了为什么动态监测比静态检查更有效，为未来的自适应推理系统奠定了理论基础。
可扩展性：该方法不仅适用于二元正确性判断，理论上也可扩展至连续奖励（如基于人类反馈的偏好模型），具有广泛的适用前景。

总结：这篇论文通过引入强化学习视角和动态值函数估计，成功解决了 LLM 推理中“何时停止”的关键问题。它证明了在生成过程中实时评估“成功概率”并据此动态中止，能够显著优于现有的静态或固定位置中止方法，实现了计算效率与模型准确性的双赢。