🤖 AI

OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stopping

该论文介绍了 OS-Pruner，这是一个轻量级插件框架，它将思维链剪枝表述为一个最优停止问题，以动态确定推理链最有效的终止点，从而在保持极小精度损失的情况下，将生成长度减少 20–60%。

原作者： Mohammed Ehab, Aymane El Gadarri, Vivek F. Farias, Adam Jozefiak, Ciamac C. Moallemi

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammed Ehab, Aymane El Gadarri, Vivek F. Farias, Adam Jozefiak, Ciamac C. Moallemi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在解决一个棘手的数学谜题。你开始大声思考，写下每一步，检查你的工作，甚至为了确保万无一失而反复检查。但随后，你意识到你已经找到了答案！然而，你的大脑（或者在这种情况下，被称为“大型语言模型”的超级聪明计算机大脑）却停不下来。它继续写下更多的段落，重复旧的论点，或者进行一些对最终结果并无实质帮助的额外计算。这就是论文中所说的**“计算过度思考”（computational overthinking）**。这就像一名学生在考卷上写得太久，即便已经解出了题目，仍在浪费时间和纸张，却无法获得更高的分数。

该论文介绍了一个名为 OS-Pruner 的新工具来解决这个问题。可以将 OS-Pruner 想象成一个超级智能的“秒表”或站在计算机旁边的睿智教练。它的任务是逐步观察计算机的思考过程，并在每一段话结束后问一个简单的问题：“还有必要再写一句话吗，还是我们现在就可以给出答案了？”

“停止或继续”的游戏

作者们意识到，决定何时停止不仅仅是猜测答案是否正确。这是一种平衡的艺术。

成本： 计算机每多写一个句子，都会消耗金钱（即“Token”）和时间（延迟）。
回报： 继续写作的唯一理由是，下一句话能让最终答案变得更准确的可能性更高。

论文指出，目前大多数方法都像是一个严厉的老师，会说：“写满 10 句话后必须停止！”或者“如果你感到 90% 确定就停止！”作者认为这些方法过于僵化。相反，他们将这个问题定义为一个**最优停止（Optimal Stopping）**游戏。这意味着计算机需要学习如何权衡“写作的成本”与“获得更好答案的机会”。如果下一步不太可能带来显著帮助，那么“教练”（OS-Pruner）就会说：“停！我们已经做得很好了！”

他们拒绝了什么

论文明确反对了一些常见观点：

固定预算： 他们认为，仅仅强制模型在设定的步数后停止（例如“思考整整 5 分钟”）是行不通的，因为有些问题很简单，只需要几步；而有些问题很难，则需要很多步骤。
简单的置信度检查： 他们证明了仅仅询问“你足够自信了吗？”是不够的。有时模型可能很有信心，但其实还有更好的路径可走；或者模型虽然不确定，但实际上已经完成了。论文从数学上证明，相比于他们的方法，简单的“置信度阈值”法会错失巨大的提升空间。
重塑整个大脑： 许多其他方法试图通过重新训练整个计算机模型来使其变得更短。作者认为这既昂贵又缓慢。OS-Pruner 是一个“插件”，这意味着它是一个微小的附加组件，不需要重建整个大脑。

他们是如何测试的

研究人员并非凭空猜测，而是进行了严肃的实验。他们选取了几个强大的推理模型（如 DeepSeek-R1-Distill-Qwen-7B、GPT-OSS-20B 和 DRPO-7B），并在涵盖从简单的基础算术到高难度奥数挑战的数学问题上进行了测试。

他们发现，通过使用 OS-Pruner：

模型在许多任务上的思考长度缩减了 20% 到 60%。
例如，在 GSM8K（较简单的数学）数据集上，DeepSeek-R1-Distill-Qwen-7B 模型缩短了 59.3% 的思考长度，而准确率几乎没有变化（仅下降了 0.7 个百分点）。
在像 AIME 这样更难的问题上，模型表现得更加谨慎，仅减少了 6.9% 的长度，因为在那里额外的思考确实是必要的。

论文表明，即使是那些已经被训练得比较简洁的模型（如 DRPO-7B 模型），仍然存在过度思考的问题，而 OS-Pruner 可以让它们变得更好。

核心结论

该论文并不声称已经永久“解决”了 AI 推理问题。相反，它提出通过将“停止决策”视为时间与准确性之间的智能权衡，我们可以让这些强大的模型运行得更快、更便宜，且不失其智慧。这就像是在教一位天才学生在表达完观点后就适时收口，在保证拿到 A+ 的同时，为每个人节省时间。

作者通过特定的数据集衡量了这些结果，并发现 OS-Pruner 始终处于“帕累托前沿”（Pareto frontier）——这是一个高级说法，意指它提供了最佳的交易方案：以最少的写作量换取最高的准确度。他们甚至展示了可以通过一个数字（称为 $\lambda$ ）来控制这种权衡，让用户决定是希望模型运行得极快（可能牺牲一点准确性），还是希望它极其谨慎（则需要更长的时间）。

技术摘要：OS-Pruner

问题陈述

利用思维链（CoT）提示词的大型语言模型（LLM）在复杂推理任务中取得了显著成功。然而，这些模型经常表现出“计算过度思考”（computational overthinking）的现象，即生成冗余的推理步骤，从而在不提高最终答案准确性的情况下增加延迟和推理成本。这种行为包括重复论点、验证已确定的结论或进行低价值的计算。虽然最近的研究表明 CoT 轨迹可以被剪枝，但现有方案存在特定的局限性：

静态预算（Static Budgets）： 诸如强制预算（budget forcing）之类的方法通过外部施加固定的思考限制，忽略了推理轨迹不断演变的状态。
模型侧压缩（Model-Side Compression）： 诸如长度惩罚微调或 Token 跳过等技术需要对基础模型进行昂贵的重新训练，并且可能会降低其在非推理任务上的性能。
启发式早停（Heuristic Early Stopping）： 当前的动态方法通常依赖于分类或阈值（例如，当置信度超过固定值时停止），这未能考虑到额外 Token 的成本与预期答案质量提升之间的权衡。

作者认为，CoT 剪枝本质上是一个序列决策问题，最好将其框架化为一个最优停止问题（optimal stopping problem），即系统必须在每一步决定：生成下一个 Token 的预期收益是否足以抵消其成本。

方法论：OS-Pruner

OS-Pruner 是一个轻量级的插件式框架，旨在将 CoT 剪枝建模为最优停止问题。它在不修改冻结的基础推理模型的情况下运行。

1. 问题建模

给定输入问题 $x$ 和部分生成的 CoT 前缀 $y_{\le i}$ ，OS-Pruner 学习一个参数化停止策略 $\pi_\theta$ ，该策略输出停止的概率。其目标是最大化一个显式的效用函数，该函数在最终答案准确性与生成的长度之间进行权衡：
$r(y_{\le i}|x) = A(y_{\le i}|x) - \lambda L(y_{\le i})$
其中：

$A(y_{\le i}|x)$ 是从前缀导出的答案的准确性（正确为 1，错误为 0）。
$L(y_{\le i})$ 是截至步骤 $i$ 生成的 Token 数量。
$\lambda$ 是一个标量参数，用于控制长度惩罚，允许用户在准确性-效率前沿面上选择特定的运行点。

2. 理论优势

论文通过**价值函数视角（Value Function View）**将 OS-Pruner 与置信度阈值法区分开来。

基于分类的方法会在 $A(y_{\le-i}|x) \ge \gamma$ （一个固定阈值）时停止。
**最优停止（OS-Pruner）**会在立即停止的价值超过延续价值时停止： $A(y_{\le i}|x) \ge C_\lambda(x, y_{\le i})$ 。
延续价值 $C_\lambda$ 代表了预期未来奖励减去额外 Token 的成本。作者证明（定理 1），固定阈值的分类器与最优停止策略相比可能存在任意大的性能差距，因为它们无法考虑到未来推理路径的状态相关价值。

3. 实现与架构

数据预处理： 基础模型生成完整的推理轨迹。在训练期间，系统在每个推理步骤后进行干预，强制模型输出最终答案（防止在答案部分进行“思考”），并使用 Math-Verify 根据标准答案进行评分。这为每个前缀创建了细粒度的监督。
策略架构： 策略是一个轻量级的线性头（ $\sigma(W^\top h_l + b)$ ），应用于前缀的最后一个隐藏状态 $h_l$ 。为了增强性能，基础模型的最后 $n$ 层（通常为 2 层）自注意力层会被进行微调，而其余部分保持冻结。
训练效率： 由于基础模型是因果（causal）的，因此一个段落的隐藏状态不会受到后续 Token 的影响。这使得整个推理轨迹可以在单次前向传播中完成处理，并将线性层并行应用于相关的隐藏状态。
渐进式训练： 为了避免陷入从未停止的局部最优解，训练从高 $\lambda$ （高长度成本）开始，并逐渐将其退火至较低的值。

4. 推理

在推理过程中，策略仅在推理步骤边界（例如，段落结束处）被调用。系统会检查停止概率；如果决定停止，则立即引导输出最终答案。这种设计通过利用并行预填充处理并最小化 KV 缓存重计算，确保了在现代 LLM 服务系统（如 vLLM）上的高效性。

核心贡献

严谨的建模： 论文将 CoT 剪枝形式化为一个具有显式权衡准确性与长度的奖励函数的序列决策问题。
轻量级插件： OS-Pruner 是一种基于训练的停止策略，它在不修改冻结的基础推理模型的情况下，作用于推理前缀，仅需微调一个小的策略头和少量 Transformer 层。
经验性能： 实验表明，OS-Pruner 在保持准确性的同时，显著减少了推理长度，且适用于多种模型和基准测试。
互补性： 研究表明，即使应用于已经通过模型侧方法优化了简洁性的模型，该方法仍能提供额外的增益。

实验结果

作者在三个模型（DeepSeek-R1-Distill-Qwen-7B、GPT-OSS-20B 和 DRPO-7B）以及不同难度的基准测试（GSM8K、MATH-500、AIME）上评估了 OS-Pruner。

长度缩减： OS-Pruner 在极小牺牲准确性的情况下，实现了 20–60% 的生成长度缩减。
- 在 DeepSeek-R1-Distill-Qwen-7B 上，它在 GSM8K 上减少了 59.3% 的长度，在 MATH-500 上减少了 52.8%，而准确性变化分别为 -0.7% 和 +2.7%。
- 在 GPT-OSS-20B（一个已经针对简洁性优化的模型）上，它仍然实现了显著的缩减（例如在 MATH-500 上减少 21%），同时保持了竞争力的准确性。
基准对比： OS-Pruner 在准确性-效率得分（AES）方面持续优于基于训练的基准方法（分类探测器、答案收敛、FlashThink）。它位于或接近帕累托前沿，而固定阈值基准在减少长度预算时性能下降更为剧烈。
鲁棒性： 该方法在不同难度水平下表现良好：在较简单的任务（过度思考普遍存在）上更具侵略性，而在困难任务（AIME，额外计算更有价值）上则更为保守。

意义与主张

论文声称，与现有的启发式或静态方法相比，OS-Pruner 提供了一种更自然且更优的 CoT 剪枝方法。通过将问题定义为序列决策过程，它能够根据特定的推理状态动态评估终止的充分点，而不是依赖全局阈值。

作者强调，OS-Pruner：

降低计算成本： 通过削减不必要的 Token，降低了推理延迟和能源足迹。
提供精细化控制： 参数 $\lambda$ 允许用户显式地调节推理投入与准确性之间的权衡。
兼容现有模型： 它不需要重新训练基础生成器，使其成为现有推理模型的实用“插件”。
补充模型侧方法： 即使是经过简洁性训练的模型（如 DRPO）也能从额外的剪枝中获益，这表明模型侧压缩与最优停止处理的是不同的效率维度。

该研究总结道，虽然其重点在于数学推理，但该框架也适用于更广泛的领域，尽管未来的工作仍需探索编程和科学推理任务以及向前沿模型（frontier models）的扩展。