🤖 AI

SLAT: Segment-Level Adaptive Trimming for Efficient CoT Reasoning

该论文介绍了 SLAT，这是一个通过在理论上识别并自适应地修剪冗余的高概率片段，从而在不损害准确性的情况下将推理长度减少 50%，进而提高思维链推理效率的强化学习框架。

原作者： Jian Yao, Xiongcai Luo, Ran Cheng, Kay Chen Tan

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Jian Yao, Xiongcai Luo, Ran Cheng, Kay Chen Tan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢但过于话痨的学生，名叫“推理机器人”（Reasoning Bot）。当你问它一个数学问题时，它不仅仅是给出答案。相反，它会写下一段长长的、一步步的思考日记（称为“思维链”，Chain of Thought）。

最近，研究人员发现，虽然这种话痨风格有助于机器人得出正确答案，但它经常遭受**“过度思考”**（overthinking）的困扰。它会在得出解决方案后继续喋喋不休。它可能会重复问题、重新解释它已经知道的基础规则，或者陷入一种机械化、重复性的检查工作的循环中。这就像一个学生在解出 $2+3=5$ 后，花了接下来的五分钟写道：“我把二和三相加了。二加三等于五。我确定它是五。让我再检查一遍。是的，它是五。”

这种“过度思考”浪费了大量的计算能量（和时间），而没有让答案变得更正确。

当前解决方案的问题

此前，研究人员尝试通过告诉机器人：“在写满 X 个词后停止。”或者，“如果你的回答太长，我们会惩罚你。”

这种方法的问题在于，它就像一位严厉的老师说：“如果你的文章太长，无论如何我都会切掉最后 500 个字。”问题在于，机器人可能会为了节省空间而切掉了真正的解决方案，或者可能在保留无聊、重复的废话的同时，切掉了关键的一步。这是一种笨拙的手段，它并不理解正在说什么内容，只知道说了多少内容。

新的解决方案：SLAT（“编辑”机器人）

论文介绍了一种名为 SLAT（分段自适应修剪，Segment-Level Adaptive Trimming）的新方法。SLAT 不仅仅是计数单词，它更像是一个智能编辑，能够实时观察机器人思考的质量。

以下是它的工作原理，使用一个简单的类比：

1. “无聊”检测器
想象机器人正在写一个故事。SLAT 会观察机器人的信心。当机器人正在写一些新颖且重要的内容时，它可能会有些犹豫或谨慎地选择词汇（低概率）。但当机器人开始重复自己或陈述显而易见的事实时（比如“这个问题要求的是 2 和 3 的和”），它会变得非常有信心且机械化。它开始以极高的确定性反复说着同样的话。

SLAT 会捕捉到这些**“高概率片段”**（high-probability segments）。在论文看来，这些时刻就是机器人正在“原地打转”的时候——说话很多，但并没有增加任何新的信息或学习内容。

2. “修剪”奖励
SLAT 使用一种特殊的训练方法（强化学习）。它告诉机器人：

“如果你继续写下去并只是重复自己或陈述显而易见的事实，你会受到‘惩罚’（负分）。”
“如果你在得到答案后立即停止并跳过那些无聊的重复，你会得到‘奖励’。”

这就像训练一只狗。如果狗对着松鼠（显而易见的事物）乱叫，你就忽略它。如果狗在松鼠离开后停止乱叫并安静地坐下，你就给它奖励。最终，狗会学会一旦松鼠消失就停止乱叫。

3. 结果
论文在困难的数学问题上测试了这一方法。

使用 SLAT 之前： 机器人会对一个简单问题写出 10,000 字的解释，其中 5,000 字都是重复的废话。
使用 SLAT 之后： 机器人依然能得到完全相同的正确答案，但它将解释长度缩减了一半（减少了约 50% 的长度）。它保留了聪明且必要的步骤，并删除了“过度思考”的循环。

为什么这很重要

作者发现这种方法创造了一个“甜点区”（sweet spot）。机器人的速度和效率提升了一倍，且没有损失任何智慧。这证明了你不需要强迫机器人变短，你只需要教会它识别何时该停止说话，并专门针对“过度思考”的循环进行停止。

简而言之：SLAT 教会了 AI 在仅仅是重复自己时停止说话，在保持答案完美的同时，节省了时间和能量。

技术摘要：SLAT —— 用于高效思维链（CoT）推理的分段级自适应裁剪

1. 问题陈述

最近的大型推理模型（LRMs），如 OpenAI-o1 和 DeepSeek-R1，通过强化学习（RL）在复杂推理任务（数学、逻辑、编程）中展现出了显著的进步。然而，这些模型经常表现出“过度思考”（overthinking）的现象，生成的推理链（思维链或 CoT）包含大量的结构性冗余。这种冗余在不提高答案正确性的情况下，造成了高昂的计算开销。

现有的缓解策略主要依赖于 Token 均匀长度惩罚。这些方法通过对所有 Token 进行等价惩罚来施加粗粒度的压力以缩短输出。本文认为这种方法是次优的，因为它无法区分必要的推理步骤与冗余的探索。因此，均匀惩罚可能会在无意中抑制必要的中间步骤，从而缩小探索空间，导致输出虽然变短但能力下降。

作者指出，低效往往集中在推理轨迹中的高概率分段（high-probability segments）。这些分段对应于近乎确定性的、低信息含量的内容（例如：重述问题条件、平凡的演绎或重复性的验证），它们增加了长度却未对解题正确性做出贡献。

2. 方法论：SLAT

为了解决这一问题，作者提出了 SLAT（Segment-Level Adaptive Trimming，分段级自适应裁剪），这是一个旨在根据分段次优性的理论特征，有选择性地抑制冗余分段的强化学习框架。

2.1 理论基础

作者将效率问题形式化为一个约束优化任务：在保持正确率高于阈值 $p_0$ 的同时，最小化期望推理长度 $L(z)$ 。通过分析该目标的拉格朗日形式，他们推导出了命题 3.1，即一个关于分段次优性的充分条件。

该命题指出，如果一个特定的分段 $z_1$ 既长又以高概率生成，那么生成该分段就是次优的。具体而言，如果该分段的长度及后续轨迹的期望长度超过了由该分段概率和整体正确率决定的阈值，那么降低生成该分段的概率将严格改善目标函数。这提供了一种有原则的归纳偏置：抑制长且近乎确定性的片段。

2.2 算法实现

SLAT 通过分段级奖励塑造（segment-level reward shaping），将这一偏置落实到 GRPO（Group Relative Policy Optimization，组相对策略优化） 算法（用于 DeepSeek-R1 训练）中：

滑动窗口检测： 对于生成的推理轨迹 $z$ ，使用大小为 $w$ 的滑动窗口遍历序列。计算当前策略 $\pi_{old}$ 下每个窗口内 Token 的联合概率。
高概率计数： 算法统计窗口数量，其中窗口内的联合概率超过预设阈值 $\tau$ 。该计数 $C(z)$ 作为高概率、低信息量片段长度的代理指标。
奖励塑造： 定义裁剪奖励 $r_{ER}$ $r_{E R}$ ：
- 如果 Rollout 正确： $r_{ER} = -C(z)$ （惩罚高计数的冗余分段）。
- 如果 Rollout 错误： $r_{ER} = 0$ （防止模型在错误的路径上学习退化的捷径）。
目标集成： 最终奖励为 $r = r_{ori} + \lambda r_{ER}$ ，其中 $\lambda$ 控制裁剪信号的强度。

3. 核心贡献

本文概述了三个主要贡献：

识别与理论： 作者识别出高概率分段是长 CoT 推理中常见的低效来源。他们提供了理论表征（命题 3.1），定义了在正确率-长度权衡下生成此类分段为何是次优的，从而引入了有原则的归纳偏置。
SLAT 框架： 基于此洞察，他们提出了一个集成到 RL 训练中的裁剪框架。该框架有选择地抑制冗余的高概率分段，鼓励简洁且忠实的推理，而非采用统一的 Token 惩罚。
实验验证： 该方法在多个标准推理基准测试上得到了验证，证明了在保持准确性的同时大幅减少了推理长度，并持续优于长度正则化基线。

4. 实验结果

作者在数学推理基准（MATH500, OlympiadBench, AMC23, AIME24/25）以及领域外数据集（MMLU-STEM, GPQA-Diamond）上评估了 SLAT。

蒸馏推理器压缩： 应用于 DeepSeek-R1-Distill-Qwen-7B 时，SLAT 将平均推理长度减少了 50%（从 8,404 个 Token 降至 4,176 个），同时实现了准确率-长度权衡的 帕累托改进（Pareto improvement）。它达到了最高的平均准确率 (66.4)，超越了 7 个基线中的 6 个。
基座模型训练： 在使用 GRPO 从头开始训练 Qwen2.5-Math-7B 时，SLAT 建立了比 Token 均匀目标（如 Truncation, Length-MaxMin, Length-Mean）更优的准确率-长度曲线。虽然均匀惩罚往往会通过破坏长程依赖关系而降低在困难数据集（AIME24/25）上的性能，但 SLAT 保留了关键的逻辑结构。
可扩展性： 对 Qwen3-14B 的实验表明，将 SLAT 添加到 GRPO 中使平均 CoT 长度减少了 47%（从 5,024 降至 2,677），且准确率损失微乎其微（-0.5%）。
训练效率： SLAT 通过在训练后期鼓励更短的 Rollout，减少了整体训练时间，从而降低了生成成本并提高了吞吐量。
泛化能力： 该方法在非数学领域（MMLU-STEM, GPQA-Diamond）也表现良好，在显著减少长度的同时实现了具有竞争力的准确率。

5. 重要性与主张

本文主张，基于理论的、感知分段的裁剪是实现高效 CoT 推理的一个极具前景的方向。不同于以往依赖粗粒度 Token 级惩罚或推理时停止启发式方法的做法，SLAT 通过源自推理轨迹内部结构的奖励信号，将效率直接集成到训练策略中。

作者强调，他们的方法通过针对冗余的高概率分段而非仅仅是缩短输出，解决了“过度思考”的具体现象。这使得模型能够维持“逻辑保真度”并解决需要长推理周期的复杂问题，同时消除了作为低效轨迹特征的“冗余脚手架”和重复性陈述。

这项工作表明，推理模型的效率不应仅被视为一种预算约束，而应被视为一种可以通过识别并抑制低边际效用分段来进行优化的结构属性。文中提到的未来研究方向包括：动态调整裁剪机制、扩展到更大规模的模型家族（100B+），以及调查关于对抗鲁棒性和模型提取的安全性影响。