🤖 AI

Zipping the Thought: When and How Compressed Reasoning Data Works in LLM Post-Training

本文提出了一种压缩思维链推理的分类体系（显式、组合式和隐式），并通过受控实验证明，尽管较粗粒度的推理需要更多数据并表现出独特的扩展和记忆行为，但随后利用可验证奖励的强化学习能够有效分解监督微调期间学到的这些压缩步骤。

原作者： Kohsei Matsutani, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Kohsei Matsutani, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但极其字面化的机器人如何解一道复杂的数学谜题。这道谜题涉及一连串漫长的步骤：“取这个数，乘以它，加上那个，除以这个……"

为了教这个机器人，你可以用三种不同的方式向它展示解法。本文探讨了哪种方式效果最好、需要多少数据，以及如果你试图通过跳过步骤来让机器人“思考得更快”会发生什么。

以下是他们研究发现的分解说明，使用了简单的类比：

1. 三种教学方式（分类法）

研究人员对他们向机器人展示解法的方式进行了分类：

显式思维链（缓慢而稳健的导览）： 你向机器人展示每一个单一步骤。“乘以 2。现在加 5。现在除以 3。”这很长，但机器人能确切地看到答案是如何构建的。
组合式思维链（分组步骤）： 你将两个步骤捆绑在一起。与其展示“乘以 2"然后“加 5"，不如说“乘以 2 并加 5"。机器人能看到运算，但中间的数字被隐藏了。
隐式思维链（魔术戏法）： 你完全跳过了中间部分。你只展示起始数字和某一段的最终结果，而不展示你是如何到达那里的。这就像说“从 3 开始，最终得到 15"，而机器人必须猜测中间的数学运算。

2. “压缩”的代价（需要更多数据）

论文发现了一个权衡：你对指令压缩得越多，教机器人所需的数据示例就越多。

类比： 想象教某人烤蛋糕。
- 如果你给他们一份包含每一个单一步骤的食谱（显式），他们可能只需看 10 次就能学会。
- 如果你给他们一份“压缩”的食谱，只说“混合干性和湿性配料”而不展示混合过程（组合式/隐式），他们会感到困惑。要学习这个，你必须向他们展示这份压缩食谱数百次（更多数据），他们最终才能理解其中的模式。
发现： 更粗糙、更压缩的推理需要显著更多的训练数据才能达到相同的技能水平。

3. 重复与多样性（“训练”效应）

一旦你决定使用压缩数据，该如何呈现它？是向机器人反复展示同样的 10 道题目（重复），还是展示 10,000 道不同的题目（扩展）？

组合式思维链（分组步骤）： 这种类型热爱重复。如果你向机器人反复展示同样的分组步骤，它会非常擅长这种特定模式。这就像在运动中反复练习某个特定动作；重复使其成为肌肉记忆。
隐式思维链（魔术戏法）： 这种类型讨厌重复。如果你向机器人反复展示同一个“魔术戏法”，它只会记住那个特定戏法的答案。当你给它一个新谜题时，它就会失败。它需要多样性（不同的数据）才能真正学习底层逻辑，否则它只会通过死记硬背来作弊。

4. “去学习”阶段（SFT 与 RL）

这是最令人惊讶的部分。研究人员首先用压缩数据教机器人（SFT），然后让它通过奖励机制自行练习（RL）。

问题： 当用压缩数据教学时，机器人会陷入死胡同。如果你让它解一道需要“半步”（即不符合压缩分组的步骤）的谜题，它会完全失败。这就像只训练机器人成对迈步；如果你让它迈一步，它就会摔倒。
解决方法： 当他们切换到**强化学习（RL）**时，机器人开始重新“思考”。它意识到：“等等，我可以把这个大块重新分解成小块！”
类比： 想象一个学生把数学公式作为一个整体块死记硬背下来。他们无法解决需要拆分公式的问题。但如果你让他们自行练习解题（RL），他们最终会意识到：“哦！我可以把这个大块重新分解成我之前学过的小步骤。”RL 阶段解压缩了压缩后的知识。

5. 顺序很重要（单行道）

最后，他们考察了思考的方向。

正向/反向（单行道）： 从头到尾思考，或从尾到头思考，效果很好。机器人能很好地泛化到更长、更难的谜题。
层级结构（树状）： 这是指先解决小块，然后将其组合（就像构建一棵树）。论文发现，当谜题变长时，这种方法会失败。机器人试图在脑海中同时容纳太多中间“分支”，从而迷失方向。
要点： 对于长链条推理，一条直线（单一方向）比分支树状结构要好得多。

总结

要在不丧失智能的前提下使智能 AI 更高效（缩短思考过程）：

除非你拥有海量数据，否则不要过度压缩。
如果你确实要压缩，请使用组合式步骤（展示运算）并频繁重复它们。避免使用隐式步骤（隐藏运算），除非你拥有巨大且多样化的数据。
**SFT（监督微调）教会机器人压缩后的捷径，但RL（强化学习）**是必要的，用于在问题变得奇怪或更长时，教会机器人如何将这些捷径重新分解。
为了获得最佳结果，请将思考过程保持在一条直线上，而不是复杂的树状结构。

技术摘要：压缩思维：压缩推理数据在 LLM 后训练中的适用时机与机制

1. 问题陈述

大型语言模型（LLM）已展现出通过长思维链（Chain-of-Thought, CoT）推理解决复杂问题的能力。然而，推理性能与 token 成本之间的权衡仍是部署 LLM 智能体面临的核心挑战。为了降低 token 成本，从业者通常采用监督微调（SFT），使用“压缩”的推理数据，即通过聚合或省略中间步骤来缩短 CoT 轨迹。

尽管这种做法十分普遍，但本文指出了一个关键的理解空白：

压缩机制：尚不清楚不同结构的 CoT 压缩形式（例如，聚合操作与省略操作）如何影响学习动态。
数据需求：压缩粒度、数据量与 SFT 所需训练步数之间的关系尚不明确。
分解能力：尚不清楚在压缩数据上训练的模型能否将这些聚合步骤分解，以解决需要更细粒度推理的任务，以及随后的可验证奖励强化学习（RLVR）能否促进这种分解。

2. 方法论

2.1 CoT 压缩分类法

作者提出了一种形式化的分类法，根据原子操作（ $f_i$ ）和值（ $s_i$ ）的呈现方式对 CoT 推理轨迹进行分类：

显式 CoT：按顺序输出每个操作和中间值（ $s_1 = f_1(s_0), s_2 = f_2(s_1), \dots$ ）。这对应于压缩粒度（ $g$ ）为 1。
组合 CoT：将多个操作聚合为单个步骤，明确列出操作但省略中间值（例如， $s_2 = f_2(f_1(s_0))$ ）。此处， $g > 1$ 。
隐式 CoT：省略中间值及中间操作的显式列表，仅输出数据块（chunk）的最终结果（例如， $s_4 = f_4(s_3)$ ）。这隐藏了操作和值，对应更高的 $g$ 。

2.2 合成任务构建

为了控制难度、压缩粒度和数据规模等变量，作者构建了一个合成算术推理任务。

任务结构：问题涉及参数间的顺序依赖（例如，“A 的数量等于 B 乘以 4"）。
操作：依赖关系涉及加法、减法和模 23 乘法，以防止数值爆炸。
难度（$op$）：定义为解决该任务所需的原子操作总数。
粒度（ $g$ ）：被分组到单个 CoT 步骤中的操作数量。
评估：模型在具有特定 $op$ 值（例如 8、16、24）的任务上进行训练，并在具有更长序列（例如 32 到 104 个操作）的分布外（OOD）任务上进行评估，以测试泛化能力。

2.3 实验设置

模型：实验在多种模型系列和规模上进行，包括 Qwen2.5（0.5B 至 14B）和 Llama-3（1B 至 8B）。
训练方案：
- SFT：在具有不同 $g$ 值（2、4、8）的显式、组合和隐式 CoT 数据上进行训练。
- 数据扩展与重复：比较在大型多样化数据集（384k 样本，1 个 epoch）上的训练与在小型数据集上重复多次（6k 样本，64 个 epoch）的训练。
- RLVR：在经 SFT 预训练的模型上应用组相对策略优化（GRPO），以测试 RL 是否能分解压缩步骤。
CoT 顺序：研究了前向（标准）、后向（反向）和分层（分块子问题）CoT 顺序。

3. 主要贡献与结果

3.1 压缩粒度与训练步数

发现：较粗粒度的压缩 CoT（较高的 $g$ ）需要显著更多的训练步数和数据量，才能达到与显式 CoT 相同的性能水平。
启示：要在高度压缩的推理轨迹上训练模型，从业者必须准备更大的数据集，以补偿学习信号复杂性的增加。

3.2 数据扩展与数据重复

扩展：压缩 CoT（包括组合式和隐式）比显式 CoT 更能从数据扩展（增加唯一样本数量）中获益。
重复：
- 组合 CoT：从数据重复中获益（在更少的样本上训练更多 epoch）。
- 隐式 CoT：当数据被重复时，性能会下降。作者认为这是由于过拟合或记忆了特定长度所致，因为隐式 CoT 隐藏了泛化所需的操作结构。
结论：当数据有限时，组合 CoT 更适合基于重复的训练，而应避免使用隐式 CoT，转而采用多样化的数据扩展。

3.3 推理链的分解

SFT 的局限性：在压缩 CoT（例如 $g=2$ ）上训练的模型无法解决需要分解为原子步骤的任务（例如，在偶数 $op $上训练时，无法解决奇数$ op$ 的任务）。它们无法自发地分解在 SFT 期间观察到的聚合块。
RLVR 的能力：随后的 RLVR 成功实现了分解。当应用于需要分解的任务（奇数 $op$）时，RLVR 允许模型将 $g=2$ 的块分解为 $g=1$ 的原子步骤。
动态过程：在 RLVR 期间，响应长度最初会增加（表明模型正在探索分解后的显式步骤），随后收敛到一种高效策略，即在大部分计算中使用压缩步骤，仅在必要时使用显式步骤。
结论：SFT 学习模仿压缩模式，但 RLVR 对于发现潜在的原子技能并将其重新组合以应对未见过的组合是必要的。

3.4 CoT 顺序与泛化

单向与分层：前向和后向 CoT 顺序能很好地泛化到更长的顺序任务（OOD）。相比之下，分层 CoT（将问题分割成块并存储中间变量）无法泛化到更长的任务。
数据效率：后向 CoT 需要比前向 CoT 更多的数据才能达到相当的泛化能力，这可能是由于与预训练中使用的数据分布不一致所致。
结论：对于顺序组合任务，单向 CoT 设计比分层分块更稳健且数据效率更高。

4. 意义与主张

本文声称提供了关于 LLM 后训练中压缩推理数据权衡的基础性理解。其主要贡献包括：

数据设计指南：它提供了在资源约束下构建压缩数据集的实用规则。具体而言，它建议较粗的压缩需要更多数据，组合 CoT 受益于重复而隐式 CoT 则不然，且单向顺序更利于泛化。
SFT 与 RL 的机制洞察：该工作阐明了 SFT 和 RL 在后训练中的不同作用。它提出 SFT 在习得压缩表示方面有效，但在分解这些表示方面存在局限，而 RLVR 则作为一种机制来“解压缩”这些压缩块，使模型能够通过恢复原子操作来泛化到新颖的组合。
Token 成本优化：通过确定压缩数据何时有效以及如何将其与 RL 配对，本文旨在帮助平衡推理长度（token 成本）与性能，支持更高效 LLM 智能体的开发。

作者对其主张保持谦逊，指出其发现源于合成算术任务，未经进一步调查可能无法直接转化为所有现实世界领域或非 Transformer 架构。他们强调，虽然他们的结果支持 RL 可以通过技能组合发现新解决方案的观点，但复杂现实世界推理中的具体机制仍是未来研究的领域。