🤖 AI

Reasoning Models Can be Accurately Pruned Via Chain-of-Thought Reconstruction

本文提出了一种推理感知压缩（RAC）剪枝技术，该技术联合重构输入激活值与策略内思维链轨迹，在有效降低推理模型部署成本的同时，避免了标准剪枝方法所导致的性能下降和延迟增加。

原作者： Ryan Lucas, Kayhan Behdin, Zhipeng Wang, Qingquan Song, Shao Tang, Rahul Mazumder

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Ryan Lucas, Kayhan Behdin, Zhipeng Wang, Qingquan Song, Shao Tang, Rahul Mazumder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢、成绩斐然的学生，名叫“推理 AI"。这位学生擅长解决复杂的数学问题和编写代码，但他们有一个古怪的习惯：在给出最终答案之前，他们会写下一份庞大而详尽的思维过程日记。他们不会只说“答案是 42"，而是会写下 50 页的“让我看看，如果我尝试这个，然后是那个，但等等，也许不行……"，最后才得出答案。

虽然这使他们非常准确，但运行起来也极其缓慢且昂贵。你想要雇佣一个更小、更便宜的该学生版本（即“剪枝”模型）来完成同样的工作。

问题：“错误作业”的谬误
通常，当工程师试图缩小这些大型 AI 模型时，他们会使用一种称为剪枝的方法。可以将剪枝想象成编辑一本书以使其变短，通过删除你认为不重要的词语。

为了决定删除哪些词语，编辑者（即剪枝算法）通常会查看该学生输入的样本——即他们被问到的问题。他们会假设：“好吧，这位学生擅长回答这些问题，所以如果我们保留他们处理这些问题的‘大脑’部分，就没问题。”

这篇论文认为，这对于推理模型来说是一个巨大的错误。这就像试图通过只观察马拉松选手系鞋带的过程来训练他们一样。你忽略了他们真正奔跑的部分。

对于推理模型而言，“奔跑”的部分就是漫长的思维链（CoT）。如果你只基于问题（输入）来训练剪枝算法，而忽略了漫长的思维过程，那么缩小后的模型就会陷入混乱。它开始比以往更加喋喋不休，写出 100 页混乱的思绪而不是 50 页，并且仍然会答错答案。它变得既更慢又更笨。

解决方案：“推理感知压缩”（RAC）
作者提出了一种简单的修正方法，称为推理感知压缩（RAC）。

他们建议，不要仅仅向剪枝算法展示问题，而是说：“让我们让模型先回答问题，写出完整的思维过程，然后利用整个过程来决定删除什么。”

类比：排练
想象你正在编辑一部戏剧。

旧方法：你阅读剧本的开场白，并根据演员在第一场戏中的表现来决定解雇哪些演员。
RAC 方法：你观看整个排练过程，包括那些漫长、混乱的中间场景，演员们正在那里梳理剧情。你只解雇那些在正式演出中搞砸的演员。

通过让模型在编辑阶段“排练”自己的思维过程，剪枝算法能够确切地学习到哪些“大脑”部分对于漫长而复杂的推理步骤是必需的。

尝试后的结果
该团队在几个强大的 AI 模型（如 DeepSeek-R1 和 Qwen）上，使用数学和编程测试对此进行了测试。

准确性：当他们使用旧方法时，剪除模型 50% 的“大脑”会导致其几乎在所有任务上失败。而使用 RAC 后，即使移除了 50% 的权重，缩小后的模型仍保留了几乎所有的智能。
速度：旧方法使模型变得如此困惑，以至于它们会喋喋不休数小时，回答问题耗时极长。RAC 保持了模型的专注。它们回答的速度与大模型一样快，甚至更快，因为它们不会陷入混乱思维的循环中。
通用性：无论他们是随机剪除模型还是按特定模式剪除，也无论应用于何种类型的模型，这一技巧都有效。

结论
如果你想让一个聪明、具备推理能力的 AI 变得更小、更便宜，你不能只看它被问到的问题。你必须观察它在回答问题时是如何思考的。通过将模型自己的“思维日记”纳入编辑过程，你可以在不损失其智能或降低速度的情况下缩小模型。这是一个简单的调整，能防止模型在自己的思绪中迷失方向。

技术摘要：通过思维链重构可精准剪枝推理模型

1. 问题陈述

具备逐步推理能力的大型语言模型（LLM），如 DeepSeek-R1，在生成最终答案之前会生成显式的思维链（CoT）。虽然这显著提高了数学和编程等复杂任务的准确性，但也导致了极长的输出序列，使得这些模型因高推理延迟和内存需求而在大规模部署时成本高昂。

模型剪枝是减小模型规模和推理成本的标准技术。然而，作者观察到，将标准剪枝方法（例如 SparseGPT）应用于推理模型会产生反直觉且有害的结果：

准确性下降：随着稀疏度的增加，标准剪枝会导致任务准确性显著下降。
运行时膨胀：与压缩的目标相反，重度剪枝的推理模型往往变得更慢。这些模型生成的思维链更长、更冗长且准确性更低，导致总 token 数量和推理时间增加。

本文假设，这种失败源于分布不匹配。标准剪枝仅使用输入提示（其中 $|x| \gg |y|$ ）来校准权重，而推理模型属于解码主导的任务，生成的思维链 token（ $|c| + |y| \gg |x|$ ）构成了推理计算的大部分。仅基于提示激活的剪枝无法保留模型生成连贯推理轨迹的能力。

2. 方法论：推理感知压缩（RAC）

作者提出了推理感知压缩（RAC），这是对现有单次剪枝工作流的“即插即用”式修改，旨在使校准过程与推理模型的实际推理时分布保持一致。

核心机制

标准剪枝算法（如 SparseGPT）使用仅源自输入提示的激活矩阵（ $X_\ell$ ）来最小化层权重（ $W_\ell$ ）的重构误差。RAC 通过在校准数据集中添加策略内（on-policy）思维链轨迹来修改这一过程。

策略内 rollout：在校准阶段，对于每个提示 $x^{(m)}$ ，允许稠密模型自回归地生成其自身的思维链和答案 token。
激活收集：收集对应于输入提示 token和自生成的思维链 token的隐藏状态（ $x^{(\ell)}_t$ ）。
联合重构：剪枝算法使用组合激活矩阵 $X^{RAC}_\ell = [X^P_\ell, X^D_\ell]$ 求解逐层优化问题，其中 $X^P$ 代表提示激活， $X^D$ 代表解码时（思维链）激活。

目标函数变为：
$\min_{\hat{W}_\ell} \sum_{m} \sum_{t \in P_m \cup D_m} \| (W_\ell - \hat{W}_\ell) x^{(\ell-1,m)}_t \|_2^2$
受稀疏度约束。这确保了压缩后的权重针对整个推理过程中遇到的激活进行了优化，而不仅仅是初始提示。

实现细节

单次剪枝：该方法无需重新训练或蒸馏。它在预训练权重上执行单次传递。
兼容性：RAC 可无缝集成到现有的逐层剪枝算法中（例如 SparseGPT、WANDA、ALPS）。
校准成本：虽然收集思维链激活比仅提示校准更昂贵，但它仍显著低于全模型重新训练或蒸馏的成本。

3. 主要贡献

剪枝失败诊断：本文指出，标准剪枝在推理模型上失败的原因在于其忽略了思维链生成的解码主导性质，导致分布偏移，使模型“冗长啰嗦”并丧失准确性。
RAC 算法：引入了一种简单的校准策略，将策略内思维链激活注入剪枝目标中。
实证验证：广泛的实验表明，RAC 允许推理模型被剪枝至高稀疏度（高达 50%），同时保持准确性并防止与标准剪枝相关的运行时膨胀。

4. 实验结果

作者在多个推理模型系列（DeepSeek-R1 蒸馏变体和 Qwen3）上评估了 RAC，涵盖不同规模（1.5B 至 70B）和基准测试（MATH-500、AIME-25、LiveCodeBench）。

准确性与运行时

准确性保持：在 50% 稀疏度下，RAC 显著优于标准的 C4 校准剪枝和仅提示剪枝。
- 示例（MATH-500 上的 DeepSeek-R1-7B）：RAC 保持0.900的准确性，而仅提示剪枝为0.812，C4 校准为0.744。
- 示例（MATH-500 上的 Qwen3-8B）：RAC 在 50% 稀疏度下实现0.862的准确性，而 C4 校准为0.564，仅提示剪枝为0.470。
运行时降低：RAC 防止了“冗长啰嗦”的行为。
- 示例（DeepSeek-R1-7B）：标准剪枝将运行时从稠密模型的 23.3 分钟增加到 50% 稀疏度下的 135.0 分钟。RAC 将其降低至35.3 分钟，有效保持了稠密模型的速度特征。
泛化性：这些优势在不同架构（Qwen、Llama）、模型规模和领域（数学和代码）中均成立。RAC 在与结构化剪枝（2:4 稀疏度）和量化（FP8）结合时也显示出鲁棒性。

消融研究

策略内 vs. 策略外：使用被剪枝模型本身生成的思维链轨迹（策略内）比使用更大、不同模型生成的轨迹效果更好，尽管策略外数据仍比仅提示方法提供了一些改进。
Token 预算敏感性：剪枝模型的运行时惩罚主要由过度的 token 生成长度限制驱动。当限制在合理的解码长度（例如 4,096 个 token）时，RAC 剪枝模型在准确性和速度方面均达到或超过稠密模型的性能。
算法无关性：RAC 在与各种剪枝算法（SparseGPT、ALPS、WANDA）配对时均能提升性能，而不仅限于 SparseGPT。

重构误差分析

对保留测试问题的逐 token 误差分析显示，虽然仅提示校准能很好地保留输入激活，但在解码阶段（即思维链）会产生较高的重构误差。RAC 专门降低了长推理链期间的这些误差，使剪枝模型在关键生成阶段的行为与稠密模型保持一致。

5. 意义与主张

本文主张，推理感知压缩是使剪枝适用于推理 LLM 所必需的、关键的简单修改。

实际影响：RAC 使得部署更小、更快的推理模型成为可能，而不会出现当前标准压缩方法中观察到的准确性崩溃或延迟激增。
理论洞察：这项工作强调，对于以生成为主导的任务（如推理），校准数据必须反映整个推理轨迹，而不仅仅是输入。
局限性：作者谦逊地指出，RAC 并未显式优化序列长度缩短（尽管通过提高生成质量间接有所帮助），并且与仅提示方法相比，校准步骤会产生适度的计算开销。然而，他们强调，与重新训练的成本相比，这种开销微不足道。

总之，本文表明，通过将剪枝校准分布与模型的策略内推理轨迹保持一致，可以将推理模型精准剪枝至 50% 稀疏度，保留高达 95% 的稠密模型准确性，并防止通常困扰压缩推理系统的推理减速问题。