💬 NLP

Batch-wise Adaptive Pruning: Periodic Neuron Activation-Aware Weight Pruning for Language Reasoning Model

本文提出了一种针对大语言推理模型的无需训练、批次自适应剪枝方法，该方法利用周期性 top-k 选择和激活记忆机制来克服现有方法在批次推理中存在的精度下降问题，在保持高水平推理性能的同时实现了显著的加速。

原作者： Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个非常难的谜题，比如一个复杂的数学问题或一个棘手的逻辑谜题。你有一个聪明但非常“饥饿”的助手（一个大型推理模型），它能够通过思考各个步骤来找到答案。问题在于，这个助手如此彻底，以至于在给出最终答案之前，它会写下一份极其庞大的、循序渐进的思维日记。虽然这种“思维链”让这个助手变得异常聪明，但也让它运行起来既慢又昂贵，就像试图用一颗单节 AA 电池来驱动一台超级计算机一样。

为了让这个助手变快，科学家们经常尝试对其进行“剪枝”——基本上，就是告诉助手忽略某些它在当前时刻似乎并不需要的脑细胞（神经元）。这就像一位厨师在准备一场盛大宴席时，决定停止为那些尚未被点的菜肴切菜。问题在于，当你试图同时为一大群人烹饪时（批处理推理），旧的方法在决定“切哪些菜”时就会失效。这些方法使用一个固定的规则，这在只为一个人的时候有效，但应用到一群人时就会产生混乱。它们使用一个固定的规则，这在处理单个请求时表现良好，但当应用于一组请求时，由于“活动水平”发生了变化，会导致原本的规则不再匹配新的现实。结果就是，AI 会不小心关掉错误的神经元，导致它的“大脑”变得模糊，并开始重复胡言乱语。本文介绍了一种更聪明的方法来决定如何“切菜”，确保助手在为人群服务时依然保持敏锐。

问题所在：“一刀切”的错误

想象你是一位正在指挥管弦乐队的指挥家。如果你只有一个小提琴手，你可以很容易地告诉他：“现在大声演奏，稍后轻声演奏。”但如果你有一整组小提琴手在共同演奏（一个批次），而你根据一个普通小提琴手通常的表现给他们下达完全相同的指令，音乐可能会变成一场灾难。

当目前的 AI 模型尝试同时处理多个请求时，情况正是如此。现有的加速模型的方法使用了一种“阈值”规则。这就像是在说：“如果一个神经元的活动高于 5，就保留它；如果低于 5，就关闭它。”当 AI 独自思考时，这运行得很好。但当你输入一批不同的问题时，神经元的“活动水平”会混合在一起，从而改变了平均值。旧的规则（阈值 5）不再符合新的现实。结果是？AI 会意外地关闭错误的神经元，它的“大脑”变得模糊，并开始在推理任务上失败。论文显示，当你尝试在 4 个请求的批次中运行这些模型时，现有的最佳方法几乎失去了所有的聪明才智，准确率大幅下降（有时超过 50 个百分点）。

解决方案：带有记忆的周期性“Top-K”策略

作者提出了一种名为**批次自适应剪枝（Batch-wise Adaptive Pruning）**的新方法。他们不再使用僵化的“通过/失败”界限（阈值），而是使用一种更聪明、更灵活的方法，包含两个主要技巧。

首先，他们不再使用固定的界限，而是开始使用 “Top-K”选择。想象你有 100 名跑步者（神经元），但车上只有 50 个座位。与其说“只有跑得快于 10 秒的人才能上车”，不如直接说：“最快的 50 名跑步者可以上车。”无论今天的跑步者普遍是快还是慢，你始终挑选最好的 50 名。这解决了导致旧方法失效的“分布偏移”问题。

其次，他们意识到重要的神经元并不会跳动一次就消失；它们有一个节奏。论文观察到，在长期的推理任务期间，最重要的神经元倾向于以一种规律的模式“重新激活”（苏醒并开展工作），大约每 22.8 个 token（文本块）一次。为了捕捉到这种节奏，新方法仅周期性地（每 20 步）更新其剪枝掩码，而不是每产生一个词就更新一次。这节省了时间，因为计算机不必在每一个微小的瞬间都停下来重新计算保留哪些神经元。

但最聪明的部分在于：他们添加了一个激活记忆（Activation Memory）。把这想象成一段“精彩集锦”或一张便利贴。如果一个神经元在第一批思考中非常重要，记忆就会记录下这一点。即使该神经元在几步之内处于安静状态，记忆也会确保它不会仅仅因为短暂的“小睡”就被踢下车。通过这种方式，AI 能够保留那些在一段时间内持续重要的神经元，防止其忘记最初建立的逻辑。

结果：快速、聪明且能应对人群

作者在强大的推理模型（具体为 DeepSeek-R1-Distill-Qwen-7B 和 DeepSeek-R1-Distill-Llama-8B）上测试了这种新方法，使用了困难的数学和科学基准测试。结果令人瞩目。

当以 4 的批次大小（同时处理四个问题）运行并旨在将模型规模削减 50% 时：

旧的最佳方法（TEAL）崩溃了，平均准确率仅为 14.3% 左右。
新方法保持了强劲的 54.0% 平均准确率。
这是一个 39.7 个百分点 的巨大提升。

此外，新方法实际上让模型变快了。通过剪掉不必要的工作，它实现了比运行完整的、未剪枝模型快 1.40 倍 的速度。论文指出，这种加速在计算机繁忙（计算受限）时尤其有用，这种情况通常发生在处理大量请求时。

这意味着什么

作者谨慎地指出，这种方法是“无需训练的（training-free）”，这意味着它不需要重新教导模型，而只是调整模型运行的方式。他们还指出，虽然其他方法可能适用于简单任务，但在处理批处理时的复杂推理时会惨败。这种新方法通过使用周期性更新和对重要性的记忆，在保持 AI 推理敏锐的同时，使其能够高效处理现实世界的负载，即许多用户同时提问的情况。这是一个实用的修复方案，它让这些庞大、聪明的模型在运行得更快的同时，不会失去深度思考的能力。

技术摘要：面向大语言推理模型的批次自适应剪枝

问题陈述
大语言推理模型（LRMs）通过长链式思考（chain-of-thought）生成在复杂任务上实现高性能，但也带来了巨大的计算成本。在生产环境中，高吞吐量需要批次推理（同时处理多个样本）。然而，现有的无需训练的自适应剪枝方法（如 TEAL 和 CATS）在这一机制下表现极差。

其核心失效机制有两个方面：

分布偏移（Distribution Shift）： 现有方法对整个批次使用单一的剪枝掩码（mask）。它们聚合单样本激活值（例如通过取平均值），并应用在单样本分布上离线校准的阈值。这种聚合导致了激活分布的偏移，使得阈值不再匹配数据，从而导致实际稀疏率发生漂移，并引发推理准确率的崩溃。
静态与动态的权衡（Static vs. Dynamic Trade-off）： 静态剪枝方法（固定模式）无法追踪长推理链过程中不断演变的激活模式。相反，在每个 Token 步长中选择新掩码的计算开销过高，会抵消任何加速效果。

方法论
作者提出了一种**批次自适应剪枝（Batch-wise Adaptive Pruning）**方法，该方法是专门为 LRMs 的批次推理设计的无需训练的方法。该方法依赖于两个主要组件：

周期性 Top-k 选择：
- 不同于使用对分布偏移敏感的校准阈值，该方法在聚合后的重要性得分上采用 Top-k 选择。Top-k 选择仅依赖于得分的相对排序，因此对批次聚合引起的分布偏移具有鲁棒性。
- 为了避免在每个 Token 步长更新掩码带来的计算开销，该方法每隔 $T_{trans}$ 步周期性地更新剪枝掩码，而不是在每个解码步进行更新。
- 批次聚合： 对于大小为 $B$ 的样本批次，通过**逐元素最大值（element-wise maximum）**将单样本重要性得分聚合为单个向量（而非取平均值）。这种保守的方法确保了对至少一个样本至关重要的神经元能够保留较高的得分，防止其因在同一批次内其他样本中激活较低而被剪枝。
激活记忆（Activation Memory）：
- 对 LLM 激活模式的观察表明，重要的神经元在长推理生成过程中表现出**周期性重燃（periodic re-firing）**现象（例如，每隔约 22 个 token 重燃一次，重燃比例约为 76%）。
- 为了捕捉这一特性，该方法维护了一个在更新阶段累积重要性得分的激活记忆。记忆通过逐元素最大值进行更新（ $m_n \leftarrow \max(m_{n-1}, s_n)$ ）。
- 这确保了在早期阶段被识别为重要的神经元即使在激活暂时下降时，仍能作为保留候选对象，从而使掩码能够适应不断演变的模式，而不会丢失关键组件。

算法流程
该方法在自回归生成过程中分为三个阶段运行：

输入阶段： 处理初始提示词以计算初始重要性得分。
密集探索阶段： 执行设定数量的密集步数（ $T_{init}$ ），以建立推理方向并收集上下文相关的激活统计数据。此时更新记忆，并生成第一个剪枝掩码。
周期性自适应剪枝阶段： 在稀疏计算（ $T_p$ 步）和密集探索（ $T_E$ 步）之间交替进行。在每个密集探索阶段结束时，更新激活记忆，并基于累积的记忆生成新的 top-k 掩码。

核心贡献

实证识别了批次崩溃（Batched Collapse）： 本文首次通过实验证明，现有的无需训练的剪枝方法（包括静态和自适应方法）在批次推理的推理任务中会导致严重的性能下降。具体而言，在批次大小为 4 时，自适应方法（如 TEAL）相比密集模型平均损失了 58.4 到 67.7 个百分点的准确率。
鲁棒的批次剪枝框架： 作者引入了一种方法，通过使用周期性 top-k 选择并结合追踪神经元周期性重要性的激活记忆，在批次设置下保持了准确率。
无需校准的操作： 不同于需要依赖外部语料库进行离线校准的方法（如 Wanda、TEAL），该方法完全依赖运行时激活，因此是无需校准的。

实验结果
实验在 DeepSeek-R1-Distill-Qwen-7B 和 DeepSeek-R1-Distill-Llama-8B 上针对五个推理基准测试（GSM8K, MATH500, MINERVA, AMC23, GPQA-DIAMOND）进行了评估。

准确率： 在目标稀疏度为 50%、批次大小为 4 的情况下，在 Qwen-7B 模型上，该方法比之前的最先进方法（TEAL）在平均准确率上高出 39.7 个百分点（54.0% vs. 14.3%），在 Llama-8B 模型上高出 24.1 个百分点。
稳定性： 与 TEAL（在批次大小为 1 时表现优异但随批次增大而崩溃）不同，该方法在所有批次大小（1, 4, 8, 16）下均能保持一致的性能。
加速比： 在 Qwen-7B 模型实现 50% 实际稀疏度时，该方法比密集推理实现了 1.40× 的加速。在批次设置下，这种加速效果更为显著，因为该方法从结构上减少了权重矩阵的维度，直接降低了计算量，而依赖跳过零激活的方法在工作负载从内存受限转向计算受限时效果会变差。
高稀疏度： 该方法即使在高稀疏度水平下也能保持强劲性能（例如，在 50% 目标稀疏度下达到 71.0% 的准确率），而基准方法在超过 40% 稀疏度后性能急剧下降。

意义与主张
本文声称其方法解决了部署大语言推理模型的一个关键瓶颈：现有自适应剪枝技术与批次推理的不兼容性。通过解决批次聚合中固有的分布偏移问题，并利用神经元重燃的周期性特征，该方法实现了高效、高吞吐量的推理，而不会出现先前方法中出现的性能崩溃。作者强调，其收益是由周期性 top-k 选择和激活记忆驱动的，而非特定聚合算子（max 与 mean）的选择，后者对性能的影响差异极小。

技术摘要：面向大语言推理模型的批次自适应剪枝

类似论文