💬 NLP

Two-Stage Regularization-Based Structured Pruning for LLMs

该论文提出了一种名为 TRSP 的两阶段正则化结构化剪枝方法，通过引入可学习权重和知识迁移机制，在无需大量重训练的情况下有效保留了大语言模型的知识并实现了显著的端到端加速。

原作者： Mingkuan Feng, Jinyang Wu, Siyuan Liu, Shuai Zhang, Ruihan Jin, Feihu Che, Pengpeng Shao, Zhengqi Wen, Jianhua Tao

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingkuan Feng, Jinyang Wu, Siyuan Liu, Shuai Zhang, Ruihan Jin, Feihu Che, Pengpeng Shao, Zhengqi Wen, Jianhua Tao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 TRSP 的新方法，旨在解决大型语言模型（LLM）“太胖、太慢、太贵”的问题。

想象一下，大型语言模型就像一个超级天才的图书馆，里面藏书（参数）浩如烟海，知识渊博，但体积巨大，搬运和阅读都非常慢。为了让它在普通电脑上也能跑得快，我们需要给这个图书馆“瘦身”。

以前的瘦身方法（结构化剪枝）就像是一个粗暴的图书管理员：

他随便挑几本书，觉得“这本书好像没人看”，直接扔进碎纸机。
结果发现，扔掉的书里其实藏着很多关键知识，图书馆的智商瞬间下降。
为了挽回损失，管理员不得不熬夜重新培训（重新训练），花费巨大的时间和精力。

TRSP 方法则像是一位高明的图书整理专家，它不直接扔书，而是分两步走，让知识“搬家”：

第一步：给书架贴标签（第一阶段正则化）

专家给图书馆里的每一个书架（Transformer 层）都贴上一个可调节的“重要性标签”。

他先让图书馆正常运作，同时观察哪些书架上的书被频繁借阅，哪些比较冷清。
通过一种特殊的数学技巧（ $\ell_1$ 正则化），他慢慢调整这些标签，让那些“不重要”的书架权重变低，就像给它们贴上“即将被清理”的黄色标签。
关键点：这时候书还在，只是被标记了。

第二步：知识大挪移（第二阶段正则化）

这是 TRSP 最神奇的地方。在正式把那些贴了黄色标签的书架拆掉之前，专家先做了一件大事：

他强制要求那些“即将被拆”的书架：“你们要把自己肚子里的知识，全部吐出来，塞进旁边那些‘重要’的书架里！”
他通过数学手段（对输入和输出的差异进行正则化），迫使这些被标记的书架变得“透明”——就像它们什么都没做一样（输入是什么，输出还是什么）。
既然它们变得透明了，那它们原本承载的知识去哪了？全被挤压到了旁边那些保留下来的书架上。
比喻：就像你要把一个小房间里的家具搬走，你不是直接扔掉，而是先把家具都塞进隔壁的大房间里，整理好，确保大房间能完美替代小房间的功能，然后再把小房间拆掉。

第三步：拆掉多余房间（剪枝）

现在，那些被标记的书架已经变得“透明”且“空无一物”（知识已转移），专家就可以安全、放心地直接把它们拆掉，而不会让图书馆的智商下降。

这个方法好在哪里？

不丢知识（Retention of Knowledge）：
以前的方法是“先拆后补”，拆的时候知识就丢了。TRSP 是“先补后拆”，在拆之前就把知识转移好了，所以模型拆完瘦身后，依然很聪明。
不用重新培训（Retraining Free）：
因为知识已经转移好了，拆完直接就能用，不需要像以前那样花几天几夜去重新训练模型，省下了巨大的算力和时间成本。
跑得飞快（Acceleration）：
因为直接拆掉了整个“房间”（层），模型变薄了，推理速度大幅提升。实验显示，在保持高智商的同时，速度能提升 1.35 倍甚至更多。
只需一点点样本（Minimal Cost）：
这位专家只需要从图书馆里随机借来128 本书看看，就能完成整个整理和搬迁工作，不需要把整个图书馆的书都读一遍。

总结

TRSP 就像是一个聪明的搬家策略：它不是粗暴地扔掉旧家具，而是先让旧家具把功能“复制”到新家具上，等确认新家具能完美胜任后，再优雅地移除旧家具。

这使得大型 AI 模型在保持强大能力的同时，变得更轻、更快、更便宜，让普通人也能在自己的设备上轻松使用强大的 AI。

1. 研究背景与问题 (Problem)

大型语言模型（LLMs）虽然性能卓越，但其庞大的参数量严重阻碍了其在现实世界中的部署。结构化剪枝（Structured Pruning）作为一种有效的压缩方案，旨在通过移除冗余参数来提升效率。

然而，现有的**层剪枝（Layer-wise Pruning）**方法存在显著局限性：

知识丢失严重：传统方法通常先根据某种指标计算每一层的重要性，直接移除“不重要”的层，然后再进行微调（Fine-tuning）。然而，即使是看似不重要的层也可能包含关键知识，直接移除会导致不可逆的知识损失。
高昂的重训练成本：由于直接移除层导致性能大幅下降，模型通常需要大量的重训练（Retraining）来恢复性能，这带来了巨大的计算开销。
缺乏知识迁移机制：现有方法未能有效地在剪枝前将被移除层中的知识迁移到保留层中。

2. 方法论 (Methodology: TRSP)

为了解决上述问题，作者提出了 TRSP (Two-Stage Regularization-Based Structured Pruning)，一种基于两阶段正则化的结构化剪枝方法。其核心思想是**“先迁移知识，再剪枝”**，无需重训练即可保持模型性能。

TRSP 流程包含四个关键阶段：

(1) 数据准备

从标准基准数据集（如 WikiText-2, Alpaca 等）中随机采样少量数据（例如 128 个样本），用于后续的正则化过程。由于数据量小，计算开销极低。

(2) 第一阶段正则化：迭代学习层权重 (Learn Layer Weights)

机制：为每个 Transformer 层引入一个可学习的权重 $S[i]$ ，初始化为 1。
目标：在损失函数中加入所有层权重的 $\ell_1$ -范数作为正则化项。
公式： $L_{learn} = L(W, X) + \lambda_1 \sum \|S[i]\|_1$
过程：通过迭代优化（贪心策略），逐步降低某些层的权重。权重越低的层被认为越不重要。每轮迭代中，权重最小的层被暂时“掩码”（Masked），直到选出所有需要剪枝的层。
创新点：采用迭代方式而非一次性（One-shot）选择，避免了连续移除相邻层导致的性能崩溃。

(3) 第二阶段正则化：知识迁移 (Knowledge Transfer)

机制：针对第一阶段识别出的待剪枝层（集合 $P$ ），对其输出与输入的差值施加正则化（ $\ell_1$ 或 $\ell_2$ 范数）。
目标：强制待剪枝层的输出尽可能接近输入（即 $X_{out} \approx X_{in}$ ），使其趋近于恒等映射（Identity Mapping）。
原理：通过最小化 $X_{out} - X_{in}$ ，迫使模型将原本存储在这些层中的关键知识“迁移”并重新分布到剩余的保留层中。
公式： $L_{sum} = L(W, X) + \lambda_2 \sum_{i \in P} \|X_{out}^i - X_{in}^i\|$
效果：在剪枝发生前，模型已经完成了知识的重组，因此直接移除这些层时，性能损失极小。

(4) 剪枝 (Pruning)

直接移除经过上述两阶段正则化处理后权重最小的层。
无需重训练：由于知识已在正则化阶段完成迁移，剪枝后的模型可直接使用，无需额外的微调步骤。

3. 主要贡献 (Key Contributions)

知识保留机制：提出了两阶段正则化策略，在剪枝前主动将待移除层的知识迁移至保留层，有效缓解了传统剪枝方法中的知识丢失问题。
免重训练（Retraining-free）：TRSP 在剪枝后无需进行昂贵的微调即可保持高性能，显著降低了计算成本和部署门槛。
卓越的性能表现：在生成任务（Perplexity）和零样本任务（Zero-shot Accuracy）上，TRSP 显著优于现有的强基线方法（如 SLEB, ShortGPT, LaCo 等）。
端到端加速：作为层剪枝方法，TRSP 能带来显著的端到端推理加速（吞吐量提升和延迟降低）。
低数据依赖与低成本：仅需极少量的校准数据即可完成正则化过程。

4. 实验结果 (Results)

作者在多个模型（Phi-2, OPT, LLaMA2/3）和不同剪枝比例（25%, 50%）上进行了广泛实验：

性能对比：
- 在 LLaMA2-7B 上剪枝 25% 层，TRSP 的困惑度（PPL）比次优方法 ShortGPT 低 20%。
- 在 OPT-13B 上剪枝 25%，平均准确率仅比稠密模型下降 1%。
- 在 LLaMA2-70B 的大规模模型验证中，TRSP 同样保持了最佳性能，平均准确率达到 74.32%。
加速效果：
- 在 OPT-13B 上剪枝 50%，吞吐量提升 75%，延迟降低 46%。
- 在 LLaMA2-13B 上剪枝 50%，吞吐量提升 71%，延迟降低 45%。
鲁棒性：
- 在不同剪枝比例（20%-60%）下，TRSP 均表现出优于其他方法的稳定性。
- 对校准数据集（Alpaca, WikiText-2, PTB, C4）不敏感，具有广泛的适应性。
消融实验：
- 证明了迭代学习层权重比一次性选择（One-shot）更有效，避免了连续移除相邻层的问题。
- 证明了第二阶段正则化对于知识迁移至关重要，移除该步骤会导致性能显著下降。

5. 意义与价值 (Significance)

理论创新：揭示了通过正则化引导知识从“待剪枝层”向“保留层”迁移的机制，为结构化剪枝提供了新的理论视角。
工程价值：TRSP 提供了一种低成本、高效率的 LLM 部署方案。它解决了传统剪枝方法“剪枝必微调”的痛点，使得在资源受限的边缘设备或高并发场景下部署大模型成为可能。
通用性：该方法不仅适用于当前的 LLM，其基于正则化的知识迁移思想也为未来其他架构（如 CNN）的剪枝提供了参考。

总结：TRSP 通过巧妙的两阶段正则化设计，成功实现了“在剪枝前完成知识重组”，在大幅压缩模型体积、提升推理速度的同时，最大限度地保留了模型的语言建模能力和推理性能，且无需昂贵的重训练过程，是当前 LLM 高效部署领域的一项突破性工作。