💬 NLP

Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

本文通过在特定任务语言模型上进行的系统性剪枝实验表明，神经元对性能的贡献并非均匀分布，揭示出少量高度专业化的神经元对任务成功至关重要，而剩余网络则表现出可安全剪枝并通过微调随后恢复的冗余性。

原作者： M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）是一座拥有数百万名工人（神经元）的庞大、繁忙的城市。每位工人都有自己的工作，但在一个通用型城市中，大多数工人都是“通才”——他们既能修管道，也能写诗歌，样样略通。

本文提出了一个简单的问题：如果我们将这座城市专门化，只用于一项工作（例如解决数学问题或编写代码），是否所有工人都必须留在那里？或者，有些工人实际上只是被其他工作“分心”了？

以下是研究人员发现的真相，通过日常类比进行解释。

1. “专家”与“分心者”

研究人员考察了专门针对数学和代码训练的模型。他们想知道：哪些工人实际上在做数学，而哪些工人只是在白日做梦想着别的事情？

他们开发了一种测量“专注度”的方法。想象给每位工人进行一次测试。

专家： 当你提出数学问题时，这位工人会非常兴奋（高激活），但当你询问历史时，他则保持冷静。
分心者： 这位工人对历史感到兴奋，却忽略了数学。

团队发现，在这些专用模型中，有一群独特的“专家神经元”对任务至关重要，而许多其他神经元只是“分心者”，对具体工作并无实质帮助。

2. “剪枝”实验（解雇工人）

“剪枝”是指解雇工人，使城市变得更小、更便宜、更快速的过程。研究人员尝试了三种不同的解雇方式：

随机剪枝（彩票）： 他们完全随机地解雇工人。
- 结果： 城市变小了，但性能迅速下降。这就像从医院里随机解雇人员；你可能会不小心解雇掉唯一的外科医生。
选择性剪枝（明智的削减）： 他们只解雇“分心者”——那些对错误事物感到无聊或兴奋的工人。
- 结果： 城市显著缩小（最多缩小 35%），而剩余的工人（专家）几乎像以前一样维持着城市的运转。这证明了并非所有工人都同等重要；你可以在不损失“信号”的情况下移除“噪音”。
反向剪枝（破坏）： 他们做了相反的事。他们首先解雇那些最兴奋、最重要的“专家”工人。
- 结果： 彻底崩溃。 一旦解雇了大约 10% 的顶级专家，城市就完全停止运转。模型无法解决任何数学问题。这表明关键信息集中在一个非常小且脆弱的神经元群体中。

3. “鲁棒性阈值”（崩溃点）

研究人员发现了一个“临界点”，即在你把事情搞乱之前可以解雇多少工人。

安全区（0% 到 15%）： 你可以解雇多达 15% 的工人，城市仍能正常运行。它甚至可能运行得更快。
危险区（15% 到 20%）： 这是悬崖边缘。如果你解雇超过 20%，模型就开始崩溃。
“陷阱”： 当模型被推得太远（解雇太多）时，它不仅仅会给出错误的答案；它会陷入一个循环。想象一个机器人试图回答问题，说出答案，然后忘记停止说话，只是无限重复同一句话。研究人员称这些为“退化循环”或“陷阱”。

4. “恢复”（重新培训幸存者）

在解雇了这么多人之后，城市受到了损害。但研究人员有一个妙招：微调。
把这想象成给剩余工人上的速成班。他们利用一种称为 LoRA 的技术，对经过剪枝（变小）的模型进行了一点额外的训练。

结果： 模型恢复了！即使是那些被重度剪枝（缩小 35%）的模型，也重新获得了大部分解决数学和编写代码的能力。
关键洞察： 剩余的工人是有能力的，但他们只需要一点“重新定向”，以记住如何在没有已解雇同事的情况下高效协作。

5. 大城市与小城市

他们在两种规模的模型上测试了这一点：一个7B 模型（一座巨大的城市）和一个1.5B 模型（一个较小的城镇）。

大城市（7B）： 能承受更多的解雇。它拥有如此多的冗余工人，以至于即使失去很多人，仍能运作良好。
小城镇（1.5B）： 更加脆弱。它失去正确工作能力的速度要快得多，因为它没有那么多多余的工人可以牺牲。

6. 核心结论

本文用简单的逻辑证明了三点：

专业化是真实的： 在针对特定任务训练的模型中，存在专门负责该任务的特定“脑细胞”，而其他细胞只是噪音。
你可以缩小它们： 通过仔细移除“噪音”工人，你可以使模型更小、更快，而不会失去其智能。
不要切断心脏： 如果你切除了最重要的工人，模型会立即死亡。但如果你切除了不重要的工人，然后给幸存者一次快速的培训复习，模型就能生存并蓬勃发展。

权衡： 虽然缩小模型可以节省内存并使其运行更快（就像更轻的汽车跑得更快），但你必须小心，不要削减过多导致汽车散架。最佳点似乎在于 15–20% 的剪枝，超过这个范围，模型陷入“循环”的风险会急剧增加。

以下是论文《探索剪枝的极限：任务特定神经元、模型崩溃与任务特定大语言模型中的恢复》的详细技术总结。

1. 问题陈述

尽管大语言模型（LLM）实现了最先进的性能，但其巨大的规模和计算成本阻碍了它们在资源受限环境中的部署。虽然神经元剪枝是一种有前景的压缩技术，但大多数现有研究集中在通用模型上。目前尚不清楚任务特定模型（例如专门用于数学或代码的模型）中的神经元是否对性能有均匀贡献，或者是否存在独特的“任务特定神经元”。此外，在模型崩溃之前的剪枝极限、结构不稳定性（例如生成循环）的本质，以及通过微调进行剪枝后恢复的有效性，尚未得到充分理解。

2. 方法论

模型与数据集

模型： 研究评估了Qwen2.5模型的两种规模：1.5B和7B。
- 数学模型： Qwen2.5-Math-1.5B/7B-Instruct。
- 代码模型： Qwen2.5-Coder-1.5B/7B-Instruct。
数据集：
- 目标任务： GSM8K（数学）和 CodeFeedback-Filtered-Instruction（代码）。
- 干扰任务： SQuAD（问答）和 everyday-Conversational-cleaned（对话）。
- 注意： 由于数学和代码共享底层结构逻辑，它们未被视为相互的干扰任务。

基于激活的选择性指标

核心创新是一种基于激活的选择性评分，用于识别对目标任务至关重要的神经元与那些与干扰项相关的神经元。

激活捕获： 从前馈网络（FFN）的中间 SwiGLU 层中提取针对目标和干扰提示的神经元激活值（ $h^{(\ell)}$ ）。
选择性计算： 对于层 $\ell$ $ℓ$ 中的每个神经元 $n$ $n$ ，计算方向选择性分数 $S_n^{(\ell)}$ $S_{n}^{(ℓ)}$ ：
$S_n^{(\ell)} = \frac{\mu_{target,n}^{(\ell)} - \mu_{distractor,n}^{(\ell)}}{\sigma_n^{(\ell)} + \epsilon}$
其中 $\mu$ $μ$ 代表平均激活值， $\sigma$ $σ$ 是标准差。
- 正分数： 与目标相关。
- 负分数： 与干扰项相关（剪枝候选者）。

剪枝策略

选择性剪枝： 移除选择性评分最低（对干扰项友好）的神经元。
随机剪枝： 基线方法，随机移除神经元。
反向剪枝： 移除最高选择性评分（任务关键）的神经元，以测试特定神经元的必要性。
实现： 通过从 MLP 块中的权重矩阵（ $W_{gate}, W_{up}, W_{down}$ ）中物理切片行/列来应用结构剪枝。剪枝在各层中均匀应用以保持硬件效率（可被 128 整除）。

恢复机制

剪枝后，模型经过**LoRA（低秩自适应）**微调以恢复性能。

数学模型： $r=8$ ，学习率= $2\times10^{-5}$ 。
代码模型： $r=16$ ，学习率= $2\times10^{-4}$ 。
在目标任务训练集上训练 2 个 epoch。

评估指标

准确率： 数学使用精确匹配（EM）；代码使用 HumanEval 上的 Pass@1。
稳定性： “陷阱”检测（退化循环、缺失 EOS 标记、重复文本）。
干扰项性能： 语义相似度（BERTScore + SBERT），以确保任务特异性。
资源： VRAM 使用量和推理吞吐量（tokens/sec）。

3. 主要贡献

任务特定神经元专业化： 实证证据表明，任务特定的大语言模型包含一小部分高度专业化的神经元（约 10%），这对性能至关重要，而其余部分则是冗余的或与干扰项相关。
鲁棒性阈值： 确定了关键的剪枝阈值（15–20%）。超过此阈值，准确率急剧下降，结构不稳定性（生成陷阱）呈指数级增加。
反向剪枝验证： 证明仅移除约 10% 的最任务相关神经元会导致模型完全崩溃，而移除 30–35% 的最不相关神经元则保留了显著的功能。
通过微调恢复： 表明 LoRA 微调即使在激进剪枝的模型中也能大幅恢复性能，减轻了准确率损失和生成不稳定性。

4. 关键结果

A. 选择性剪枝 vs. 随机剪枝 vs. 反向剪枝

选择性 vs. 随机： 在所有比例下，选择性剪枝始终优于随机剪枝，证实了基于激活的选择性提供了系统优势。
反向剪枝： 移除前 10% 的任务特定神经元导致性能完全崩溃（接近零准确率）和频繁的生成失败。这证明了关键任务信息集中在网络的一小部分中。
选择性剪枝： 允许高达 35% 的剪枝，准确率逐渐下降，但在较高比例下稳定性受损。

B. 模型规模与鲁棒性

7B vs. 1.5B： 较大模型（7B）表现出更高的冗余度，与较小模型（1.5B）相比，能够容忍更高的剪枝比例且相对准确率损失更小。
阈值： 当剪枝超过**15–20%**时，两种规模均显示出性能急剧下降和“陷阱”（生成循环）激增。

C. 剪枝后恢复（LoRA）

微调成功恢复了所有剪枝级别的性能。
反直觉发现： 在某些情况下（例如 Qwen 1.5B 代码），经过中等程度剪枝的模型（10–15%）在微调后优于轻度剪枝的模型（5%），这表明移除一些冗余有时有助于微调过程。
稳定性： 微调显著降低了生成陷阱的频率，恢复了结构稳定性。

D. 资源效率

VRAM 与吞吐量： 剪枝导致 VRAM 使用量线性减少，推理吞吐量增加。
- 示例（Qwen-7B）： 35% 的剪枝将 VRAM 从 14.26 GB 减少到 10.56 GB，并将吞吐量从 35.83 提高到 42.70 tokens/sec。

E. 逐层分析

早期层： 主要面向干扰项（通用处理）。
中间层： 过渡到与目标相关的激活。
晚期层： 数学模型保持强烈的目标主导；代码模型显示混合状态，偶尔回归到干扰项主导。

5. 意义与启示

神经元专业化： 该研究提供了有力证据，表明任务特定的大语言模型并非均匀冗余；它们依赖于专业化的“核心”神经元。这挑战了所有神经元贡献均等的假设。
剪枝极限： 它定义了剪枝的实用“安全区”（高达约 15%），在此之前，若不进行恢复，结构不稳定性将变得难以管理。
恢复策略： 它验证了LoRA 微调作为剪枝模型 essential 的低成本康复策略，使激进剪枝在部署中变得可行。
硬件优化： 通过物理移除神经元（结构剪枝）而不仅仅是掩码权重，该方法提供了 tangible 的硬件优势（减少 VRAM，提高吞吐量），适合边缘部署。

结论

该论文得出结论，任务特定的语言模型具有独特的架构，其中一小部分神经元驱动任务性能。虽然激进剪枝可能导致模型崩溃和不稳定性，但基于激活的选择性剪枝与剪枝后 LoRA 微调的结合，提供了一条稳健的途径，可在不牺牲关键能力的情况下部署高效、专业化的模型。