技术摘要：有效模型剪枝（EMP）

1. 问题陈述

深度神经网络在计算机视觉、自然语言处理和机器人等领域已实现最先进性能，但其日益增长的规模和复杂性因计算、内存和能源的限制，给边缘设备部署带来了重大挑战。虽然模型剪枝是解决这些问题的广泛研究技术，但一个关键且持续的问题仍未解决：给定分配给模型组件的重要性分数向量（$s$），应保留多少个组件以避免牺牲性能？

当前确定稀疏预算的方法通常依赖：

• 昂贵的迭代剪枝过程。
• 手动或启发式的逐层预算。
• 需要仔细调整的超参数。
• 固定的稀疏比率，这些比率可能过于激进（导致性能下降）或过于保守（牺牲效率）。

该论文认为，稀疏度的选择非常敏感，且现有解决方案缺乏直接从分数分布本身推导出的通用、自适应标准。

2. 方法论：有效模型剪枝（EMP）

作者提出了有效模型剪枝（EMP），这是一条通用规则，可直接从重要性分数的分布中确定要保留的组件数量（$N_{eff}$），无需手动预算调度或特定于架构的调整。

核心概念：有效样本量

EMP 将粒子滤波中的**有效样本量（ESS）**概念（在生态学中也称为逆辛普森指数）适配到模型剪枝的语境中。

1. 分数归一化：给定与模型组件相关的分数向量 $s$，计算归一化的概率权重向量 $\omega$：
   $$\omega_i = \frac{|s_i|}{\sum_j |s_j|}$$
2. $N_{eff}$ 计算：有效组件数量定义为：
   $$N_{eff} = \left\lfloor \frac{1}{\sum_i \omega_i^2} \right\rfloor$$
   该值代表分数分布中具有统计显著性的贡献者数量。
3. 剪枝规则：算法保留前 $N_{eff}$ 个组件（或其缩放版本 $\beta N_{eff}$，其中 $\beta$ 为部署旋钮），并丢弃剩余的 $N - N_{eff}$ 个最低分组件。

理论基础

该论文提供了支持 EMP 的严格理论框架：

• 单纯形的几何结构：作者分析了欧几里得空间中标准单纯形的几何结构以解释 $N_{eff}$。他们将保留组件的归一化分数之和定义为“有效质量”（$s_{eff}$）。
• 有效质量的下界：推导出了关于 $N_{eff}$ 的 $s_{eff}$ 的紧下界。具体而言，对于 $2 \le N_{eff} < N$，保留的质量是有界的，从而确保保留了总重要性的显著部分。
• 损失变化的上界：利用引理 3.1（将剪枝比率与海森矩阵迹和权重差异相关联），作者推导出了稠密模型与 EMP 剪枝模型之间性能下降（损失变化 $\epsilon$）的上界。分析表明，随着剪枝比率 $\rho = N_{eff}/N$ 的增加，损失变化的上界迅速衰减，提供了可证明的保证：当剪枝至 $N_{eff}$ 阈值时，性能下降最小。

算法

EMP 算法（算法 1）计算高效，时间复杂度为 $O(N \log N)$：

1. 将分数归一化为概率向量。
2. 计算 $N_{eff}$。
3. 将 $N_{eff}$ 截断至范围 $[1, N]$。
4. 生成保留前 $N_{eff}$ 个索引的二进制掩码。

3. 主要贡献

该论文概述了三项主要贡献：

1. 引入 EMP：提出了一条简单、通用的规则，将任何分数向量转换为有原则的稀疏阈值（$N_{eff}$），并得到有效质量理论保证下界的支持。
2. 理论界限：推导了稠密模型与通过 EMP 获得的稀疏模型之间损失变化（$\epsilon$）的上界。
3. 实证验证：展示了 EMP 在多种架构（MLP、CNN、Transformer、LLM、KAN）和剪枝标准（权重幅度、注意力分数、特征级信号）下的有效性，表明其可与现有方法结合使用而无需额外调整。

4. 实验结果

作者进行了广泛的数值实验，以验证 $N_{eff}$ 作为剪枝阈值的鲁棒性。

• 多样化架构：实验在全连接网络（FC5、FC12）、CNN（AlexNet、VGG16、ResNet18、ResNet50）和 Kolmogorov-Arnold 网络（KANs）上进行。
• 大型语言模型（LLM）：EMP 应用于 GPT-2 和 LLaMA/LLaMA-2 系列。
  • GPT-2：使用泰勒重要性（Taylor importance）和权重范数标准，EMP 确定保留约 $N_{eff}$ 个头（例如，泰勒标准为 144 个头中的 141 个，权重范数标准为 134 个）会导致困惑度（PPL）增加可忽略不计。
  • LLaMA：EMP 能够“修复”简单的基于幅度的剪枝。虽然固定的 50% 幅度剪枝导致显著的性能下降，但 EMP 选择的稀疏度（约 37%）保持了接近稠密模型的性能，优于固定稀疏基线。
• $\beta$ 的鲁棒性：作者测试了缩放系数 $\beta \in [0.5, 2.0]$。结果一致表明，$\beta = 1$（精确保留 $N_{eff}$）标志着转折点：超过此阈值进行剪枝会导致性能下降，而低于此阈值进行剪枝则效率收益递减。
• 特征级剪枝：EMP 应用于图像像素（RGB 通道）。该方法成功将低重要性坐标置零，同时保持结构相似性（SSIM）和峰值信噪比（PSNR），表明其适用于特征选择。

关键观察：在所有测试的标准和架构中，当在 $N_{eff}$ 阈值进行剪枝时，稠密模型与 EMP 剪枝模型之间的损失变化（$\epsilon$）可忽略不计（通常 $\le 0.1$）。

5. 意义与主张

该论文声称，EMP 提供了一种通用、与标准无关且与架构无关的自适应稀疏化机制。

• 通用阈值：论文认为，相对于性能损失的稀疏度的自然度量不是原始保留比率（$\rho = N_{ret}/N$），而是相对于有效数量的比率（$\beta = N_{ret}/N_{eff}$）。$N_{eff}$ 作为导致显著性能损失的数据驱动阈值。
• 质量指标：EMP 提供了一种评估剪枝方法质量的方式。比率 $N/N_{eff}$ 指示分数分布的“质量”；较低的比率意味着分布更集中（因此更易于剪枝）。
• 实用价值：EMP 消除了手动调整稀疏预算超参数的需求。它可以应用于权重、通道、神经元、注意力头，甚至原始图像特征。
• 理论保证：与许多启发式剪枝方法不同，EMP 得到了保留重要性质量的下界和性能下降上界的理论支持。

作者得出结论，EMP 代表了从固定的、启发式的稀疏预算向原则性的、统计方法的转变，该方法能适应模型分数分布的内在冗余性。作者建议的未来工作包括探索门控 EMP、训练期间的特征级剪枝，以及在注意力汇（attention sinks）和大规模 LLM 微调中的应用。