🤖 machine learning

Weight Concentration Regularization for Improving Pruning Robustness Under High Sparsity

本文提出了一种名为权重集中正则化（WCR）的新型训练期正则化方法，该方法通过放大一小部分具有信息量的参数并抑制其他参数，从而在多种深度学习任务中显著提升高稀疏度下一剪枝的鲁棒性。

原作者： Vincent-Daniel Yun, Junhyuk Jo, Sunwoo Lee

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Vincent-Daniel Yun, Junhyuk Jo, Sunwoo Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《用于提高高稀疏度下剪枝鲁棒性的权重集中正则化》的解释，已用通俗易懂的语言并辅以生动的类比进行翻译。

核心难题：“过度设计”的大脑

想象一下，你构建了一个庞大且极其强大的人脑（深度神经网络），它非常擅长识别猫咪、诊断疾病或撰写故事。然而，这个大脑过于巨大。它拥有数十亿个神经元之间的微小连接（参数）。

因为它太大了，所以无法装进你的口袋（比如手机里），或者在医院运行成本太高。你需要把它变小。

解决方案：剪枝
“剪枝”就像拿一把剪刀对这个大脑下手，剪掉你认为不重要的连接。目标是在保留大脑智能的同时，扔掉那些“死重”。

致命缺陷：“一次性”灾难
通常情况下，如果你直接剪掉 90% 的连接，大脑就会发疯并遗忘一切。这就像剪掉一个城市 90% 的道路；交通瘫痪，城市随之崩溃。

为了解决这个问题，科学家通常会在剪枝后尝试“重新训练”大脑，但这需要很长时间和大量的计算能力。一些研究人员试图只剪一次大脑（称为“一次性剪枝”）而不进行重新训练，但标准的大脑根本无法承受如此大规模的手术。它们会失去准确性。

旧方案：为何它们不够完美

在这篇论文之前，科学家尝试了两种主要方法来让大脑在剪枝后存活：

“均匀收缩”法（ℓ1 正则化）： 想象一下，你告诉大脑里的每一个神经元都稍微缩小一点。这确实让大脑变轻了，但它同等程度地削弱了所有人。当你去剪掉那些“微小”的神经元时，你意外地剪掉了那些原本就勉强维持的神经元，大脑依然会崩溃。
“平坦地形”法（SAM, CrAM）： 这就像教大脑站在一个平坦的高原上，而不是尖锐的山峰上。如果大脑站在平坦的高原上，即使被推一下，也不容易掉下去。这有所帮助，但它并没有改变哪些连接是强的，哪些是弱的。

新想法：权重集中（WCR）

这篇论文的作者提出了一种新的训练技巧，称为权重集中正则化器（WCR）。

类比：“明星球员”与“板凳队员”
想象一支运动队。

旧方法： 队里的每个球员都表现平平。如果你裁掉 90% 的球员，你就会失去原本仅有的那几个好手，球队也就失败了。
WCR 方法： 在训练期间，WCR 就像一位教练，他说：“好吧，我们要让三个球员成为绝对的超级巨星。我们将把所有的能量、专注力和训练资源都给他们。剩下的 97% 的球员呢？我们要让他们去坐冷板凳，几乎什么都不做。”

它是如何工作的：

集中能量： WCR 迫使大脑的“权重”（重要性）堆积在极少量的连接上。这些连接变成了“超级巨星”。
将其他归零： 其他连接被推低至接近零的值。它们变成了“板凳队员”。
手术时刻： 现在，当你去剪枝（剪掉）大脑时，你只需剪掉那些板凳队员。既然它们原本就几乎没做什么，剪掉它们并不会伤害球队。“超级巨星”依然存在，承担着所有重担。

论文实际发现

研究人员在三种不同的场景中测试了这位“教练”（WCR）：

图像分类（识别图片）： 他们在用于识别汽车、狗和数字的模型上进行了测试。
- 结果： 当他们剪掉 96% 的连接（仅保留 4%）时，使用 WCR 训练的模型仍然获得了高分。而没有 WCR 的模型则完全失败。当与其他“平坦地形”方法结合使用时，效果甚至更好。
医学分割（寻找肿瘤）： 他们在用于在 MRI 扫描中寻找脑肿瘤的模型上进行了测试。
- 结果： 没有 WCR 时，剪枝模型会导致肿瘤轮廓消失，或者看起来像锯齿状、破碎的线条。使用 WCR 后，即使在剪掉 88% 的连接后，模型仍能保持肿瘤轮廓清晰准确。
大型语言模型（LLMs）： 他们在用于撰写文本和回答问题的人工智能（如 Qwen 和 LLaMA）上进行了测试。
- 结果： 即使在这些庞大的文本模型中，WCR 也帮助人工智能在剪掉 30% 的专用部分后依然保持智能。它的表现优于"DeepHoyer"等其他方法。

“为什么”和“怎么做”

数学原理： 论文从数学上证明，添加这位“教练”并不会破坏训练过程。大脑的学习速度与以前相同；它只是学会了以不同的方式组织其连接。
视觉效果： 如果你查看连接强度的图表，普通模型看起来像一座平缓的山丘。而使用 WCR 的模型看起来像一座火山：一个微小而尖锐的顶峰（超级巨星）和一个巨大而平坦的基座（板凳队员）。这种形状使得剪掉基座而不触碰顶峰变得非常容易。

总结

这篇论文介绍了一种简单的训练技巧，教导 AI 模型自我组织，使得极少数的连接承担所有繁重的工作。这使得安全地剪除模型的其余部分而不会损失其智能成为可能，从而让强大的 AI 能够在更小、更便宜的设备上运行。

技术摘要：高稀疏度下提升剪枝鲁棒性的权重集中正则化

问题陈述

深度神经网络（DNN）在视觉和语言任务中取得了最先进（SOTA）的性能，但通常需要大量的计算资源，限制了其在资源受限环境中的部署。模型剪枝旨在通过移除不重要的参数来减小模型规模。虽然带有重训练的迭代剪枝是有效的，但其计算成本高昂。一次性剪枝（One-shot pruning）在单步中移除冗余参数而无需重训练，提供了一种更高效的替代方案。然而，使用标准目标函数训练的模型在激进的高稀疏度下往往会遭受显著的精度下降。

先前的工作主要通过两个方向来缓解这一问题：

基于正则化的方法（例如 $\ell_1$ 、DeepHoyer），通过在训练期间塑造权重分布来起作用。然而， $\ell_1$ 会均匀地压缩所有权重，而 DeepHoyer 则诱导尺度不变的稀疏性。两者均未显式地将权重能量集中到一小部分信息丰富的参数上。
抗剪枝优化器（例如 SAM、CrAM、S2SAM），通过平坦化损失景观来提升泛化能力。

identified 的核心局限性在于，标准的稀疏诱导方法并未显式地解决稀疏性与信息保留之间的权衡。当权重重要性分布弥散时，即使移除小幅度权重仍会损害性能，因为“重要”的能量并未充分集中在少数主导参数上。

方法论：权重集中正则化器（WCR）

作者提出了权重集中正则化器（WCR），这是一种旨在重塑权重幅度分布的训练时正则化器。与均匀压缩权重的传统方法不同，WCR 旨在将权重能量集中到一小部分参数上，同时驱动其余参数趋向于零。这产生了一种“重尾”分布，其中少数参数占据了大部分权重能量，使得幅度剪枝能够以最小的性能损失移除可忽略的参数。

数学公式

WCR 通过惩罚绝对权重的方差的倒数来运作。对于选定的具有权重 $w^{(\ell)}$ 的层，作者首先应用平滑的绝对值变换以确保在原点处的可微性：
$\tilde{w}^{(\ell)}_i = \sqrt{(w^{(\ell)}_i)^2 + r} \approx |w^{(\ell)}_i|, \quad r = 10^{-8}$
方差按层计算以处理尺度差异：
$\text{Var}(\tilde{w}^{(\ell)}) = \frac{1}{n_\ell} \sum_{i=1}^{n_\ell} \left( \tilde{w}^{(\ell)}_i - \frac{1}{n_\ell} \sum_{j=1}^{n_\ell} \tilde{w}^{(\ell)}_j \right)^2$
正则化惩罚 $\psi(w)$ 是所有选定层上方差倒数的总和：
$\psi(w) = \sum_{w^{(\ell)} \in \mathcal{W}} \frac{1}{\text{Var}(\tilde{w}^{(\ell)}) + \epsilon}$
其中 $\epsilon = 10^{-8}$ 确保数值稳定性。总训练目标变为：
$\mathcal{L}_{total}(w) = \mathcal{L}(w) + \lambda \psi(w)$
其中 $\lambda > 0$ 是平衡系数。

理论分析

该论文提供了收敛性分析，表明 WCR 保持了随机梯度下降（SGD）的标准收敛速率。在损失函数具有 $\beta_1$ -平滑性和正则化器具有 $\beta_2$ -平滑性的条件下，组合目标满足标准的收敛至平稳性的保证。由于正则化器是权重的确定性函数，它不会引入额外的随机梯度方差。因此，渐近收敛速率保持为 $O(1/\sqrt{T})$ ，与标准 SGD 一致。

主要贡献

WCR 的引入：一种新颖的训练时正则化器，将权重能量集中到一小部分参数上，显式地鼓励重尾权重分布，而非均匀压缩。
理论保证：证明了在温和的平滑性假设下，WCR 保持了 SGD 的标准收敛速率。
实证验证：在多种设置下进行了全面评估，包括：
- 图像分类：在 CIFAR-10/100、SVHN 上的 ResNet-18/50、WideResNet-28-10，以及在 Tiny-ImageNet 上的 ViT-B/32。
- 医学分割：在 LGG 脑 MRI 数据集上的 ResNet-50–UNet。
- 大语言模型（LLM）微调：在 Commonsense-170K 上使用 LoRA 对 Qwen-2.5-1.5B 和 LLaMA-3.2-1B 进行微调。
兼容性：证明了 WCR 与现有的抗剪枝优化器（SAM、CrAM、S2SAM）兼容并能增强其效果，可与其结合以获得进一步的提升。

实验结果

作者在无需重训练的一次性幅度剪枝条件下评估了 WCR。

视觉任务（CNN 与 ViT）：WCR 一致地提高了剪枝后的精度，特别是在高稀疏度水平下（例如 96% 剪枝）。
- 在 CIFAR-10 上使用 ResNet-18，向 SGD 添加 WCR 将 96% 剪枝下的精度从 19.69% 提升至 25.70%。
- 当与 SAM 结合时，WCR 带来了显著的改进：在 96% 剪枝下，精度从仅使用 SAM 的 48.36% 上升至 92.08%（SAM + WCR）。
- 在 S2SAM 上观察到类似趋势（72.51% $\to$ 93.44%），在 SVHN 上也是如此（9.74% $\to$ 95.99%）。
- 对于 ViT-B/32，WCR 将 CIFAR-100 上 80% 剪枝的精度从 SAM 的 64.11% 提升至 84.95%。
医学分割：在 LGG 脑 MRI 数据集上，WCR 显著提高了 F1 分数并降低了 85% 和 88% 剪枝下的豪斯多夫距离。值得注意的是，对于 88% 剪枝下的 SGD，基线未能生成有效的分割，而 SGD + WCR 实现了 0.5280 的 F1 分数。定性结果表明，与基线相比，WCR 更好地保留了病灶边界。
LLM 微调：在基于 LoRA 的微调中，WCR 的表现优于 $\ell_1$ 和 DeepHoyer 正则化器。在 Qwen-2.5-1.5B 上，WCR 在 30% 剪枝下达到了所比较的正则化器中最高的平均精度（69.54%），证明了其在参数高效微调场景中的鲁棒性。
泛化性：主 Hessian 特征值的分析表明，WCR 降低了损失曲面的曲率，表明它将优化引导至更平坦的极小值，这与改善的泛化能力相关。

意义与主张

该论文主张，在训练期间塑造权重幅度分布是提高高稀疏度下鲁棒性的有效方法。WCR 的意义在于其能够：

在大幅度（信息丰富）和小幅度（可忽略）参数之间建立更清晰的分离。
使基于幅度的剪枝能够移除大部分参数，同时产生最小的功能影响。
作为独立的正则化器运行，或作为损失景观平滑方法（如 SAM）的补充组件。

作者得出结论，WCR 提供了一种实用的训练时解决方案，可解决激进的一次性剪枝带来的精度下降问题，适用于 CNN、Transformer 和大语言模型，且无需在剪枝后进行架构更改或重训练。