🤖 machine learning

Pruning Deep Neural Networks via the Marchenko--Pastur Distribution

本文引入了一种基于马尔琴科-帕斯图尔（Marchenko-Pastur）分布的剪枝框架，该框架通过为组件移除提供确定性的理论证明，在仅需极少微调的情况下实现了深度神经网络的高精度保留，并在 ImageNet-1k 上的各种架构（如 ViT、ResNet 和 ConvNeXt）中展示了显著的性能与效率提升。

原作者： Leonid Berlyand, Theo Bourdais, Houman Owhad, Yitzchak Shmalo

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Leonid Berlyand, Theo Bourdais, Houman Owhad, Yitzchak Shmalo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个庞大且极其精细的图书馆（深度神经网络），里面装满了数百万本书（权重）。你想把这个图书馆缩小，装进一个小的背包里，以便于携带，但你非常害怕如果扔错了书，图书馆就会变得语无伦次。

这篇论文介绍了一种聪明的新方法，可以决定扔掉哪些书，而无需在之后重新阅读整个图书馆。

问题：“过度设计”的图书馆

深度神经网络通常是“过度参数化”的，这意味着它们拥有的书籍比讲述一个故事实际需要的要多得多。通常，要缩小规模，你需要：

扔掉一些书。
重新阅读整个图书馆，看看缺了什么。
重写剩余的书籍以修复故事。
重复这个过程多次。

这需要很长的时间和大量的计算能力。作者们想知道：我们能不能只扔掉正确的书，然后就此完事？

解决方案：马尔琴科–帕斯图尔（Marchenko–Pastur）水晶球

作者使用了一种数学工具——随机矩阵理论，具体来说是被称为马尔琴科–帕斯图尔（MP）分布的东西。

把神经网络层中的权重想象成音乐会上的一大群人。

“噪声”（主体）： 大部分人群只是在随机地走动，发出一种普遍的嗡嗡声。用数学术语来说，这就是数据的“随机噪声”或“主体”。
“信号”（尖峰）： 少数人站在椅子上，挥舞着旗帜，或者喊着特定的指令。这些是网络学到的重要模式。

马尔琴科–帕斯图尔分布就像是一个水晶球，它能准确地告诉你“随机走动的人群”（噪声）与“站在椅子上的人”（信号）之间的界限在哪里。

方法：他们是如何进行剪枝的

他们并没有仅仅通过扔掉最小的书（这是一种常见的被称为“幅度剪枝”的方法），而是利用水晶球来识别“噪声”书籍。

审计： 他们观察网络的一个层，并询问：“这一部分是随机走动的群众，还是一个信号？”
切割： 如果数学证明一组权重仅仅是“噪声”（属于马尔琴科–帕斯图尔主体部分），他们就会将其切除。
“恢复”技巧： 有时，他们会不小心切除过多。所以，他们有一个“恢复”步骤。他们观察被切掉的部分，然后说：“等等，这个特定的部分其实对故事很重要，尽管它看起来像噪声。”于是他们把仅仅那一个部分放回去。
- 类比： 想象你在收拾行李。你扔掉了所有的袜子。然后你意识到你需要其中一双特定的袜子去参加婚礼。你把那双袜子放了回去。你的行李依然很轻便，但你并没有丢掉那只婚礼用的袜子。

结果：快速且准确

作者在著名的图像识别模型（例如识别照片中猫、狗和汽车的模型）上测试了该方法。

速度： 他们不需要花费数周时间重新训练模型。在剪枝后，他们只进行了少量的“微调”（就像一次为期 3 天的快速体检）。
准确率： 即使在切除了网络很大一部分（使规模缩小了 50% 到 60%）之后，模型的得分仍然与巨大的、全尺寸的版本几乎一样。
- 例子： 一个名为 ViT-B/16 的模型被缩小后，其准确率仍保持在 83.41%（仅比原始版本略有下降）。
现实世界速度： 因为网络现在变小了，并且具有特定的模式（比如保留每 4 个权重中的 2 个），它在现代计算机芯片（GPU）上运行得更快。他们在特定硬件上测量到了约 1.4 倍至 2.7 倍 的加速。

“证书”（为什么我们可以信任它）

作者不仅仅是在猜测；他们编写了数学上的“证书”。

这就像是一个安全保证。他们从数学上证明了，如果他们移除的“噪声”足够小，那么网络讲述的“故事”（预测）就不会改变。
他们还证明了，如果网络训练得足够久，其“噪声”部分会自然而然地萎缩到几乎为零，只留下重要的“信号”尖峰。

总结

这篇论文就像是找到了一个智能过滤器，用于深度神经网络。它不是盲目地删除最小的数字，而是利用数学定律（马尔琴科–帕斯图尔）来识别并移除神经网络中的“背景噪声”。

其结果是一个更小、更快的网络，它几乎能完美地工作，而且只需极少的额外工作即可完成修复。这是一种在不破坏模型的前提下，让 AI 模型变得更轻量、更快速的方法。

技术摘要：通过 Marchenko–Pastur 分布进行深度神经网络剪枝

1. 问题陈述

本文探讨了压缩深度神经网络（DNN），特别是视觉 Transformer（ViT）和卷积神经网络（CNN），以在严格约束下进行部署的挑战。其主要目标是在实现显著稀疏性（减少乘加运算，即 MACs）的同时保持高精度，但有一个关键约束：极低的剪枝后微调预算。

现有的剪枝流程通常依赖于长期的重新训练计划或广泛的重新优化，以在剪枝后恢复精度。本研究调查了是否可以通过一种 Marchenko–Pastur (MP) 随机矩阵方法 提供确定性的“数据路径证书”（data-path certificates），从而允许在极短的校准和微调周期（例如每个周期一个 epoch 或三个蒸馏 epoch）内实现精确剪枝。核心问题在于如何在不访问验证集或测试数据的情况下，在训练好的权重矩阵中区分“噪声”（可以被移除的类随机成分）与“信号”（必须保留的结构化成分）。

2. 方法论

2.1 理论框架：信号与噪声

作者提出了一个建模假设，即第 $\ell$ 层训练好的权重矩阵 $W$ 可以分解为一个结构化信号成分 $S$ 和一个随机扰动成分 $R$ ：
$W = S + R$

信号 ( $S$ )： 被假定为相对于层宽的低秩或近似低秩，代表学习到的特征。
噪声 ( $R$ )： 被建模为独立的随机扰动。根据 Marchenko–Pastur (MP) 定律，此类随机矩阵的奇异值形成一个具有已知上界 $\sigma_+$ 的“体量”（bulk）分布。

该理论认为，如果移除的成分 $R$ 对对数几率（logit）的影响较小，那么移除它会降低弹性网络（elastic-net）目标函数，并保留具有足够密集间隔（dense margins）的样本。

2.2 剪枝算法

本文根据该理论框架引入了两种主要的算法策略：

SER (Sparsify–Estimate–Restore，稀疏化–估计–恢复)：
- 机制： 从一个过度剪枝的候选模型开始（基于 MP 指导的预算移除权重）。然后通过数据路径评估“丢失的质量”，并恢复对目标稀疏模型最有用的条目。
- 混合量级–SER (Hybrid Magnitude–SER)： 将标准的量级剪枝（在低稀疏度下有效）与 SER（在高稀疏度下有效）相结合，以利用量级剪枝的稳定性以及 SER 的谱敏感性。
CAST (结构化稀疏性)：
- 机制： 针对固定的 $k:n$ 结构化稀疏模式（例如 2:4, 6:12, 8:16），这些模式与 NVIDIA Tensor Cores 等硬件加速器兼容。
- 过程： 使用一种“受证书启发”的目标函数来选择组内保留哪些条目。它采用了“自由恢复”的概念：在执行成本已由稀疏模式固定的组内，恢复一个保留的条目可以在不改变执行权重数量的情况下提高理论证书的性能。
- 与 ToMe 集成： 对于视觉 Transformer，该方法将权重剪枝与 Token 合并（Token Merging, ToMe）结合使用，以减少处理的 token 数量，进一步降低计算负载。

2.3 理论证书

论文提供了三个主要的理论结果来证明剪枝的合理性：

确定性数据路径证书： 证明如果移除的成分 $R$ 满足其传播对数几率效应的界限 ( $L_s \|R\psi_1(s)\|_\infty$ )，则剪枝会降低弹性网络目标函数，并保留密集间隔超过两倍扰动的训练样本。
剪枝–恢复证书： 对结构化稀疏性进行建模，表明在固定的稀疏执行组内恢复条目可以在不改变最终执行模式的情况下改善界限。
加性 $L_2$ 正则化理论： 表明在单侧平稳性和局部路径收敛的情况下，可容纳的类随机成分在训练极限时消失，而持续的信号尖峰（signal spikes）则趋于稳定，此时 MP 体量发生塌缩。

3. 关键结果

3.1 非结构化剪枝 (ViT-B/16)

在 ImageNet-1k 上，Hybrid Magnitude–SER 方法在 50% 非结构化稀疏度下实现了 83.37% 的 top-1 准确率。这仅比密集基准（85.11%）下降了 1.74 个百分点 (pp)，且仅使用了极短的微调预算（每个周期一个 epoch）。其表现优于经典的量级剪枝（81.67%）和直接的随机矩阵理论 (RMT) 基准（82.57%），且两者处于相同条件下。

3.2 结构化稀疏性与部署

论文报告了针对结构化 $k:n$ 模式的结果，并区分了准确率/MAC 统计与实际硬件加速：

ViT-B/16 (2:4 + ToMe)： 在减少 59.81% 稀疏执行 MACs 的情况下，实现了 83.41% top-1 (−1.70 pp)。在 NVIDIA A40 上，该检查点展示了 1.388× 的原生稀疏 Tensor Core 加速。
ViT-B/16 (无 ToMe, A100)： 当从密集模式转向 2:4 稀疏模式（不使用 ToMe）时，实现了 2.705× 的加速。
更宽的模式：
- ViT-B/16 (6:12)： 83.74% top-1。
- Vi-L/16 (8:16 密集+置换)： 85.33% top-1 (−0.51 pp)。
- ConvNeXtV2-Base (12:16)： 86.35% top-1 (−0.37 pp)。
CNNs：
- ResNet50 (8:16 密集+置换)： 75.87% top-1 (−0.26 pp)。
- ResNet152d (CAST-conv+置换)： 81.33% top-1 (−1.53 pp)，并实现了 1.62× 的 A40 im2col+2:4 稀疏 GEMM 加速。

3.3 缩放法则 (Scaling Laws)

经验证据表明，较大的密集检查点在匹配的稀疏度水平下往往会产生更小的 top-1 损失。作者将其归因于 MP 边缘是一个在较大矩阵中更容易解析的渐近谱对象，且更宽的过度参数化层包含了一个更大的“类随机体量库”（random-like bulk reservoir），其移除对数据路径的影响极小。

4. 重要性与主张

本文声称其主要贡献在于：

高准确率保持与短预算： 证明了在极短的微调（例如使用 CAST 进行 3 个蒸馏 epoch）条件下，仍能保持高准确率，这与需要长期重新训练的流程形成了对比。
确定性证书： 提供了解释通过移除类随机成分（通过 MP 诊断识别）与保持准确率（特别是对于大间隔样本）之间联系的理论保证。
实际可部署性： 验证了这些理论信号可以转化为现实世界中针对 ViTs 和 CNNs 的硬件（A40/A100）加速，特别是结合结构化稀疏模式（2:4, 6:12 等）时。
层级分配： 利用 MP 谱诊断，根据各层的谱特性分配不同的剪枝预算（将类 MP 层视为更大预算的候选对象，同时保护非 MP 或重尾层）。

作者明确指出，MP 边缘作为一个充分的随机矩阵条件以及实用的层级信号，而非针对所有 Transformer 架构的完整认证界限。这项工作被呈现为一种“受证书启发”的方法，其中理论用于指导算法，而经验结果则验证了短预算剪枝策略的有效性。