🤖 machine learning

Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning

本文提出并验证了一种称为渐进式基于幅值的剪枝（progressive magnitude-based pruning）的单训练周期方法，该方法在训练过程中逐渐增加稀疏度，并且与迭代式和基于初始化的基准方法（如彩票假设、SNIP 和 GraSP）相比，在高稀疏水平下展现出了更优越的准确率。

原作者： Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个精力过剩、极度热衷学习的学生，他正试图学习一门学科。这个学生的大脑里充满了数十亿个连接，但其中许多只是“噪音”——它们并不能真正帮助学生解决问题。事实上，拥有过多的连接会让这个学生变得迟钝、笨拙且难以携带（就像试图把一座巨大的图书馆塞进一个背包里一样）。

这篇论文介绍了一种全新的、高效的方法，旨在教导这个学生如何变得既聪明又精简，而且这一切都可以在一个学年内完成，而不是让他们一遍又一遍地重复整个学年。

以下是他们使用简单类比对该方法的拆解：

问题所在：“彩票”成本太高

科学家们之前发现了一个被称为“彩票假设”（Lottery Ticket Hypothesis）的概念。他们发现，在一个巨大且混乱的神经网络（学生的脑子）中，存在着一张微小的、完美的“中奖彩票”（一个小型且高效的子网络），它能像那个庞大的网络一样出色地解决问题。

然而，寻找这张中奖彩票就像是在通过不断建造草堆、检查、扔掉、再建造新草堆的方式来寻找一根针。旧方法需要：

训练巨大的网络。
剪掉薄弱的部分。
重置剩余部分，使其回到最初的状态。
重新开始并再次训练。
重复这个循环多次。

这耗费了大量的时间和计算能力，违背了想要让模型变得更小、更快的初衷。

解决方案：“渐进式园丁”

作者提出了一种名为**“基于强度的渐进式剪枝”（Progressive Magnitude-Based Pruning）的新方法。他们不再是重置花园并重新开始，而是扮演一名在植物生长过程中**进行修剪的园丁。

以下是他们的“单周期”方法是如何运作的：

线性计划（缓慢修剪）： 想象学生正在参加一个为期 200 天的课程。作者并没有在第 1 天就剪掉 50% 的连接，而是在每一天都剪掉一点点。到课程结束时，他们已经温和地移除了 90% 的连接。这给了网络足够的时间去适应并学习如何在连接减少的情况下运作，而不是被突然的大规模修剪所震惊。
强度规则（剪掉最弱的部分）： 他们如何决定剪掉哪一部分？他们观察每一个连接的“强度”（magnitude）。如果一个连接很弱（接近于零），它就像是一根承重极小的细枝。他们会先剪掉最弱的细枝。
不再再生（单向门）： 一旦某个连接被剪掉，它就保持断开状态。他们不会让它重新生长。这保持了过程的简单性，并确保网络变得越来越小，且永远不会再变大。
“活跃”检查： 他们只观察仍然存活的连接，以此来决定下一步剪掉什么。他们忽略那些已经“死亡”（归零）的连接。这确保了他们始终在剪掉剩余连接中最弱的部分。

结果：小而强大

作者在标准测试（如识别手写数字或小型图像）上测试了这种“渐进式园丁”法，并将其与旧的“重置并重训”方法进行了对比。

速度： 他们仅用一个单一的训练周期就完成了。无需重置，无需重启。
性能： 出人意料的是，他们的“单次（one-shot）”方法通常比那些需要多个周期的旧方法表现更好。
- 在一项标准测试（CIFAR-10）中，他们的法在具有相似稀疏度的情况下，准确率达到了 95.12%，而旧的“彩票”方法仅为 90.5%。
- 即使他们剪掉了几乎所有内容（仅留下 2% 的连接），他们的表现依然优于竞争对手。

“甜点区”（Sweet Spot）

论文还分析了他们在学生开始表现不佳之前可以剪掉多少内容。他们发现了一个位于 70% 到 85% 稀疏度（意味着 70%-85% 的连接被移除）之间的“甜点区”。

在这个范围内，学生的表现几乎没有下降（与全量、巨大的网络相比，差异不到 0.1%）。
这就像是从图书馆里搬走 10 本书中的 8 本，但学生回答每个问题时依然能和以前一样出色。

核心结论

这篇论文声称，你不需要通过“训练、剪枝、重置、重训”这种精疲力竭的过程来寻找一个小巧、高效的神经网络。相反，你只需要在网络学习的过程中逐渐修剪掉薄弱的部分，你最终会得到一个微小、快速且高度准确的模型，而且耗时仅需一半（甚至更少）。

这是一种在不损失智能的前提下，让 AI 模型缩减体积的更简单、更快速的方法。

技术摘要：通过渐进式基于幅值的剪枝在单次训练周期内寻找稀疏子网络

1. 问题陈述

深度神经网络在计算机视觉和自然语言处理领域取得了显著成功，但由于其计算和内存需求，在资源受限的环境（移动端、边缘计算、物联网）中面临着重大的部署挑战。神经网络剪枝提供了一种解决方案，通过移除不重要的参数来减小模型规模，同时保持预测性能。

然而，现有的范式存在特定的局限性：

迭代剪枝（例如：彩票假设 - LTH）： 虽然 LTH 表明在稠密网络中存在稀疏的“中奖彩票”，但寻找它们需要多个完整的训练周期（训练、剪枝、将权重重置为初始化状态、再训练）。这引入了巨大的计算开销，削弱了剪枝旨在实现的效率目标。
基于初始化的剪枝（例如：SNIP, GraSP）： 这些方法在训练开始前基于连接敏感度或梯度流进行剪枝。虽然计算成本较低，但它们在权重重要性随学习过程演变之前就确定了固定的稀疏结构。
动态稀疏训练： 允许通过剪枝和再生（regrowth）改变连接性的方法增加了实现复杂度，并且需要仔细调整再生调度方案。

核心问题在于缺乏一种高效的、单周期的剪枝方法，既能识别高性能的稀疏子网络，又不会产生迭代重训练的计算成本，也不会具有预训练剪枝的僵化性。

2. 方法论

作者提出了渐进式基于幅值的剪枝（Progressive Magnitude-Based Pruning），该方法通过逐渐增加稀疏度，在单个训练周期内识别稀疏子网络。

核心机制

线性稀疏调度： 该方法采用线性调度，在指定的剪枝阶段（时期 $t_{start}$ 到 $t_{end}$ ）将稀疏度从初始值 ( $s_i$ ) 增加到目标值 ( $s_f$ )。
自适应阈值： 在剪枝阶段的每个 epoch，都会基于*仅当前活跃（未被剪枝）*的权重计算全局幅值阈值 ( $\theta_t$ )。这确保了阈值反映了不断演变的权重分布，而不是受到已被置零的已剪枝权重的偏差影响。
单调剪枝（无再生）： 该方法强制执行严格的单调约束：一旦某个权重被剪枝，它将永久保持非活跃状态。新的掩码（mask）是候选掩码（基于当前阈值）与前一个掩码的交集。这消除了对复杂的连接再生机制的需求。
多阶段掩码强制执行： 为了确保剪枝后的权重不会接收梯度更新或因优化器动量而偏离零，掩码在三个阶段进行强制执行：
1. 前向传播前： 在前向传播之前将权重置零。
2. 梯度掩码： 在反向传播期间将梯度置零。
3. 优化器后： 在优化器步进后重新将权重置零，以抵消动量效应。

训练阶段

训练过程包括：

热身（可选）： 在不进行剪枝的情况下进行训练，以使权重幅值趋于稳定。
渐进式剪枝： 使用线性调度逐渐增加稀疏度。
微调： 在目标稀疏度下继续训练，以优化最终的稀疏架构。

3. 主要贡献

本文概述了四个主要贡献：

系统性评估： 该方法在 CIFAR-10 和 MNIST 数据集上对 ResNet、VGG 型和 LeNet 架构进行了评估，包括对 ResNet-18 进行五个随机种子的统计验证。
直接基准对比： 作者提供了与代表性的迭代式（LTH）和基于初始化的（SNIP, GraSP）剪枝方法在紧密对齐设置下的直接比较。
简单性与有效性： 研究表明，线性稀疏调度结合单调剪枝可以在无需复杂调度函数或权重再生机制的情况下取得强劲的效果。
稀疏度-准确度权衡分析： 通过对七个稀疏水平（70% 到 95%）的详细分析，确定了一个准确度下降极小的理想运行范围。

4. 实验结果

实验在 CIFAR-10 和 MNIST 上使用 ResNet-18、类 VGG、VGG-19 和 LeNet-300-100 架构进行了。

性能对比基准

ResNet-18 (CIFAR-10)： 在 72.9% 稀疏度下，所提方法达到了 95.12% 的准确度，显著优于报告的 LTH 结果（90.5%），且仅需单个训练周期。
类 VGG (CIFAR-10)： 在 97% 稀疏度下，该方法达到了 93.13% 的准确度，超过了报告的 SNIP 结果（约 92.0%）。
VGG-19 (CIFAR-10)： 在 97.97% 稀疏度下，该方法达到了 93.44% 的准确度，优于报告的 GraSP 结果（在 98% 稀疏度下为 92.19%）。
LeNet-300-100 (MNIST)： 该方法在 78.9% 和 98% 稀疏度下均优于 LTH 和 SNIP 基准，证明了其在全连接网络中的泛化能力。

稀疏度-准确度权衡

运行范围： 对于 CIFAR-10 上的 ResNet-18，在 70% 至 85% 的稀疏度水平下，准确度与稠密基准（95.27%）的差距保持在 0.1 个百分点以内。
高稀疏度： 在 90% 稀疏度下，准确度仅轻微下降至 95.06%。在 95% 稀疏度时，出现了更明显的下降（93.86%）。
效率： 在 80% 稀疏度下，模型保留了 95.24% 的准确度（仅下降 0.03 pp），同时减少了 5 倍的参数量（仅保留 20%）。

消融实验

研究证实，基于幅值的剪枝准则是最关键的因素，因为随机剪枝导致了 2.73% 的准确度下降。虽然热身和微调提供了边际收益，但核心方法在没有这些步骤的情况下依然具有竞争力。

5. 重要性与主张

论文声称，渐进式基于幅值的剪枝提供了一种实用的、单周期的替代方案，可用于现有的剪枝范式。其重要性在于：

计算效率： 它消除了迭代式方法（如 LTH）所需的多次训练周期。
适应性： 与基于初始化的方法不同，它允许剪枝掩码随着训练过程中权重重要性的演变而进行调整。
实现简单性： 通过避免连接再生和复杂的调度，它降低了与动态稀疏训练相比的实现开销。
鲁棒性： 该方法在多种架构（ResNet, VGG, LeNet）和极端稀疏水平（高达 ~98%）下均取得了具有竞争力的或更优越的性能。

作者总结道，在所评估的设置下，这种方法为神经网络稀疏化提供了一个平衡且有效的解决方案，使其成为计算资源有限的实际部署中的可行基准。论文也承认了其局限性，包括非结构化剪枝（若无稀疏计算支持可能无法带来硬件加速提升）以及在更大数据集（如 ImageNet）和现代架构（如 Transformer）上进行未来测试的需求。