🔢 mathematics

Sparse Training of Neural Networks based on Multilevel Mirror Descent

本文提出了一种基于多级镜像下降的动态稀疏训练算法，该算法在静态与动态稀疏更新之间交替进行，从而在显著降低计算成本和训练时间的同时，实现高精度且稀疏的模型，其表现优于标准方法。

原作者： Yannick Lunk, Sebastian J. Scott, Leon Bungert

发布于 2026-05-19

📖 1 分钟阅读🧠 深度阅读

原作者： Yannick Lunk, Sebastian J. Scott, Leon Bungert

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对该论文的解读。

核心难题：过多的冗余

想象你正在尝试拼一幅巨大的拼图，但你手头有一个装有 10,000 块拼图的盒子，而实际上你只需要其中的大约 100 块就能完成画面。目前，大多数 AI 训练方法就像是一个人抓起整个盒子，试图将所有碎片都拼在一起，结果在数小时的工作后才发现自己其实只需要其中几块。这浪费了巨大的能量（计算能力）和时间。

在 AI 领域，这些“碎片”就是神经网络中神经元之间的连接。该论文认为，我们应该停止尝试训练每一个连接，转而只关注那些真正重要的连接。

解决方案：智能的“冻结与解冻”策略

作者提出了一种名为Multilevel LinBreg的新训练算法。为了理解其工作原理，想象你是一位雕塑家，正从一块巨大的大理石中雕刻出一尊雕像。

旧方法（标准训练）： 你不断地敲击整块大理石，检查每一寸，甚至包括那些你明知最终会被丢弃的部分。
论文的方法（Multilevel LinBreg）： 你使用一种特殊技术，在两个阶段之间交替进行：
- 阶段 1：“解冻”（探索）： 你轻轻敲击大理石，让新的形状浮现出来。这是算法寻找良好连接的阶段。
- 阶段 2：“冻结”（利用）： 一旦雕像的某一部分看起来有希望，你就对其施加“冻结”。你停止敲击其周围的空白区域，只专注于那些已经成型的部分。

魔法技巧： 该算法使用一种名为线性化 Bregman 迭代（Linearized Bregman Iterations）的数学工具（可以将其想象为一把非常聪明的凿子）。这把凿子在工作时自然地创造出“空白空间”（稀疏性）。作者的创新之处在于定期冻结网络的结构。当网络被冻结时，计算机会忽略所有“空白”的连接，仅计算“活跃”连接的数学运算。

为何这很重要

该论文强调了三个主要优势，并运用了一些有趣的类比：

节省能量（FLOPs）： 作者声称他们的方法极其高效。他们说，与标准训练相比，该方法将所需的理论计算量（FLOPs）从约38%降低到了仅6%。
- 类比： 如果标准训练就像是一辆引擎全速运转却挂在空挡的汽车，那么这种新方法就像换到了高档位，引擎只在真正踩下油门时才工作。
节省时间： 由于计算机进行的数学运算更少，完成任务的速度更快。在标准计算机处理器（CPU）上，他们观察到训练时间减少了50%。
更好的结果： 通常，当你缩小模型（使其更稀疏）时，它会变得更笨拙。然而，这种方法能够保持模型的智能。在图像识别（识别猫、狗、汽车等）的测试中，他们的稀疏模型与那些庞大、沉重的模型一样准确，有时甚至更好。

他们如何证明其有效性

作者并非凭空猜测；他们在其方法周围构建了一个数学“安全网”。

他们将算法置于一个多级优化框架（Multilevel Optimization Framework）中。可以将其想象成一栋两层楼的建筑。
- 一楼（粗粒度层级）： 这是“冻结”工作发生的地方。计算机查看问题的简化版本，仅关注活跃的连接。
- 二楼（细粒度层级）： 每隔一段时间，计算机就会上楼检查整栋建筑，确保一楼的简化工作仍然能引导至正确的目标。
他们从数学上证明，如果你持续在这些层级之间切换，最终将达到最佳解决方案（收敛）。

实验室中的结果

该团队在标准图像数据集（如 CIFAR-10 和 TinyImageNet）上测试了这种方法，这些数据集就像是 AI 视觉的“辅助轮”。

他们训练网络达到90% 到 97% 的稀疏度（意味着 90-97% 的连接为零/空白）。
尽管如此“空旷”，这些网络仍然能够以高精度识别图像。
他们将这种方法与其他流行的“稀疏训练”技术（如"RigL"或“剪枝”）进行了比较，发现他们的方法在保持精度的同时，生成了更稀疏的模型。

总结

简而言之，这篇论文介绍了一种更智能的 AI 训练方式。它不再对每一个连接进行蛮力数学计算，而是利用“冻结与解冻”的节奏，仅专注于那些真正在工作的连接。这使得训练速度更快、成本更低、更节能，同时仍能产生高精度的 AI 模型。

技术摘要：基于多级镜像下降的神经网络稀疏训练

问题陈述

深度神经网络在计算机视觉和自然语言处理等领域取得了显著成功，但其对内存和专用硬件的高需求引发了对其环境影响和碳足迹的担忧。尽管存在诸如剪枝（从预训练稠密模型中移除连接）和稀疏训练（在训练过程中诱导稀疏性）等技术，但它们面临不同的挑战。剪枝通常需要重新训练，且可能遭受性能下降。现有的稀疏训练方法，如基于线性化 Bregman 迭代的方法（例如 LinBreg），虽然能诱导稀疏性，但通常允许非零参数的数量单调增加，这可能限制了在训练早期对稀疏性的利用。此外，许多动态稀疏训练方法缺乏严格的收敛性保证。

方法论

作者提出了一种多级 LinBreg算法，这是一种基于线性化 Bregman 迭代（等价于具有非光滑镜像映射的镜像下降）的动态稀疏训练方法。其核心创新在于在静态和动态稀疏模式更新周期之间进行交替。

关键算法组件

线性化 Bregman 迭代：该方法在最小化损失函数 $L(\theta)$ 的同时，利用迭代隐式地最小化正则化项 $J(\theta)$ （例如 $\ell_1$ -范数）：
$v^{(k+1)} = v^{(k)} - \tau \nabla L(\theta^{(k)})$
$\theta^{(k+1)} = \text{prox}_{\delta J}(\delta v^{(k+1)})$
近端算子充当剪枝步骤，如果其对偶变量未超过阈值，则将参数设为零。
多级优化框架：该算法将训练过程嵌入到一个多级优化方案中（受多重网格技术启发）。
- 精细层：表示完整的参数空间。
- 粗糙层：表示一个受限子空间，仅包含参数的一个子集。
- 限制与延拓：算法使用限制算子 $R^{(k)}$ 将当前迭代点映射到粗糙层，根据其当前活动状态（非零状态）选择特定的参数组（例如，整个卷积核）。延拓算子 $P^{(k)}$ 将更新映射回精细层。
自适应冻结：
- 算法在粗糙层上执行 $m$ 次迭代，其中更新仅限制在当前的活动（非零）参数组上。
- 在这些“冻结”阶段期间，仅针对活动参数计算梯度，从而显著降低计算成本。
- 在 $m$ 次粗糙步之后，在精细层执行一次更新，以潜在地重新激活新参数或调整结构，随后进行另一轮粗糙更新。
收敛性分析：该方法在Polyak–Łojasiewicz (PL) 型不等式和相对平滑性假设下进行了分析。作者利用精细层上的精确梯度和粗糙层上的随机梯度估计器，证明了函数值的次线性收敛速率。

主要贡献

算法提出：提出了一种稀疏训练算法，该算法定期冻结网络结构，在特定阶段将更新限制在非零参数上。这比标准 LinBreg 强制了更严格的稀疏性，并实现了计算节省。
理论框架：将该方法解释为多级优化方案。作者在适当假设下，提供了混合梯度机制（完整更新使用精确梯度，冻结阶段使用随机梯度）下的收敛性保证。
实证性能：证明了该方法在 CIFAR-10 和 TinyImageNet 基准测试上，能产生高度稀疏的模型，其准确率与标准 LinBreg、剪枝和 RigL 相比具有竞争力或更优。
效率提升：
- 理论浮点运算量 (FLOPs)：理论分析显示，与标准 SGD 相比，浮点运算量有所减少。对于标准 Bregman 迭代，FLOPs 减少至 SGD 的约 38%；所提出的多级方法将其减少至约 6%。
- 训练时间：使用支持稀疏性的 CPU 实现（SparseProp）的实证结果表明，与标准 Torch 实现相比，训练时间减少了约 50%。

实验结果

作者在 CIFAR-10 和 TinyImageNet 数据集上评估了该算法，使用了 ResNet18、VGG16 和 WideResNet28-10 等架构。

准确率与稀疏性：在 CIFAR-10 上，多级 LinBreg (ML LinBreg) 实现了与 RigL 和剪枝方法相当的准确率，同时保持了更高的稀疏性水平。例如，在 WideResNet28-10 上，ML LinBreg 生成的模型比 LinBreg 和剪枝方法更稀疏，且准确率相当。
与基线的比较：
- 对比 LinBreg：ML LinBreg 始终优于标准 LinBreg，生成了更稀疏的模型，同时保持或提高了准确率。
- 对比剪枝：与需要先训练稠密模型的剪枝不同，ML LinBreg 直接从稀疏初始化开始训练。
- 对比 RigL：结果相当，但 RigL 严重依赖特定的初始化方案（ERK），而 ML LinBreg 对不同的掩码初始化方案表现出更强的鲁棒性。
计算效率：在 CPU 上使用 SparseProp 库，该方法将每轮训练时间减少了 49%（与标准稠密实现相比），其中前向传播和反向传播时间分别减少了 32% 和 58%。

意义与主张

该论文声称，所提出的多级策略通过有效利用优化过程诱导的稀疏性，为标准线性化 Bregman 迭代提供了显著改进。通过长时间冻结网络结构，该方法不仅强制了更高的稀疏性，还大幅降低了计算负担（FLOPs 和实际运行时间），同时不牺牲模型准确率。

作者将其工作定位为连接多级优化的理论收敛保证与稀疏训练的实际效率之间的桥梁。他们强调，该方法避免了稠密预训练阶段的需求（不同于剪枝），并提供了进化或动态稀疏训练方法中通常缺乏的严格收敛性分析。这项工作表明，多级框架可以成为开发高效、环保深度学习模型的有力工具。

正如作者谦逊指出的，未来的工作包括将收敛性分析扩展到完全随机设置（在两个层级上都使用随机梯度），并将 PL 条件放宽为局部 Kurdyka–Łojasiewicz 条件。