🤖 machine learning

Structured Neuron Pruning in Deep Neural Networks Using Multi-Armed Bandits

本文提出了一种利用多臂老虎机算法来识别并移除冗余神经元的结构化神经元剪枝框架，并通过广泛的基准测试证明，诸如 UCB1 和汤姆森采样（Thompson Sampling）之类的策略能够有效地在保持或提高性能（相比于未剪枝网络及其他剪枝方法）的同时减小模型规模。

原作者： Salem Ameen, Sunil Vadera

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Salem Ameen, Sunil Vadera

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、库存过剩的仓库（一个深度神经网络），里面有成千上万名员工（神经元）。这些员工非常擅长解决问题，但这个仓库规模太大，导致运行成本极高、占用空间过多，且导航缓慢。你想缩小这个仓库，使其运行得更快、更便宜，但你又非常害怕解雇错人。如果你解雇了错误的员工，整个业务可能会崩溃。

本论文提出了一种聪明且低风险的策略，旨在弄清楚究竟哪些员工可以在不损害业务的情况下被裁减。这种方法被称为基于多臂老虎机（Multi-Armed Bandits）的结构化神经元剪枝。

以下是该方法的运作方式，通过简单的概念进行拆解：

1. 问题所在：为什么不能靠猜？

通常，人们在尝试缩小这些网络时，会使用两种糟糕的方法：

“猜谜游戏”（量级剪枝/Magnitude Pruning）： 他们根据一个简单的分数（例如权重的大小）来观察谁工作最努力（或最不努力）。他们解雇那些“负荷最轻”的员工。问题在于，一名员工可能虽然负荷很轻，但却是唯一掌握某个秘密代码的人。解雇他们会导致系统崩溃。
“暴力测试法”（Brute Force Test）： 他们解雇一名员工，测试整个仓库；再解雇另一名，再次测试，以此类推。这种方法很准确，但太慢了。如果你有 1,000 名员工，你必须运行仓库 1,000 次才能决定该解雇谁。这太昂贵了。

2. 解决方案：“试吃策略”

作者提出了一种方法，就像一个运行一系列快速“试吃测试”的聪明经理。

核心概念： 想象你有一个拥有 50 种不同菜肴（神经元）的自助餐。你想移除那些其实没人需要的菜肴，但你不想毁掉整顿饭。
“老虎机”游戏： 在赌博的世界里，“多臂老虎机”是一排老虎机。你不知道哪台机器赔付最高，所以你必须拉动摇杆（手臂）来寻找答案。你有一个有限的硬币（预算）可以消费。你需要平衡探索（尝试新的机器以查看它们是否表现良好）和利用（玩那台看起来赔付最高的机器）。
应用于网络：
1. 算法选择一名“员工”（神经元）进行测试。
2. 它暂时让该员工休息（掩蔽该神经元）。
3. 它运行一个快速测试（一小批数据），观察仓库是否仍能平稳运行。
4. 奖励： 如果没有该员工，仓库依然运行得一样好（甚至更好！），那么该员工就会获得一个“安全解雇”分。如果仓库运行变慢了，该员工就会获得一个“保留”分。
5. 该员工立即回到岗位工作。目前还没有进行任何永久性的解雇。

3. 聪明经理（算法）

论文测试了不同的“经理”（算法）来决定下一步该测试哪位员工。它们都在试图用有限的硬币解决同一个谜题：

Epsilon-Greedy（Epsilon-贪婪算法）： 大部分时间选择那些看起来可以安全解雇的员工，但偶尔也会随机选择一名员工，以防遗漏了某些情况。
UCB1 (Upper Confidence Bound，置信上限算法)： 这是一个“乐观主义者”。它会选择那些表现出色以及那些测试次数还不够多的员工。它认为：“我不确定这个家伙的情况，所以我应该测试他以确保万无一失。” 这被证明是研究中最有效的经理。
Thompson Sampling（汤普森采样）： 这是一个“统计学家”。它保存着一份关于概率的心智文件。它认为：“这名员工有 90% 的概率是没用的，但也有 10% 的概率是个天才。让我们测试一下以更新我的文件。”
Hedge & EXP3： 这些是为复杂情况设计的更复杂的策略，但在本次特定测试中，更简单的“乐观主义者”（UCB1）和“统计学家”（Thompson Sampling）效果最好。

4. 结果：发生了什么？

研究人员在三种类型的“仓库”上测试了这种方法：

表格数据（Tabular Data）： 标准电子表格（如预测房价或诊断疾病）。
回归（Regression）： 预测连续的数值。
深度学习（Deep Learning）： 复杂的图像和文本识别系统（如识别人脸或理解句子）。

研究发现：

有效： 该方法成功地移除了网络中的巨大区块（在特定层中有时可达 60-70% 的员工），且没有破坏系统。
经常提升性能： 令人惊讶的是，在许多情况下，解雇那些“冗余”的员工实际上让网络变得更快且更准确了。这就像清理杂乱的办公桌；有时候，减少干扰反而能让你工作得更好。
优胜者： UCB1 和 Thompson Sampling 经理始终优于旧有的“猜测”方法，甚至在许多测试中击败了原始的、未经过剪枝的网络。

5. 为什么这很重要

这种方法之所以特别，是因为它不仅仅看一名员工有多“重”（静态统计数据）；它通过观察当该员工退位时会发生什么，来实际测试该员工是否被需要。它通过一种智能的采样策略高效地完成任务，因此不会浪费时间去穷尽测试每一个人。

简而言之， 论文表明，通过使用一种聪明的、自适应的“试吃”系统，我们可以将庞大、昂贵的 AI 模型缩减为更小、更快、有时甚至更智能的版本，使其能够运行在手机和平板电脑等日常设备上。

技术摘要：基于多臂老虎机算法的深度神经网络结构化神经元剪枝

问题陈述
深度神经网络（DNN）通常包含冗余的隐藏单元，导致模型需要过多的内存、计算和能量，这尤其阻碍了在嵌入式和移动系统上的部署。虽然权重级剪枝可以减少参数数量，但它通常会导致非结构化稀疏（不规则稀疏矩阵），在没有专门库的情况下，这种稀疏性难以在标准硬件上实现加速。结构化剪枝通过移除整个神经元（及其相关的输入和输出连接），提供了更实际的解决方案，因为它减少了稠密矩阵的维度。然而，核心挑战仍然在于如何识别哪些神经元可以在不降低预测性能的情况下被移除。通过穷举测试来直接评估每个神经元在计算上是极其昂贵的，而简单的局部统计量（如权重大小或激活方差）虽然计算成本低，但往往无法准确预测对损失函数的影响。

方法论
作者提出了一个将结构化神经元剪枝建模为**固定预算多臂老虎机（Fixed-Budget Multi-Armed Bandit, MAB）**问题的框架。

公式化： 将选定层中的每个候选神经元视为一个“臂”（Arm）。“拉动”一个臂对应于临时屏蔽（移除）该特定神经元，测量其在采样小批量（mini-batch）上的损失变化，然后恢复该神经元。
奖励信号： 核心指标是由于临时移除导致的批量损失变化（ $\Delta$ ）。正向的 $\Delta$ 表示移除提高了性能（或降低了损失），而负向的 $\Delta$ 则表示造成了损害。这种损失变化被转换为有界的奖励（针对大多数策略），或二元的成功/失败指示器（针对汤普森采样）。
算法： 该框架支持一个统一的算法，能够适配多种 MAB 策略来选择下一步要评估的神经元。评估的策略包括：
- 随机/基于探索的策略： $\epsilon$ -Greedy（Epsilon-Greedy）、Softmax（Boltzmann）探索。
- 乐观/基于不确定性的策略： UCB1（上置信界）。
- 贝叶斯策略： 汤普森采样（Thompson Sampling）。
- 多臂加权/对抗性策略： Hedge 式乘性权重算法和 EXP3。
流程： 算法通过一个固定的“播放预算”（ $T$ ）进行迭代，自适应地分配试验次数，以探索不确定的神经元并利用那些重复表现出“安全可移除”特征的神经元。一旦预算耗尽，具有最高估计安全移除奖励的神经元将被永久剪枝。

核心贡献

形式化定义： 本文提供了将神经元剪枝建模为固定预算 MAB 排序问题的数学公式，将以往基于 MAB 的权重剪枝工作从标量权重扩展到了完整的计算单元。
统一框架： 提出了一个单一的算法框架，该框架既支持随机策略（ $\epsilon$ -Greedy、Softmax、UCB1、汤普森采样），也支持乘性权重策略（Hedge、EXP3）。
全面评估： 该方法在三个不同领域进行了实证评估：
- 表格分类： 16 个数据集。
- 表格回归： 6 个数据集（使用 $R^2$ 作为指标）。
- 深度学习基准测试： 包括 LeNet、AlexNet、卷积网络（ConvNets）、LSTM、孪生网络（Siamese networks）以及处理图像、文本和推理任务的记忆网络在内的各种架构。
统计严谨性： 研究采用了 Friedman 检验及随后的 Nemenyi 事后检验，以确立所提方法与基线方法之间的统计显著差异。

结果

表格分类： UCB1 在剪枝策略中获得了最高的平均排名，优于未剪枝的神经网络，并且在与 SVM 和随机森林等标准分类器的竞争中表现出了竞争力。
表格回归： UCB1 在 $R^2$ 指标上再次获得了最高平均排名，显示出相对于几种标准回归模型（如 OLS、LASSO、SVM 回归）的统计优势或竞争力。
深度学习： UCB1 和汤普森采样获得了最强的排名。在若干案例中（例如 MNIST 上的 LeNet、ImageNet 上的 AlexNet），基于 MAB 的剪枝不仅保持甚至提高了准确率，同时移除了大量的神经元（例如 LeNet 中某一层 62% 的神经元）。
对比基线： 基于 MAB 的策略显著优于未剪枝模型、基于幅值的神经元剪枝以及基于贪婪激活方差的剪枝。非老虎机基线策略始终获得最低的平均排名。
策略性能： 虽然 UCB1 和汤普森采样通常表现最强，但简单的随机策略（如 $\epsilon$ -Greedy）在深度学习任务中也表现良好。Hedge 式和 EXP3 策略在这一设定下表现不够稳定，这可能是因为剪枝任务的行为更接近于随机的最佳臂识别问题，而非完全的对抗性序列。

意义与主张
本文主张，自适应、感知损失的老虎机采样比静态的基于幅值或贪婪激活方差的基线更能有效地作为结构化神经元剪枝的标准。其意义在于证明了 MAB 算法可以在有限的计算预算下，高效地处理探索（测试不确定神经元）与利用（移除安全神经元）之间的权衡。

作者断言，这种方法在计算上是切实可行的，避免了详尽评估或二阶灵敏度方法所需的极高计算成本。结果表明，基于 MAB 的剪枝可以作为一种结构化正则化手段，在减少模型规模的同时，移除冗余单元以提高或维持性能。文章得出结论，尽管框架具有灵活性，但 UCB1 和汤普森采样在探索、利用和可靠性之间提供了最佳的平衡。未来的工作建议包括迭代剪枝与微调、跨多个层的联合剪枝以及硬件感知的奖励函数。