🤖 machine learning

One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression

本文系统地比较了单次剪枝与迭代剪枝策略，揭示了单次方法在较低剪枝率下表现出色，而迭代方法在高剪枝率下更具优势，并据此提出了用于优化模型压缩的混合方法与基于耐心的剪枝策略。

原作者： Mikołaj Janusz, Tomasz Wojnar, Yawei Li, Luca Benini, Kamil Adamczewski

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Mikołaj Janusz, Tomasz Wojnar, Yawei Li, Luca Benini, Kamil Adamczewski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你有一个巨大的、塞得满满当当的行李箱（一个神经网络），你需要把它装进一个很小的登机箱（一部手机或小型设备）里。目标是在尽可能扔掉不必要物品的同时，又不丧失到达目的地（保持模型准确度）的能力。

这篇论文是一项大规模实验，旨在找出如何打包那个行李箱的最佳方法。具体来说，它对比了两种用于决定扔掉什么的策略：

1. “一气呵成”策略（大扫除）
想象一下，你把整个行李箱的东西全部倒在床上，看一眼所有东西，然后立即扔掉你认为没用的 80% 的物品。接着，你把剩下的东西装好，尝试走几步看看是否还能正常移动。如果你踉跄了，你就调整一下剩余物品，然后再试一次。

论文的发现： 如果你只需要减少一点点重量（比如 20–50%），这种方法非常出色。它既快速又高效。然而，如果你试图一次性扔掉太多（比如 90%），行李箱会变得非常不平衡，难以修复，最终会导致模型损坏。

2. “迭代”策略（缓慢清理）
与其进行一次大扫除，不如每次只拿出一小把东西，把剩下的装好，走几步，调整一下，然后再次拿出一小把。你重复这个循环很多次。

论文的发现： 当你需要让行李箱变得非常轻（减少 80–90%+ 的重量）时，这是更好的方法。通过慢慢移除物品，行李箱在每一次微小的变化后都有时间来“重新学习”如何保持平衡。
一个新转折： 作者发现，如果每次移除的数量不是固定的，那么“缓慢清理”的效果会更好。相反，你应该移除一个固定比例的剩余量。
- 类比： 假设你有 100 只袜子。
  - 固定数量法： 你每次扔掉 10 只袜子。（100 -> 90 -> 80 -> 70）。
  - 几何比例法（胜出者）： 你每次扔掉当前堆叠中 10% 的袜子。（100 -> 90 -> 81 -> 72.9）。随着堆叠变得越来越小，你每次扔掉的袜子也越来越少。这种“几何”方法被发现对于深度清理更为优越。

论文的一个重要观点是，研究人员对于在扔掉东西后让行李箱“调整”多久这一问题过于死板了。

旧方法： “无论如何，我们将调整行李箱正好 50 分钟。”
新方法（基于耐心的）： “我们将持续调整，直到行李箱不再进步为止。如果过去 5 分钟内它没有改善，我们就停止。”
论文表明，使用这种“耐心”方法（在完成改进时停止）比猜测一个固定的时间更节省时间，且能获得更好的结果。

基于他们的发现，作者提出了一种新的“混合”策略，结合了两者：

如果你使用的是标准图像模型（如 ResNet）且只需要切掉一点点： 选择一气呵成。它更快，效果也不错。
如果你使用的是复杂的语言模型（如聊天机器人）或需要切掉几乎所有内容： 选择迭代（几何比例）。这些模型非常敏感；它们需要缓慢、谨慎的方法才能在减重后存活下来。
如果你的计算能力有限： 一气呵成通常更便宜，因为你不需要运行多次“调整”阶段。
如果你有时间但需要最高的效率： 混合方案是新的冠军，它提供了速度与精准度的最佳平衡。

该论文严格测试了这些方法在图像识别（如识别猫和狗）和文本生成（写故事）方面的表现。它并不声称这些方法适用于医疗诊断、自动驾驶或金融交易，尽管这些领域可能会受益于同样的逻辑。这项研究纯粹是关于如何压缩模型，而不是关于模型下一步应该做什么。

简而言之： 不要只是盲目猜测如何缩小你的 AI。如果你只需要稍微修剪，就一次性完成。如果你需要大幅度缩减，就慢慢地、小心地进行。如果你想要绝对最好的结果，先进行一次大修剪，然后再以缓慢、谨慎的方式进行最后的精细抛光。

类似论文