Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

想象一下，互联网就像一座巨大且繁忙的城市，数以百万计的数字信息每秒钟都在建筑之间穿梭。为了确保这座城市的安全，保安（被称为入侵检测系统）站在大门口，扫描每一个包裹是否有麻烦的迹象。长期以来，这些保安依赖一本巨大的、沉重的“已知坏人”名录来识别威胁。但黑客很聪明，他们每天都会发明新的花招，而这些花招还没被记录在书里。因此，科学家们开始教这些保安学会独立思考，使用“深度学习”——这是一种通过观察成千上万个案例来学习模式的计算机大脑。

然而，这里有一个难点。这些超级聪明的计算机大脑既庞大又贪婪。它们需要大量的内存和能量，这对于数据中心里的巨型服务器来说没问题，但对于那些真正守护我们家庭和路由器的微型、电池供电设备（比如你智能恒温器或网络交换机内部的小型计算机）来说，这简直是灾难。科学家们一直试图在不破坏大脑功能的前提下将其缩小，使用的是一种叫做“剪枝”（pruning）的技术。把剪枝想象成修剪灌木丛：你剪掉枝条（或者在这种情况下，剪掉计算机大脑内部未使用的连接）来使它变得更小、更快。科技界一直存在一个假设：“如果你剪掉 75% 的连接，大脑就会减轻 75% 的重量并运行得更快。”

但如果这个假设是错误的呢？如果在那次大规模“修剪”之后，由于大脑的构建方式实际上并不允许它跳过那些空缺位置，导致大脑运行起来依然一样慢呢？这就是这篇论文试图解决的谜团。

---

伟大的剪枝实验

在这项研究中，一位名叫 Ishan Mishra 的研究人员决定对这个“剪枝会让速度变快”的想法进行终极测试。他不仅是在一台强大的超级计算机上运行数据，他还将他的计算机大脑放在了一个 Raspberry Pi 5 上——这是一种看起来像绿色电路板的、廉价且微小的计算机板，也是你在现实世界的安全系统中可能会发现的那种设备。

他构建了一个“多分类深度神经网络”，这是一种高级说法，指的是一个拥有三个不同思考层、每一层都在检查麻烦的计算机大脑。他在一个名为 NSL-KDD 的数据集上训练了这个大脑，这个数据集就像是一份充满了旧有已知网络攻击的练习题。为了确保大脑不会因为某一种类型的攻击例子太多而导致对另一种类型攻击的识别不足，他使用了名为 SMOTE 的技巧来平衡训练数据，本质上是创造了一些稀有攻击的伪造示例，以便大脑能正确学习它们。

接下来就是剪枝。他拿出了训练好的大脑，并应用了 块稀疏剪枝（block-sparse pruning），这是一种特定的方法，剪掉了网络内部 74.55% 的连接（权重），并将它们留为空值（零）。目标是观察这个“空洞”的大脑是否会比原始的、完整的脑运行得更快、占用空间更少。

惊喜：剪枝并没有提高速度

转折点来了：剪枝并没有让大脑运行得更快。

研究人员测量了计算机做出单个决策所需的时间（推理延迟）：

• 原始的、完整的脑耗时 0.0103 ± 0.0008 毫秒。
• 剪枝后的、“空洞”的脑耗时 0.0101 ± 0.0002 毫秒。

从统计学上看，这两个数字几乎是孪生兄弟。它们实际上是相同的。论文使用了名为 TOST（双单侧检验）的特殊统计测试，证明这种差异微小到在现实世界中可以忽略不计。结果是：剪枝并没有减少做出决策所需的时间。

为什么会这样？论文解释说，虽然大脑确实减少了连接，但运行在 Raspberry Pi 上的软件（称为 TFLite）并不足够聪明，无法跳过那些空缺位置。这就像是一个厨师被告知要忽略柜台上 75% 的食材，但厨师仍然必须走到每一个位置，看一眼，然后决定“哦，这里是空的”，然后才能继续移动。由于厨师仍然必须检查每一个位置，所以“走路时间”（延迟）并没有改变。

文件大小的意外

研究人员还检查了当他将大脑保存到设备上运行时，最终文件的体积有多大。他原本预期剪枝后的版本会小得多。然而，完整的脑和剪枝后的脑最终的大小完全一致，都是 105,992 字节（约 103.51 KB）。

这是因为用于准备设备文件的软件（一个称为量化/quantization的过程）已经将数字压缩到了它们能达到的最小尺寸，从而使得剪枝版本中的“空位”变得无关紧要。因此，在这种特定的设置下，剪枝既没有节省存储空间，也没有节省速度。

真正的问题：不稳定的脑

如果剪枝既没有让它变快，也没有让它变小，那么它是否损害了大脑识别黑客的能力呢？大部分情况下，并没有。整体准确率保持得非常接近：

• 完整的脑正确识别了 82.3% 的已知攻击。
• 剪枝后的脑正确识别了 81.2%。

然而，论文发现了一个非常有趣的现象，即关于剪枝后的脑是如何失败的。当研究人员使用不同的随机起始点（称为“种子/seeds”）运行五次实验时，他们注意到剪枝后的脑是不稳定的。

对于某些类型的攻击，例如 smurf 攻击，完整的脑表现得非常稳定（正确率约为 89%）。但剪枝后的脑却像是在坐过山车。根据所使用的随机种子不同，它可能表现得非常好（85% 正确），也可能表现得极差（11% 正确）。这就像一个学生，取决于他早上起床时的状态，有时能考高分，有时则会彻底不及格。

论文还发现，无论是完整的脑还是剪枝后的脑，在面对 back 和 guess_passwd 等攻击时都表现得很吃力，正确率几乎为 0%。这并不是因为剪枝造成的，而是因为训练数据过于不平衡，导致大脑对于任何不确定的情况都会直接猜测为“正常”。无论使用什么种子，这种失败都会发生。

那么对于新的、未知的攻击呢？

测试还包括了 3,750 条记录（测试集的 16.6%），其中包含大脑从未见过的攻击类型。由于大脑没有经过这些攻击的训练，它无法命名它们。相反，研究人员检查了大脑是否至少会将它们标记为“可疑”而不是直接忽略。

• 完整的脑标记了大约 36.6% 的未知攻击。
• 剪枝后的脑标记了大约 37.0%。

同样，两者之间没有明显的区别。剪枝既没有帮助大脑识别新的、未知的招数，也没有让它在这些招数面前变得更糟。

总结

这篇论文为任何试图在小型设备上缩小 AI 模型的人提供了一次现实检查。它证明了，如果运行模型的软件不是专门为利用这些空缺位置而设计的，那么仅仅通过剪掉连接（剪枝）并不会自动让事情变快。

如果你想在微型设备上获得更快的模型，你不能仅仅依靠剪枝。你要么需要使用能够知道如何跳过空缺位置的特殊软件，要么需要使用另一种不同类型的剪枝（即结构化剪枝/structured pruning），这种剪枝实际上是移除整个大脑的区块，而不仅仅是在里面制造空洞。

研究结论指出，虽然从理论上讲剪枝可以使模型变小，但在当今标准软件的现实世界中，它并不能为你换取速度或空间。而且，如果你确实要使用它，你必须小心：它可能会让你的模型在应对特定威胁时的表现变得非常难以预测，在极好与极差之间剧烈波动。