🤖 machine learning

Spiking Brain Compression: Post-Training Second-order Compression for Spiking Neural Networks

本文提出了脉冲脑压缩（Spiking Brain Compression, SBC），这是一种新颖的一阶段训练后框架，通过利用一种基于脉冲序列且计算开销较低的黑塞矩阵（Hessian）目标函数，将最优脑外科医生（Optimal Brain Surgeon）方法扩展到了脉冲神经网络，从而在多种数据集和架构上实现了最先进的压缩性能以及相比现有方法的显著精度提升。

原作者： Lianfeng Shi, Ao Li, Benjamin Ward-Cherrier

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lianfeng Shi, Ao Li, Benjamin Ward-Cherrier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明、高效节能的机器人大脑，叫做脉冲神经网络（Spiking Neural Network, SNN）。与那些不断通过数字进行“喋喋不休”交流的常规计算机大脑不同，这个机器人大脑只有在有重要信息要表达时才会“说话”，它使用的是被称为**脉冲（spikes）**的微小电火花。这使得它速度极快且功耗极低，非常适合模仿人类大脑的特殊硬件芯片。

然而，这些机器人大脑通常过于庞大和沉重，无法装进我们想要的微型便携式芯片中。我们需要在缩小它们规模的同时，又不让它们“忘记”如何思考。

问题所在：“缩减规模”中的繁重负担

在过去，缩小这些网络就像是在试图通过一遍又一遍地重写整本书来编辑一本巨著。你会删掉一个句子，读完整本书看它是否还通顺，再删掉另一个句子，然后重复这个过程。这个过程被称为迭代训练（iterative training），它既耗时又耗能。对于那些最庞大、最复杂的机器人大脑（例如用于 ImageNet 或 Transformer 的大脑），这种“重写”的过程成本高昂，以至于几乎无法实现。

解决方案：“脉冲大脑压缩”（Spiking Brain Compression, SBC）

本文作者引入了一种名为脉冲大脑压缩（SBC）的新方法。你可以把 SBC 想象成一次单次、精准的外科手术式修剪。与其重写整本书，不如通过一次精准的观察，立即决定要剪掉哪些词，并调整剩余的词汇，从而使故事的逻辑依然完美流畅。

以下是他们实现这一目标的原理，我使用了几个简单的类比：

1. 错误的方式：衡量了错误的东西

以往尝试缩小这些网络的尝试，使用的是为常规计算机（人工神经网络）设计的“尺子”。它们测量的是“电流”或原始数值。但对于脉冲大脑来说，最重要的不是原始数值，而是脉冲的定时（timing of the spikes）（即脉冲序列）。

类比： 想象一下，如果你试图通过测量鼓棒敲击地板的音量，而不是通过聆听节拍的节奏来判断一段鼓独奏的质量，你就会得出错误的结论。你会误解是什么成就了优秀的音乐。

2. 正确的方式：聆听节奏

作者创建了一个基于 Van Rossum 距离 的新“尺子”。它衡量的是剪切前后脉冲**定时（timing）**的相似程度。

类比： 他们不再仅仅是计算句子中有多少个单词，而是聆听语言的节奏。如果删掉一个词，他们会检查句子的节奏是否依然自然。

3. 魔法技巧：“替代膜电位”（Surrogate Membrane Potential, SMP）

为了让这种“单次（one-shot）”剪切成为可能，他们发明了一个聪明的捷径，叫做替代膜电位（SMP）。

数学隐喻： 通常情况下，精确计算一次剪切如何影响整个大脑需要解开一个极其庞大且复杂的谜题（即“海森矩阵/Hessian matrix”），这需要耗费极长时间。作者发现了一种近似求解这个谜题的方法，即使用一个简单的、平坦的曲面来进行计算。
结果： 他们可以观察网络，计算出最佳的剪切位置，并在**单次反向传播（single backward pass）**中修复剩余的部分。这就像一位大师级的裁缝，只需看一眼西装，就能精准标记出哪里需要剪裁，并瞬间知道如何放宽缝线以保持完美的合身——这一切都在一秒钟内完成。

他们取得了什么成就？

论文测试了这种“单次（one-shot）”方法在各种机器人大脑上的表现，从识别手势的小型大脑到识别图像（如 ImageNet）的庞大大脑。

速度： 它比需要重新训练的旧方法快了 10 到 1,000 倍。
准确度： 即使他们剪掉了 90% 或更多的连接（使大脑变得非常稀疏），这个机器人大脑仍然几乎能像以前一样出色地完成任务。
通用性： 它既适用于“事件驱动型”数据（如只捕捉运动的相机），也适用于标准的静态图像。
小样本量： 他们证明了你不需要庞大的案例库来调整这种方法。你只需要每个类别极少的样本（有时甚至每个类别少于一个样本！），它依然能可靠地工作。

核心总结

本文声称，脉冲大脑压缩（SBC） 是缩小这些特殊机器人大脑的新一代最先进技术（state-of-the-art）。它允许我们将庞大的预训练模型进行即时压缩，以便在微型、低功耗硬件上使用，而无需花费数天或数周的时间进行重新训练。它是一种“剪切并粘贴”的解决方案，在保持大脑节奏完整的同时，使其体积小到可以装进你的口袋。

技术摘要：脉冲神经网络的训练后二阶压缩

1. 问题陈述

脉冲神经网络 (SNNs) 由于其稀疏性和基于事件的特性，为神经形态硬件（如 Loihi, SpiNNaker, TrueNorth）提供了显著的能效优势。然而，这些硬件平台拥有有限的内存和计算资源，因此需要进行模型压缩。

目前最先进的 (SOTA) SNN 压缩方法面临两个主要局限性：

计算成本高： 大多数现有的剪枝和量化技术依赖于迭代式的“剪枝-再训练”循环，或者需要从头开始训练（例如 Lottery Ticket Hypothesis 方法）。对于大规模、预训练好的 SNN（如 SEW-ResNet152 或脉冲 Transformer），这种方式的成本是难以承受的。
不适用于 ANN 方法： 将针对人工神经网络 (ANNs) 设计的一阶段式 (one-shot) 训练后压缩方法（如 Optimal Brain Compression, OBC）直接应用于 SNN 会导致次优的结果。这是由于 ANN 的连续输出目标与 SNN 离散、随时间变化的脉冲序列之间存在根本性的脱节。

本文旨在解决如何实现一种计算高效的、一阶段式训练后压缩框架，使其能够处理现代大规模 SNN 架构而无需重新训练。

2. 方法论：脉冲大脑压缩 (Spiking Brain Compression, SBC)

作者提出了 脉冲大脑压缩 (SBC)，这是一种层级化的、基于二阶信息的压缩算法，它将 Optimal Brain Surgeon (OBS) 框架扩展到了 SNN 中。

2.1. 模块化公式

SNN 是逐个模块进行压缩的，其中一个模块由线性/卷积层以及随后的 Leaky-Integrate-and-Fire (LIF) 神经元层组成。目标是找到压缩权重 $\hat{W}$ ，以最小化原始输出脉冲序列 $S$ 与压缩输出 $\hat{S}$ 之间的失真。

2.2. 损失函数：Van Rossum 距离 (VRD)

不同于 ANN 最小化连续激活值的平方误差，SBC 最小化脉冲序列之间的平方 Van Rossum 距离 (VRD)。VRD 通过使用衰减指数核 $k(t)$ 来考虑脉冲在时间上的距离。
损失函数定义为：
$L(W) = ||MS - M\hat{S}||_2^2$
其中 $M$ 是代表核函数 $k(t)$ 在各个时间步上的卷积矩阵。这种公式确保了损失能够反映脉冲时序的生物学相关性，而不仅仅是二进制的巧合。

2.3. 代理膜电位 (Surrogate Membrane Potential, SMP) 与 Hessian 导数

由于脉冲生成机制中 Heaviside 函数的不可微性，直接计算 VRD 损失的 Hessian 矩阵非常复杂（脉冲生成机制为 $S[t] = \Theta(U[t] - V_{th})$ ）。
为了解决这个问题，作者引入了 代理膜电位 (SMP)：

他们使用可微的代理梯度 $g(u)$ 替换了不可微的脉冲函数。
他们假设一个恒定的代理梯度 $g(u) = c$ （实际上是将神经元视为在特定窗口内处于活跃状态），这简化了 Hessian 的计算。
在此假设下，Hessian 矩阵 $H$ 变为 $2(MX)^T(MX)$ 的期望值，其中 $X$ 是输入电流。
这导致 Hessian 矩阵是易于计算且解析可解的，从而允许通过单次反向传播来估计最优权重更新。

2.4. 压缩算法

剪枝： SBC 利用导出的 Hessian 进行非结构化剪枝。它采用基于幅度的剪枝评分的层自适应稀疏度 (Layer-Adaptive Sparsity for Magnitude-based Pruning Score, LAMPS) 来确定每个模块的稀疏度目标。权重通过 Woodbury 矩阵恒等式进行分批剪枝，以高效更新逆 Hessian 矩阵，从而避免了每一步都进行 $O(N^3)$ 全矩阵求逆的开销。
量化： 该框架适配了 GPTQ (Greedy Post-Training Quantization) 算法，将标准的 ANN Hessian 替换为基于 SMP 的 Hessian ( $H_{SMP}$ )。这使得在量化过程中可以通过权重补偿来最小化脉冲序列的失真。

3. 核心贡献

形式化了基于 VRD 的损失函数： 本文形式化了一种基于 Van Rossum 距离的损失函数用于层级化 SNN 压缩，并推导出了一个高效的、可采样的 Hessian 矩阵。
SBC 算法： 开发了一种支持现代架构（包括深度脉冲 CNN 如 SEW-ResNet 和脉冲 Transformer）的一阶段式二阶压缩算法 (SBC)。
达到 SOTA 性能： 在神经形态基准测试 (N-MNIST, CIFAR10-DVS) 和大规模静态数据集 (CIFAR-100, ImageNet) 上展示了 SOTA 一阶段式训练后压缩结果。
对数据稀缺的鲁棒性： 消融实验表明，即使在每类样本不足一个样本的校准数据规模下，性能依然保持稳定。

4. 实验结果

作者在多种数据集和架构上评估了 SBC，并将其与朴素的基于幅度的剪枝 (MBP)、ExactOBS (针对 SNN 改进的 OBC) 以及训练后 (PAT) 迭代方法进行了对比。

4.1. 剪枝性能

神经形态基准测试： SBC 在高稀疏度水平下显著优于 ExactOBS 和 MBP。例如，在 N-MNIST 达到 97% 稀疏度时，SBC 仅造成 1.59% 的精度下降，而 ExactOBS 则出现了 45.07% 的大幅下降。
静态数据集 (ImageNet)： SBC 成功压缩了 SEW-ResNet152 和脉冲驱动 Transformer。它达到了或超过了 ExactOBS 的精度，并在某些情况下接近了迭代式 PAT 方法（如 UPF 和 STDS）的精度，但计算时间减少了 1 到 3 个数量级。
规模： 该工作代表了已知首个对超过 34 层 SNN 进行的非结构化剪枝，也是首个对在 ImageNet 规模数据集上训练的脉冲 Transformer 进行的剪枝工作。

4.2. 量化性能

SBC 在 4-bit、3-bit 和 2-bit 量化上进行了测试。
虽然 SBC 在所有数据集的高位宽 (4-bit) 下并不总是优于基准方法，但在最低位宽 (2-bit) 时取得了最佳结果，其表现显著优于次优方法（例如在 N-MNIST 上领先 28.11%）。
该方法证明了通过 Hessian 进行权重补偿对于低比特部署至关重要，尽管作者也注意到了一个“越界”问题，即补偿后的权重有时会超出量化网格的范围。

4.3. 效率与校准

突触操作 (SOPs)： SBC 有效降低了 SOPs（能耗的代理指标）同时保持了精度。例如，将 SEW-ResNet18 剪枝至 72.26% 稀疏度，在精度损失极小的情况下，将 SOPs 从 1134.4M 降至 697.24M。
校准规模： 该方法在极小的校准集下表现出很强的鲁棒性。对于 ImageNet 上的 SEW-ResNet18，仅使用 100 张校准图像（每类 0.1 张图像）即可获得具有竞争力的性能。

5. 重要性与声明

本文声称 SBC 提供了一种计算高效的替代方案，可以取代完整的重训练流程来进行 SNN 压缩。通过利用针对脉冲序列定制的二阶近似，SBC 使得在资源受限的神经形态硬件上部署大规模预训练 SNN 成为可能，而无需承担高昂的迭代重训练成本。

作者将 SBC 定位为实现下一代 SNN（包括深度网络和 Transformer）在低功耗边缘计算和机器人场景中实际应用的关键步骤。作者也承认了其局限性，特别是量化中的“越界”问题以及对于极大输出维度的自定义 Hessian 矩阵所带来的高空间复杂度，并将这些列为未来的研究方向。