💻 computer science

Parallel Training in Spiking Neural Networks

本文提出了一种新型的动态衰减脉冲神经元，该神经元通过移除传统的重置机制，在实现 GPU 高度并行训练的同时保留了串行推理效率，在多种任务和架构中实现了显著的加速、强大的外推能力以及低能耗。

原作者： Yanbin Huang, Man Yao, Yuqi Pan, Changze Lv, Siyuan Xu, Xiaoqing Zheng, Bo Xu, Guoqi Li

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanbin Huang, Man Yao, Yuqi Pan, Changze Lv, Siyuan Xu, Xiaoqing Zheng, Bo Xu, Guoqi Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对该论文进行的解释。

大局观：所谓的“重置”问题

想象一下，脉冲神经网络（SNN）就像是一个在工厂里来回奔跑的信使团队。他们的工作是传递信息（脉冲）以解决问题。

在传统的生物风格信使系统中，有一个严格的规则：重置机制（Reset Mechanism）。

运作方式： 当一个信使变得过于兴奋（他们的“膜电位”过高）时，他们会大声喊出一个消息（发射脉冲），然后立即瘫坐在椅子上休息（重置为零）。
问题所在： 因为他们在每次喊话后都必须休息，所以你不能要求他们一次性处理一个长篇故事。你必须等他们休息完，才能给他们故事的下一部分。这使得在现代计算机（GPU）上训练这个团队处理长而复杂的任务（比如读完一整本书）变得极其缓慢且低效。

旧的解决方案（以及它们为什么失败）

科学家们尝试了两种主要方法来解决这种缓慢问题：

“伪装休息”法： 他们试图移除那把椅子，让信使们可以继续奔跑。但他们只是增加了一个复杂的数学技巧，用来假装休息发生了。问题是？信使们忘记了如何一步步地工作。他们擅长并行训练（同时处理所有内容），但在稍后的实时（串行）工作阶段表现得很糟糕。
“近似法”： 他们尝试去猜测如果不进行实际操作，休息看起来会是什么样子。这效果还可以，但信使们的表现无法超越原始的“休息”版本。他们被困在了一个性能天花板之下。

新的解决方案：“动态衰减”信使

该论文的作者提出了一种名为**动态衰减脉冲神经元（Dynamic Decay Spiking Neuron, DSN）**的新设计。

与其使用硬性的“重置”（瘫坐在椅子上），不如想象信使们拥有一个智能、可调节的速度旋钮。

运作方式： 信使们不再是完全停止，而是根据他们刚刚听到的内容来调整自己的能量速度。如果他们听到非常响亮的声音，他们就会快速减速。如果听到的是微弱的声音，他们则保持移动。
神奇之处： 这个“速度旋钮”是根据他们刚刚接收到的输入来计算的。它起到了重置的作用（防止能量爆炸），但它是平滑且灵活地完成的。

为什么这是一个游戏规则的改变者

论文声称这种新设计解决了 SNN 的“不可能三角”。通常，你只能在以下三者中选择其二：

快速训练（同时处理所有内容）。
高效推理（像真实大脑一样循序渐后地工作）。
高性能（真正出色地解决问题）。

DSN 实现了三者兼得：

并行训练： 因为信使们不需要等待硬性的“重置”，计算机可以同时处理整个故事，这使得在处理长序列时的训练速度比以往方法快了 25.6 倍。
串行推理： 因为信使们仍然遵循逻辑流（过去的输入决定当前的状态），所以他们在测试阶段仍然可以循序渐后地工作。这意味着他们可以处理比训练时长 15 倍的故事（例如，在 2,000 个词的语料上训练，他们可以在不产生混乱的情况下阅读 30,000 个词）。
更好的性能： 这个“智能速度旋钮”实际上比旧的“硬重置”更出色。它允许信使们更清晰地分辨重要信息和不重要信息，从而在图像识别和语言建模等任务中获得更高的准确率。

现实世界的结果（他们测试了什么）

作者在五种不同类型的任务上测试了这个新“信使”：

图像分类： 识别图片（如 CIFAR 和 ImageNet）。
神经形态事件： 处理类似于人类眼睛的摄像头数据（CIFAR10-DVS）。
时间序列预测： 预测交通或太阳能发电。
强化学习： 教导智能体玩游戏或移动机器人。
语言建模： 预测句子中的下一个词（类似于聊天机器人）。

在几乎所有的类别中，这种新方法都比竞争对手训练更快、更准确，并且能处理更长的序列。

能量成本

人们担心复杂的数学运算可能会消耗更多电力。

权衡： 新的“速度旋钮”数学运算比旧的“硬重置”稍微复杂一些。
结果： 然而，由于新的信使非常高效，他们不需要频繁地“大声喊叫”（发射脉冲）。论文计算出，这种减少喊叫的行为实际上节省了总能量。新系统比旧的标准方法使用更少的能量，使其适用于未来的低功耗芯片。

总结

该论文认为，为了让脉冲神经网络在现代计算机上发挥作用，我们不应该仅仅尝试模仿生物大脑的“硬重置”。相反，我们应该用一种灵活的、依赖输入的衰减来取代那种僵化的重置。这使得网络既能进行超快速的并行学习，又能在实际使用时高效、准确地循序渐后地工作。

技术摘要：通过动态衰减实现脉冲神经网络的并行训练

1. 问题陈述

脉冲神经网络（SNNs）提供了适用于神经形态硬件的能效高、事件驱动的计算方式。然而，训练大规模 SNNs 仍然是一个重大挑战，特别是在现代 GPU 上的并行训练效率方面。

核心瓶颈在于标准脉冲神经元（如 Leaky Integrate-and-Fire, LIF）固有的重置机制（reset mechanism）。当神经元发放脉冲时，其膜电位会被重置，这产生了复杂的时序依赖关系，阻碍了所有时间步的同步计算。现有的实现并行训练的方法大致分为两类，但均存在局限性：

保留重置（Retaining Reset）： 解耦空间和时间依赖的方法（例如在反向传播期间丢弃时间依赖或使用单步预训练）往往会损害训练质量或无法充分利用并行性。
移除重置（Removing Reset）： 诸如并行脉冲神经元（Parallel Spiking Neuron, PSN）等方法通过移除重置机制来允许并行计算。然而，这些方法通常：
- 牺牲了原生脉冲神经元的**串行推理（serial inference）**能力，而这对于在测试时实现高效、稳定且长序列的外推至关重要。
- 未能充分保留重置机制的功能作用（引入非线性并控制膜电位），导致性能达到上限或出现不稳定性。

本文认为，一个成功的并行脉冲神经元必须同时支持并行训练（为了效率）和串行推理（为了效率和外推），同时保留或增强重置机制的生物学功能。

2. 方法论：动态衰减脉冲神经元 (DSN)

作者基于对重置机制的新颖功能分析，提出了动态衰减脉冲神经元（Dynamic Decay Spiking Neuron, DSN）。

2.1 重置的功能分析

论文识别了原生脉冲神经元中重置机制的两个主要功能：

引入非线性： 重置在膜电位与输入历史之间建立了非线性关系。如果没有重置，膜电位的更新将是输入的线性组合。
控制膜电位： 重置防止了“膜电位爆炸”和无休止的发放，通过将电位约束在合适范围内来实现。这被特征化为：
- $\Delta$ -短期控制： 限制大输入对短时间窗口的影响。
- 长期控制： 确保即使在微小且累积的输入下，膜电位也能保持有界。

作者认为，现有的并行神经元往往无法有效地复制这些功能，或者失去了执行串行推理的能力。

2.2 并行训练与串行推理的条件

为了设计一种同时支持这两种模式的神经元，论文确立了三个结构性条件：

前缀可汇总性（Prefix Summarizability）： 时间 $t$ 的输出仅取决于输入的前缀 $X_{1:t}$ 。
在线可更新性（Online Updatability）： 内部状态可以通过仅使用前一个状态和当前输入进行递归更新（从而实现串行推理）。
离线可并行性（Offline Parallelizability）： 在给定完整输入序列的情况下，可以并行计算序列状态（从而实现并行训练）。

2.3 DSN 架构

DSN 使用基于输入历史的动态衰减因子 $\alpha_t$ 取代了硬重置/软重置机制。

移除重置： 从膜电位更新方程中移除了重置项。
动态衰减： 标准 LIF 中的常数衰减因子 $\beta$ 被随时间变化的 $\alpha_t$ 取代。
$H_t = \alpha_t \odot H_{t-1} + (1 - \alpha_t) \odot X_t$
这里， $\alpha_t$ 是通过对近期输入历史（ $X_{t-k+1:t}$ ）进行**因果一维卷积（causal 1D convolution）**计算得出的，并通过 Sigmoid 函数处理以确保 $0 \le \alpha_t \le 1$ 。
脉冲发放： 论文采用了整数值脉冲发放（对膜电位进行截断和取整）来进一步优化训练并降低开销，尽管该方法也支持二进制发放。

核心洞察： 论文证明了动态衰减 $\alpha_t$ 引入了非线性，并提供了灵活的、依赖于输入的膜电位控制（包括短期和长期控制），有效地复制并增强了重置机制的功能，且不会破坏并行训练的条件。

计算模式：

训练： 迭代方程被展开为矩阵形式（使用并行扫描算法）以同时计算所有时间步。
推理： 模型切换到递归形式（公式 9），仅需极少的内部状态存储，从而保持串行推理的效率。

3. 核心贡献

一种全新的功能视角： 论文提供了对重置机制的系统性分析，识别了其核心功能（非线性与电位控制）以及现有并行方法在未能保留这些功能或串行推理能力方面的局限性。
基于深刻洞察的设计： 作者提出了动态衰减脉冲神经元（DSN），它满足了并行训练和串行推理的三个条件，同时比硬/软重置机制更灵活地实现了重置的功能。
通用性与性能： 该方法在多种网络架构（CNN、Transformer、状态空间模型/SSM）和五类任务中展示了持续的有效性（图像分类、神经形态事件处理、时间序列预测、语言建模和强化学习）。

4. 实验结果

作者进行了全面的实验来验证 DSN：

训练效率： 在 16k 长度的序列上，DSN 相比于开创性的并行脉冲神经元（PSN）实现了 25.6 $\times$ 的训练加速。
外推能力： 在 2k 长度序列上训练的模型成功在高达 30k 长度的序列上执行稳定推理，而其他并行方法（如 Masked PSN）在超过训练长度后便失效。
任务性能：
- 图像分类： 在 Sequential CIFAR-10/100 上达到了 SOTA（最先进）结果，并在 ImageNet 和 CIFAR10-DVS 上取得了在并行脉冲神经元中的竞争性结果。
- 时间序列预测： 在各种预测长度下的交通流和太阳能数据集上优于基准 SNN 和 Transformer。
- 强化学习： 在 IDP-v4、Hopper-v4 和 Walker2d-v4 基准测试中实现了 SOTA 性能，且与现有的基于 SNN 的 RL 方法相比，方差更低。
- 语言建模： 在 WikiText-103 上实现了脉冲语言模型中最低的困惑度（28.50）。
能耗： 尽管增加了动态衰减的复杂度，DSN 的脉冲发放率仍低于 vanilla LIF 和现有的并行神经元。因此，估计的总能耗略低于 LIF，且显著低于 PSN。

5. 重要性与主张

论文声称 DSN 提供了一种通用且强大的替代方案来取代重置机制，解决了训练效率与推理能力之间的权衡。通过将对重置的需求从机制本身中解耦，并将其替换为可学习的、依赖输入的动态衰减，作者使 SNN 能够在现代 GPU 上高效扩展，同时保留脉冲神经元的生物学合理性和推理效率。

这项工作将 DSN 定位为训练大规模、高性能脉冲模型的基础性步骤，使其能够随着大型基础模型的时代一起扩展，解决了大规模模型时代并行训练的关键瓶颈。作者强调，他们的方法不仅仅是在近似现有的神经元，而是在遵循并行与串行计算所需结构约束的同时，增强了脉冲神经元的功能能力。