💻 computer science

Efficiently Training Time-to-First-Spike Spiking Neural Networks from Scratch

本文提出了一种综合训练框架，通过结合专门的初始化、归一化、时间解码器和平均池化，旨在克服首个脉冲时间（Time-to-First-Spike）脉冲神经网络在稳定性和准确性方面的局限性，并在多个数据集上实现了最先进的性能。

原作者： Kaiwei Che, Zhengyu Ma, Yifan Huang, Peng Xue, Li Yuan, Timothée Masquelier, Wei Fang, Yonghong Tian

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaiwei Che, Zhengyu Ma, Yifan Huang, Peng Xue, Li Yuan, Timothée Masquelier, Wei Fang, Yonghong Tian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一群信使（神经元）向老板传递一份紧急的单份便条（一个脉冲/spike）。目标是使用最少的能量和最短的时间将正确的信息传达出去。这就是训练“脉冲神经网络”（SNNs）的挑战，这种模型是受真实大脑运作方式启发的计算机模型。

这种特定的网络类型被称为首发脉冲时间（Time-to-First-Spike, TTFS）。在这个系统中，每个神经元只被允许大喊一次。信息的载体在于那次呐喊的时机。如果喊得早，代表一种意思；如果喊得晚，则代表另一种意思。

作者们面临的问题是，教导这些“只喊一次”的网络极其困难。它们经常会感到困惑、保持沉默，或者在错误的时间大喊，导致性能低下。

以下是由于 Kaiwei Che 和 Zhengyu Ma 领导的作者们如何通过四种主要策略解决了这个问题，并用日常类比进行了说明：

1. “完美的起跑线”（参数初始化）

问题： 想象一场接力赛，接力棒在每位跑者手中都会变得越来越轻。到了最后一名跑者手中时，棒子已经轻得几乎感觉不到重量了。用计算机术语来说，使用标准的起始设置（称为“Kaiming 初始化”）会导致信号在穿过网络的层级时逐渐消散。神经元无法获得足够的“电荷”来发出呐喊。

解决方法： 作者创建了一种新的起始规则，称为 ETTFS-init。他们不再靠猜测初始权重，而是计算出所需的精确“推力”，以确保信号从第一位跑者到最后一位跑者都能保持强劲且一致。这就像确保接力赛中的每一位跑者拿到的接力棒重量完全相同，从而保证信息不会丢失。

2. “稳健的手”（权重归一化）

问题： 即使你从完美的起跑线出发，跑者在比赛过程中也可能会疲劳或兴奋，导致接力棒晃动或改变重量。在训练过程中，“权重”（神经元之间连接的强度）可能会偏离其理想状态，导致训练不稳定。

解决方法： 作者添加了一个**权重归一化（Weight Normalization）**步骤。这就像一位教练，在每次练习赛后都会不断检查接力棒，并将其轻轻调整回完美的重量。这能保持训练的稳定性，并帮助网络更快地学习，而不会让信号变得混乱。

3. “早起的鸟儿”解码器（时间权重解码器）

问题： 在普通的网络中，你可能会等待所有人喊完之后再决定谁赢。但在 TTFS 网络中，第一次呐喊是最重要的。传统方法往往忽略了这种紧迫性，或者计算结果的速度太慢。

解决方法： 作者构建了一个特殊的解码器（Decoder），它像是一个极其看重速度的裁判。他们为较早发生的呐喊分配“加分”，为较晚发生的呐喊施加“惩罚”。

类比： 想象一场比赛，获胜者不仅要快，而且第一个冲过终点的人会获得巨大的金牌，第二名获得银牌，依此类推。这会鼓励神经元尽可能早地发射脉冲，从而加快整个过程并节省能量。

4. “公平的混合器”（池化层）

问题： 为了处理信息，网络经常会将神经元进行分组（池化）。作者发现，使用“最大池化”（Max-Pooling，即挑选声音最大的呐喊）是一个陷阱。如果一组中的两个不同神经元在不同时间呐喊，“最大值”方法会意外地造成看起来像是发生了两次呐喊的情况，从而破坏了“只能喊一次”的规则。

解决方法： 他们转向了平均池化（Average-Pooling）。与其挑选最响亮的呐喊，不如取这一组的平均值。

类比： 如果你有一群人，你想了解整体的情绪，询问“谁的声音最大？”可能会错过细微之处。询问“平均情绪是什么？”则能保持规则的完整性。这确保了网络严格遵守“每个神经元只喊一次”的规则，这对于数学逻辑的成立至关重要。

结果：一个更快、更聪明、更绿色的网络

通过结合这四种修复方案，作者创建了一个训练框架（ETTFS），它具有以下特点：

训练更快： 网络学习时不会陷入困境或感到困惑。
运行更快： 它能在更少的“时间步”（类似于在更短的秒数内完成比赛）内做出决策。
消耗更少能量： 因为它发射的脉冲更少且停止得更早，因此对于专门的“神经形态”硬件（旨在模拟大脑的芯片）来说极其高效。

计分板：
团队在几个标准数据集（如识别手写数字或时尚单品）上测试了他们的方法。他们实现了最先进的准确率（state-of-the-art accuracy），击败了几乎所有从头开始训练这些网络的其他方法。

MNIST（手写数字）： 99.48% 准确率。
Fashion-MNIST（时尚数据集）： 92.90% 准确率。
CIFAR10（彩色图像）： 90.56% 准确率。
DVS Gesture（手势动作）： 95.83% 准确率。

简而言之，这篇论文为教导这些超高效、单次呐喊的神经网络提供了一套新的“规则手册”，使它们足以可靠地应用于现实世界中节能型设备中。

技术摘要：高效从零开始训练首发脉冲（Time-to-First-Spike）脉冲神经网络

1. 问题陈述

脉冲神经网络（SNNs）由于其事件驱动的特性，在能效极高的神经形态计算领域具有广阔的前景。在各种神经编码方案中，**首发脉冲（TTFS）**编码尤其具有吸引力，因为它通过每个神经元单个脉冲的定时来编码信息，提供了极高的稀疏性和极低的能耗。

然而，从零开始（直接训练）训练 TTFS SNN 面临着显著挑战：

信号衰减与梯度消失： 标准初始化方法（如 Kaiming 初始化）会导致 TTFS 网络中突触后电流的方差随层数增加而迅速衰减。这会导致神经元沉默和梯度消失，从而导致训练不稳定且准确率低下。
训练不稳定性： 每个神经元最多只能发放一次脉冲的严格约束，使得网络对梯度下降过程中的权重分布偏移非常敏感。
推理延迟： 现有的解码器往往无法充分利用时间信息来鼓励早期发放，从而导致更高的推理时间步。
池化兼容性： 标准的最大池化（Max-pooling）违反了 TTFS 编码的“单脉冲”约束，因为这可能导致多个脉冲在时间上被聚合，从而破坏了高效 TTFS 训练所需的理论假设。

2. 方法论：ETTFS 框架

作者提出了 ETTFS，这是一个旨在稳定并加速从零开始训练 TTFS SNN 的综合训练框架。该框架由四个核心组件组成：

2.1. ETTFS 初始化 (ETTFS-init)

为了解决信号衰减问题，作者推导了一种新型参数初始化策略。

分析： 他们证明了在 Kaiming 初始化下，输入电流的方差随着时间步数 ( $T$ ) 的增加而渐近衰减至零，具体缩放比例为 $1/(3T)$ 。
解决方案： 他们提出使用由 $\sqrt{T/N_l}$ 缩放的均匀分布来初始化权重，其中 $N_l$ 是输入特征数。这确保了无论网络深度或时间步数如何，跨时间步的平均输入电流方差都能保持稳定（归一化为 1），从而防止了神经元沉默问题。

2.2. 权重归一化

即使有了适当的初始化，权重分布在训练过程中仍可能发生偏移，从而违反稳定性条件。

机制： 作者应用权重归一化将权重约束在其初始化状态附近。
仿射变换： 为了防止由固定缩放导致的表示能力损失，在训练期间对突触输出应用了一个可学习的仿射变换（缩放因子 $\gamma$ 和偏置 $\beta$ ）。
推理效率： 至关重要的是，在推理阶段，仿射变换被融合到突触权重中（ $\tilde{W} = \gamma W$ ， $\tilde{B} = \beta$ ），从而确保不会产生额外的计算开销。

2.3. 时间权重解码器 (TWD)

基于发放率（Firing rates）的传统解码器对于 TTFS 是无效的。

机制： 作者提出了一种可微解码器，通过衰减的时间权重 ( $w[t]$ ) 在时间上聚合输出脉冲。
功能： 权重 $w[t]$ 设定为随时间推进而衰减（指数或线性衰减）。这鼓励网络更早地发放脉冲，因为早期的脉冲对最终输出值的贡献更大。
结果： 这使得网络能够通过在输出层检测到脉冲时立即停止推理来最小化延迟，同时保持反向传播的可微性。

2.4. 用于单脉冲约束的平均池化

论文在 TTFS 背景下重新评估了池化层。

问题： 最大池化会违反“最多一个脉冲”的假设。如果池化窗口内的多个神经元在不同的时间步发放脉冲，最大池化输出在时间上的总和可能会大于 1。
解决方案： 作者提倡使用平均池化（Average-pooling）。由于每个输入序列的和恰好为 1（由于单脉冲约束），这些序列的平均值其和也为 1，从而保持了对初始化和归一化方法至关重要的单脉冲特性。

3. 核心贡献

识别信号衰减： 作者指出标准 Kaiming 初始化会导致 TTFS 网络中的信号方差消失，并提出了 ETTFS-init 以稳定突触后电流分布。
通过归一化实现稳定性： 他们引入了一种带有可学习仿射变换的权重归一化方案，该方案在训练期间维持稳定的权重分布，并在推理时将其融合进权重中。
新型解码器： 提出了时间权重解码器，以鼓励早期发放，在保持可微性的同时降低了推理延迟。
池化重新评估： 论文认为平均池化是 TTFS SNN 的正确选择，以维持单脉冲约束，而最大池化与之不兼容。
达到最先进性能（SOTA）： 该框架使直接训练的 TTFS SNN 能够在多个基准测试上实现高准确率，而无需依赖 ANN-to-SNN 转换或预训练权重。

4. 实验结果

ETTFS 框架在 MNIST、Fashion-MNIST、CIFAR10、CIFAR100 以及神经形态 DVS Gesture 数据集上进行了评估。

准确率： ETTFS 在直接训练的 TTFS SNN 中实现了最先进的准确率：
- MNIST: 99.48%
- Fashion-MNIST: 92.90%
- CIFAR10: 90.56%
- CIFAR100: 70.27%
- DVS Gesture: 95.83%（首次报道了 TTFS 在该数据集上的结果）。
延迟： 与以往方法（如 TQ-TTFS）相比，该框架显著降低了推理时间步。对于 CIFAR10，平均推理时间步从 4.62 降低至 2.93。
能效： 由于时间步更少且脉冲计数更低，与速率编码（Rate coding）和其他 TTFS 方法相比，ETTFS 展示了更优越的能耗指标（包括事件驱动突触能量、静态/动态能量和内存访问能量）。
稳定性： 消融实验表明，ETTFS-init 防止了梯度消失（梯度保持在 $10^{-3}$ 量级，而 Kaiming 初始化则为 $10^{-10}$ ），并允许稳定训练更深的网络（最高达 11 层），而 Kaiming 初始化在这些深度下会失效。

5. 重要性与主张

论文声称 ETTFS 为从零开始训练 TTFS SNN 提供了一个鲁棒的解决方案，克服了历史上 TTFS 编码的极端能效与训练稳定性之间的权衡。

弥合差距： 该框架弥合了直接训练与 ANN-to-SNN 转换之间的性能差距，在实现相当甚至更高准确率的同时，显著降低了延迟和能耗。
硬件对齐： 通过利用逐步传播和早期停止机制，该方法完美契合了异步、事件驱动的神经形态硬件特性，不同于会产生高延迟的逐层转换方法。
局限性： 作者谦虚地指出，目前的结果仅限于小规模数据集（如 CIFAR、MNIST），尚未扩展到像 ImageNet 这样的大规模数据集，并将此作为未来的研究方向。

这项工作为 TTFS SNN 建立了新的基准，证明了通过适当的初始化、归一化和解码，这些网络可以高效且有效地进行训练，而无需外部预训练。