💻 computer science

Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition

本文提出了一种受皮层回路启发的深度无归一化脉冲神经网络训练框架，通过引入动态平衡的兴奋 - 抑制（E-I）电路及配套的初始化与反向传播策略，在保持生物真实性的同时实现了深层 SNN 的稳定训练与高性能表现。

原作者： Peiyu Liu, Jianhao Ding, Zhaofei Yu

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Peiyu Liu, Jianhao Ding, Zhaofei Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让脉冲神经网络（SNN）变得更聪明、更深层的新方法。为了让你轻松理解，我们可以把这篇论文的核心思想想象成在管理一个巨大的、嘈杂的工厂。

1. 背景：为什么现在的“工厂”很难管理？

脉冲神经网络（SNN） 就像是一个模仿人脑的工厂。在这个工厂里，工人（神经元）不是像普通电脑那样一直不停地计算，而是像发摩斯密码一样，偶尔“跳”一下（发出脉冲）来传递信息。这种模式非常省电，而且很像真实的大脑。

但是，要把这个工厂建得很大、很深（也就是有很多层，能处理复杂任务），一直有个大难题：

传统做法：为了让工厂运转稳定，工程师们通常会安装一个“中央调节器”（比如批归一化 BatchNorm）。这个调节器会时刻盯着所有工人的输出，强行把它们拉到一个标准水平。
问题：这个“中央调节器”在真实的大脑里是不存在的！大脑里没有这种时刻统计大家输出数据的“上帝视角”。所以，虽然用调节器的工厂效率高，但它不像真正的大脑，失去了生物学的真实性。

现在的困境：要么像真大脑但容易乱套（训练不稳定），要么像机器一样稳定但失去了生物学的灵魂。

2. 解决方案：引入“左右互搏”的侧向抑制

这篇论文提出了一种全新的管理方案，不再依赖那个不自然的“中央调节器”，而是引入了大脑中真实存在的机制：侧向抑制（Lateral Inhibition）。

想象一下，工厂里不再只有一个老板，而是把工人分成了两派：

兴奋派（Excitatory, E）：负责干活，喊“加油”，让信号传递下去。
抑制派（Inhibitory, I）：负责“踩刹车”，防止大家太兴奋而失控。

核心创新：
这两派工人是分开的，而且它们之间会互相“打架”（相互作用）。兴奋派想加速，抑制派想减速。通过这种动态的“拉锯战”，工厂的运作自然就稳定了，不需要外部的“中央调节器”。

3. 两大“秘密武器”：让工厂顺利开工

虽然有了兴奋派和抑制派，但如果一开始就乱打，工厂还是会瘫痪。作者提出了两个关键技巧来确保工厂顺利运转：

武器一：E-I Init（完美的“开业大吉”）

问题：如果刚开业，兴奋派太猛，工厂就炸了；抑制派太猛，工厂就死机了。
比喻：这就像给新工厂设定初始工资和预算。作者设计了一套动态算法，确保开业第一天，兴奋派和抑制派的“力量”刚好平衡。
- 它让兴奋派和抑制派的输入互相抵消，让工人处于一种“随时准备干活但还没乱套”的最佳状态。
- 它还设定了“增益控制”，确保信号传得既不太强也不太弱。
结果：工厂一开业就秩序井然，不需要后期慢慢调试。

武器二：E-I Prop（聪明的“训练导航”）

问题：在训练过程中，抑制派（特别是那种“除法”类型的抑制）很容易导致数学计算出错（比如除以零），或者让梯度（学习的方向）变得巨大，把工厂冲垮。
比喻：这就像给工厂安装了一套智能导航和防呆系统。
- 自适应稳定：如果某个地方的“刹车”力度变成了零（分母为零），系统不会报错，而是自动用该组里最小的正数代替，就像在悬崖边自动垫了一块石头，防止掉下去。
- 直通估计器（STE）：这是一个数学技巧。在“向前看”（计算输出）时，系统小心地处理那些不稳定的点；但在“向后看”（学习错误并修正）时，它假装这些处理是完美的，让学习信号能顺畅地传回去，不会因为刚才的“垫石头”动作而迷路。
- 梯度缩放：因为抑制派的“刹车”力量太大，容易把其他工人的学习信号盖过，作者特意给抑制派的信号减了速，让兴奋和抑制两派的学习力度保持平衡。

4. 成果：既像人脑，又像超级计算机

作者用这个方法在多个著名的数据集（比如识别图片的 CIFAR-10，甚至更难的 TinyImageNet）上进行了测试。

表现：他们的模型在没有“中央调节器”的情况下，训练非常稳定，准确率甚至超过了其他没有调节器的方法，接近了那些有调节器的传统模型。
发现：有趣的是，训练结束后，作者发现这个“兴奋 - 抑制”系统并没有变成简单的“平均化”（像传统调节器那样），而是学会了一种更高级的双峰分布。
- 比喻：传统调节器是把所有人的声音都调成一样大（像合唱团）。而这个新系统，让一部分人大声欢呼（激活），另一部分人彻底闭嘴（抑制），形成鲜明的对比。这更像真实大脑处理信息的方式——只关注重点，忽略背景噪音。

总结

这篇论文就像是为脉冲神经网络造了一辆**不需要外挂辅助轮（归一化）**的自行车。

以前：为了骑得快，必须装辅助轮（归一化），但这让车看起来不像自行车（不像大脑）。
现在：通过引入“兴奋”和“抑制”两股力量的动态平衡（侧向抑制），并配合精妙的“起步技巧”（E-I Init）和“防摔导航”（E-I Prop），这辆自行车不仅能骑得飞快（高性能），而且完全符合自行车的构造原理（生物真实性）。

这不仅解决了训练深层脉冲神经网络的难题，也为未来研究大脑是如何进行复杂计算提供了一个绝佳的模拟平台。

这是一份关于论文《TRAINING DEEP NORMALIZATION-FREE SPIKING NEURAL NETWORKS WITH LATERAL INHIBITION》（通过侧向抑制训练深度无归一化脉冲神经网络）的详细技术总结。

1. 研究背景与问题 (Problem)

核心矛盾： 脉冲神经网络（SNN）因其高能效和生物合理性受到关注，但在训练深度 SNN 时，性能与生物真实性之间存在显著权衡。

现状： 现有的深度 SNN 训练方法（如 ANN-to-SNN 转换或直接端到端训练）通常依赖显式的归一化技术（如批归一化 BatchNorm, BN）来稳定训练。
缺陷：
1. 生物不合理性： 归一化技术需要收集输入统计信息（如均值、方差），这在生物大脑中缺乏对应的机制，破坏了 SNN 的生物真实性。
2. 训练不稳定： 如果移除归一化并尝试直接训练具有生物约束（如兴奋/抑制分离）的 SNN，往往会导致训练崩溃或性能大幅下降。
3. 现有尝试的局限： 虽然已有研究尝试引入兴奋性（E）和抑制性（I）神经元分离，但多局限于浅层网络，且难以在深度网络中实现稳定的端到端训练。

目标： 提出一种无需归一化（Normalization-free）的深度学习框架，利用生物启发的侧向抑制机制，实现深度 SNN 的稳定训练，同时保持高生物合理性。

2. 方法论 (Methodology)

作者提出了一种基于**皮层 E-I 回路（兴奋 - 抑制回路）**的框架，核心是用生物真实的侧向抑制机制替代传统的归一化层。

2.1 核心架构：E-I 电路 (E-I Circuit)

每一层包含独立的兴奋性（E）神经元群和抑制性（I）神经元群（比例设为 4:1，符合生物事实）。

兴奋性投射： 上一层的兴奋性神经元输出脉冲，同时驱动当前层的兴奋性神经元和抑制性神经元。
侧向抑制机制： 抑制性神经元接收兴奋性输入后，通过两种机制调节兴奋性神经元的活动：
1. 相减抑制 (Subtractive Inhibition)： 用于平衡 E-I 输入，控制神经元的兴奋性阈值（类似偏置调节）。
2. 相除抑制 (Divisive Inhibition)： 用于增益控制（Gain Control），调节神经元的响应斜率（类似归一化中的缩放）。
数学表达： 兴奋性神经元的总输入电流 $I_{int}$ 由兴奋性输入减去相减抑制项，再除以相除抑制项（加偏置）得到。

2.2 关键技术一：E-I Init (动态参数初始化)

由于 E-I 分离要求权重符号严格（兴奋性权重非负，抑制性权重非负），传统的 Xavier 或 Kaiming 初始化（零均值分布）会导致网络在初始化时处于非响应状态（神经元沉默或饱和）。

策略：
- E-I 平衡： 利用指数分布初始化兴奋性权重，并设定抑制性权重，使得初始时刻的期望兴奋性输入与期望相减抑制输入相互抵消，确保神经元处于响应区。
- 增益控制： 初始化相除抑制参数，使其期望值近似于兴奋性输入的标准差，从而在初始化阶段实现类似归一化的缩放效果，保证信号在深层网络中的稳定传播。
- 动态估计： 使用训练集的第一批数据动态估计脉冲发放概率 $p$ 和统计量，而非手动设定。

2.3 关键技术二：E-I Prop (训练稳定性工具包)

针对相除抑制带来的数值不稳定（分母接近零）和梯度爆炸问题，提出了一套稳定化方案：

自适应稳定化 (Adaptive Stabilization)： 在前向传播中，如果分母（相除抑制项）出现零值，不添加固定的小常数 $\epsilon$ （这会破坏动态范围），而是动态替换为该样本中最小的正数值。这既避免了除零错误，又保留了数据的动态范围。
直通估计器 (Straight-Through Estimator, STE)： 由于上述“零值替换”操作不可导，在反向传播时，将其梯度近似为恒等函数（Identity），使梯度能够绕过该操作直接传递，确保学习路径畅通。
梯度缩放 (Gradient Scaling)： 理论分析表明，侧向抑制路径（ $W_{EI}$ ）的梯度远大于其他路径。为此，对 $W_{EI}$ 的梯度进行 $1/d$ （ $d$ 为输入维度）的缩放，以平衡不同路径的更新幅度，防止训练崩溃。

3. 主要贡献 (Key Contributions)

首个深度无归一化 SNN 框架： 将皮层中典型的 E-I 分离和侧向抑制机制引入深度 SNN，成功实现了无需 BatchNorm 等人工归一化层的端到端训练。
E-I Init 初始化方案： 提出了一种动态初始化策略，解决了 E-I 约束下深度网络初始化困难的问题，确保了训练初期的 E-I 平衡和增益控制。
E-I Prop 稳定化技术： 结合了自适应分母稳定化、STE 和梯度缩放，解决了相除抑制带来的数值不稳定和梯度失衡问题。
生物真实性与高性能的统一： 证明了该框架不仅在多个数据集上达到了与含归一化方法竞争的性能，还学习到了不同于标准归一化的更复杂的动态调节机制（如双峰分布）。

4. 实验结果 (Results)

实验在多个静态数据集（CIFAR-10, CIFAR-100, TinyImageNet）和神经形态事件数据集（CIFAR10-DVS, DVS-Gesture）上进行，使用了 VGG 和 ResNet 架构。

分类性能：
- CIFAR-10: 在 ResNet-18 上达到 92.05% 的 Top-1 准确率，显著优于其他无归一化方法（如 EICIL 的 90.34%），并接近含 BN 方法的性能。
- TinyImageNet: 在 ResNet-18 上达到 50.29%，证明了框架在大规模数据集上的可扩展性。
- DVS-Gesture: 达到 94.86%，优于多种基于 BN 的方法。
消融实验：
- 移除 E-I 约束或 E-I Init 会导致训练失败或精度大幅下降。
- 使用固定 $\epsilon$ 进行稳定化在所有测试值下均失败，证明了自适应稳定化的必要性。
- 移除梯度缩放会导致训练崩溃。
表征分析：
- 可视化显示，训练后的 E-I 电路输入电流分布从初始的高斯分布演变为双峰分布（Bimodal），表明网络学会了将神经元动态分离为“激活”和“抑制”两类群体，这是一种比简单归一化更复杂的调节机制。

5. 意义与影响 (Significance)

填补了理论与应用的鸿沟： 该工作为训练深度、高生物真实性的 SNN 提供了解决方案，消除了对非生物归一化技术的依赖，使 SNN 更适合作为研究大脑计算原理的“硅基平台”（In silico platform）。
硬件兼容性： 由于去除了需要全局统计信息的归一化层，该框架更适合在下一代模拟或混合信号神经形态芯片（如 DYNAP-SE2）上部署，具有直接的算法兼容性。
神经科学启示： 研究揭示了 E-I 回路在深度网络中可能不仅仅是简单的归一化替代，而是通过动态的兴奋/抑制分离来实现更高级的特征选择和增益控制，为理解皮层计算提供了新的计算模型。

总结： 本文通过引入生物启发的侧向抑制机制，配合精心设计的初始化和训练稳定化技术，成功打破了深度 SNN 训练必须依赖归一化的瓶颈，实现了生物真实性与高性能的兼得。