Gradient-Free Training of Spiking Neural Networks via Low-Rank Evolution Strategies

技术摘要：通过低秩进化策略进行脉冲神经网络的无梯度训练

问题陈述
脉冲神经网络（SNNs）通过利用稀疏、事件驱动的计算，在神经形态硬件（如 Intel Loihi、IBM TrueNorth）上展现出显著的能效优势。然而，训练 SNNs 仍然是一个主要的瓶颈。核心问题在于脉冲生成函数（阶跃函数/Heaviside step function）的不可微性，这阻碍了标准反向传播的使用。虽然代理梯度法（surrogate-gradient methods）通过近似其导数来启用反向传播，但它们依赖于与片上学习约束不兼容的自动微分（autograd）基础设施。进化策略（Evolution Strategies, ES）提供了一种无需梯度的替代方案，通过扰动权重并评估适应度来实现；然而，标准的 ES 在模型规模较大时扩展性较差，每代需要 $O(Pmn)$的内存（其中$P$是种群规模，$m \times n$ 是权重矩阵维度），这使得其在处理大型网络时变得不切实际。

方法论
作者提出将 Eggroll（一种用于进化策略的低秩分解技术）集成到 SNN 的训练循环中。

• 低秩扰动： 该方法不再采样全秩扰动矩阵 $E \in \mathbb{R}^{m \times n}$，而是将扰动近似为低秩乘积 $E_i = \frac{1}{\sqrt{r}} A_i B_i^\top$，其中 $A_i \in \mathbb{R}^{m \times r}$ 且 $B_i \in \mathbb{R}^{n \times r}$。这使每代的内存复杂度从 $O(Pmn)$降低到$O(r(m+n))$。
• 确定性重构： 为了进一步优化内存，噪声因子（$A, B$）不会被存储，而是通过基于计数器的确定性随机数生成器（RNG）从存储的种子中按需重构。
• 训练循环： 该方法采用漏电流整合发放（Leaky Integrate-and-Fire, LIF）网络。在每一代期间，$P$ 个受扰动的网络副本会在 N-MNIST 数据集的微批次（mini-batch）上同时进行评估。适应度信号是通过负交叉熵（对数似然）而非原始准确率导出的，从而为优化器提供更平滑的景观。梯度估计通过 $(\text{diag}(f)A)^\top B$ 公式进行重构，并使用 Adam 优化器来更新权重。
• 数据集： 实验使用了 N-MNIST，这是一个通过移动 ATIS 传感器采集 MNIST 图像生成的原生神经形态数据集。该数据集提供了异步事件流（ON/OFF 极性），无需进行率编码（rate-coding）近似。

核心贡献

1. 表征 Eggroll 在 SNN 上的特性： 本文证明了 Eggroll 可以有效地训练具有不可微脉冲函数的 SNN，实现了完全无需代理梯度的无梯度训练。
2. 秩消融研究： 作者展示了随着秩 $r$ 的减小，准确率保持相对稳定，从而确定了一个清晰的效率-准确率帕累托前沿（Pareto frontier）。
3. 原则性评估： 该方法在 N-MNIST 上与原生 ES 和代理梯度随时间反向传播（BPTT）进行了基准测试，避免了在静态 MNIST 评估中常用的率编码近似。

实验结果
实验在 NVIDIA RTX 3070 Ti 上使用两层全连接 LIF 网络进行。

• 准确率 vs. 速度： 所提方法在秩为 $r=4$ 时实现了 79.21% 的测试准确率。与原生 ES 实现的 76.17% 相比，准确率下降极小，但每代墙钟时间（wall-clock time）实现了 2.23 倍的加速。
• 与 BPTT 的比较： 虽然代理梯度 BPTT 实现了更高的准确率（94.03%），但其速度明显较慢（每代 31.69 秒 vs. Eggroll $r=4$ 的 5.82 秒）。
• 秩敏感性： 在 $r=4$ 时观察到了最佳的准确率-每秒性能权衡。较低的秩（例如 $r=1$）提供了最快的执行速度（3.41 秒）以及 78.75% 的准确率，而较高的秩则表现出更大的方差。
• 收敛性： 尽管在每一代层面的收敛行为相似，但 EGGROLL 变体在墙钟时间方面的收敛速度比原生 ES 略快。

意义与主张
本文声称 EGGROLL 是训练 SNN 的可行方法，无需依赖代理梯度或反向传播基础设施。这具有重要意义，因为它解决了现代训练算法与神经形态硬件约束之间的兼容性差距，因为后者无法支持代理梯度所需的 autograd 机制。

作者对结果持谨慎态度：

• 他们承认其方法（79.21%）与代理梯度 BPTT（94.03%）之间存在准确率差距，并将其归因于有限的计算预算（100 代）以及使用的轻量级两层网络架构。
• 他们指出，该方法尚未在真实神经形态硬件或更复杂的数据集（如 CIFAR10-DVS 或 N-Caltech101）上进行测试。
• 这项工作建立了一个概念验证，证明低秩进化策略可以扩展到 SNN，提供了一个清晰的计算效率与模型准确率之间的权衡，为未来的片上学习应用铺平了道路。