Generalization Bounds of Spiking Neural Networks via Rademacher Complexity

技术摘要：基于 Rademacher 复杂度的脉冲神经网络泛化界

问题陈述
脉冲神经网络（SNN）作为一种有前景的生物启发式模型，已在神经形态计算和稀疏计算领域崭露头角，并在计算机视觉、语音识别和强化学习等任务中展现出成功应用。然而，对其泛化能力的理论理解——具体而言，即基于观测到的脉冲序列训练的 SNN 在未见数据上的表现程度——仍不明确。尽管先前的研究利用 Vapnik-Chervonenkis（VC）维数或覆盖数探讨了泛化界，但这些方法通常得出了保守的、与数据无关的界，对参数幅值和架构复杂度的变化不敏感。此外，Zhang 等人 [42] 最近的研究为具有随机发放机制的 SNN 建立了依赖激发的界，但针对采用常见确定性积分 - 发放（integrate-and-fire）方案的 SNN，尚缺乏严格的理论刻画。

方法论
本文利用经验 Rademacher 复杂度框架，研究了采用标准积分 - 发放方案的 SNN 的泛化界。作者将微分方程表述（DEF）作为脉冲神经元的主要模型，同时指出其结果可推广至其他常见表述，包括脉冲响应模型（SRM）、指数积分分解（EID）、离散时间近似（DTA）和格林函数（GsF）。

理论推导通过三个关键步骤进行：

1. 有界变差分析：作者首先证明，在 DEF 方案（及其他所列方案）下，SNN 表达的膜电位函数属于有界变差（BV）函数空间。这一证明通过展示膜电位是 Lipschitz 连续的，并利用 Gronwall 不等式来界定电位随时间的增长来完成。
2. 更严格的覆盖数界：利用有界变差的性质，作者推导出了假设空间覆盖数的显著更紧的界。这一步涉及将覆盖数与 LIF 方程的正整数解数量联系起来，该数量对应于中心二项式系数。通过利用 Gamma 函数的比值，作者获得了一个比传统研究推导出的更精确的界。
3. Rademacher 复杂度推导：利用推导出的覆盖数界，作者界定了 SNN 假设空间的经验 Rademacher 复杂度。随后，该复杂度度量被整合到标准的泛化界不等式中，将期望误差与经验误差、Rademacher 复杂度以及损失函数性质（Lipschitz 连续性和有界性）联系起来。

主要贡献与结果
本工作的主要贡献是推导出了一个 SNN 泛化界，该界独立于脉冲神经元内部的计算，但依赖于关键的架构和数据配置。主要理论结果（定理 1）指出，以高概率，泛化误差被经验误差加上一个涉及经验 Rademacher 复杂度的项所界定，该复杂度的上界如下：

$$\hat{R}_n(H) \leq O\left( \frac{T N_f N_w^{3/2} \log(2/3\pi n)}{n} \right)$$

其中 $N_f$ 是函数范数的通用界，估计为 $O[(TM_w)^L \exp(-TL)]$。

分析揭示了泛化界的以下具体依赖关系：

• 网络深度（$L$）和时间持续时间（$T$）：该界关于网络深度和接收脉冲序列的最大时间持续时间均呈指数关系。
• 网络宽度（$N_w$）：该界与网络宽度呈超线性且次二次方的关系（具体为 $N_w^{3/2}$）。
• 参数范数（$M_w$）：该界关于连接权重的范数呈多项式关系。
• 训练样本（$n$）：该界关于训练样本数量呈反比线性关系。
• 独立性：关键在于，该界独立于脉冲神经元内部发生的具体计算，这表明泛化性能本质上由网络的结构配置和数据特征决定，而非具体的发放机制细节。

实验验证在延迟记忆 XOR 任务上进行。结果表明，泛化间隙与网络深度的对数之间存在线性负相关，且与网络宽度呈负相关，这支持了理论预测。观察到时间持续时间 $T$ 的影响在 $T$ 超过某一阈值后变得不那么显著。

意义
本文声称，这些理论结果提供了比基于 VC 维数或先前 Rademacher 复杂度分析的传统研究更精确的泛化速率。通过建立一个依赖于数据且对架构参数（深度、宽度、时间持续时间）和参数范数敏感的界，这项工作为理解 SNN 提供了一个更严格、信息量更大的理论框架。作者认为，这些发现支持了 SNN 理论的范围，并为 SNN 的开发提供了见解，特别是关于网络配置如何影响泛化性能，尽管内部脉冲动力学十分复杂。这项工作与 Zhang 等人 [42] 的研究区别在于，它关注常见的积分 - 发放方案而非随机发放，但实现了一个与以下观察一致的界：激发概率（由持续时间和发放率近似）在泛化中起着关键作用。