Spiking Neural Network Architecture Search: A Survey

1. 研究背景与核心问题 (Problem)

随着边缘计算和物联网（IoT）对低功耗、实时人工智能需求的增长，受生物神经元启发的脉冲神经网络（SNN）因其高能效和事件驱动特性而成为极具潜力的解决方案。然而，设计最优的 SNN 架构面临巨大挑战：

• 设计复杂性：SNN 具有离散的时间脉冲通信机制、复杂的神经元动力学（如时间常数、泄漏率）以及非微分的激活函数，这使得传统的基于梯度的训练和架构搜索方法难以直接应用。
• 现有方法的局限性：
  • 人工设计：依赖专家试错，耗时且难以挖掘 SNN 的潜力。
  • ANN 转换：将人工神经网络（ANN）架构（如 ResNet, VGG）直接转换为 SNN，往往忽略了 SNN 特有的时间动态，导致性能次优。
  • 缺乏专用搜索：现有的神经网络架构搜索（NAS）主要针对 ANN，直接应用于 SNN 时，往往无法处理时间步长优化、脉冲时序精度以及硬件约束（如异步计算、有限的连接性）之间的相互作用。
• 核心矛盾：如何在保证推理精度的同时，满足严格的硬件约束（功耗、延迟、面积），并充分利用 SNN 的时间动态特性，是目前 SNNaS 面临的主要难题。

2. 方法论与核心框架 (Methodology)

论文构建了一个基于软硬件协同设计视角的 SNNaS 分析框架，主要涵盖以下三个核心组件（如图 1 所示）：

A. 搜索空间设计 (Search Space)

论文指出搜索空间的设计对 SNNaS 的成功至关重要，并归纳了多种空间类型：

• 全局/非结构化空间：允许跨层自由配置，灵活但搜索空间过大。
• 序列空间：逐层构建，但在 SNN 中因时间动态和状态变量导致组合爆炸，较少使用。
• 基于单元的空间 (Cell-based)：目前的主流（如 SNASNet, SpikeNAS），利用有向无环图（DAG）定义微观操作（卷积、池化、跳跃连接等），宏观上通过重复单元构建网络。
• 分层结构空间：结合宏观骨干和微观脉冲块，甚至引入生物启发的兴奋/抑制神经元和反馈连接。
• 硬件感知空间：直接包含硬件参数（如处理单元数量、缓冲区大小、片上网络拓扑），实现端到端优化。
• 神经元级搜索：优化神经元参数（如泄漏率、阈值、重置机制）以抑制冗余脉冲。

B. 搜索策略 (Search Strategies)

论文详细对比了多种搜索算法在 SNN 领域的适用性（见表 III）：

• 进化算法 (Evolutionary)：如遗传算法、CMA-ES。无需可微分目标，适合多目标优化（精度、能耗、延迟），但计算成本高。
• 强化学习 (RL/DRL)：将搜索建模为马尔可夫决策过程，可动态平衡多目标，但样本效率低且训练不稳定。
• 贝叶斯优化 (Bayesian Optimization)：利用代理模型（如高斯过程）减少评估次数，适合昂贵且复杂的函数，但在高维空间扩展性受限。
• 梯度基方法 (Gradient-Based)：如 DARTS 的变体（SpikeDHS, MA-DARTS）。通过连续松弛和代理梯度（Surrogate Gradients）实现快速搜索，但易陷入局部最优，且对 SNN 的非微分特性敏感。
• 混合方法：结合上述多种策略以平衡探索与开发。

C. 加速策略 (Acceleration Strategies)

为了解决 SNN 训练和评估的高计算成本，论文总结了多种加速技术：

• 训练保真度降低：减少训练轮次、截断时间步、使用小数据集。
• 权重复用与一次搜索 (One-shot/Supernet)：训练一个超网，子网络共享权重。但在 SNN 中，由于时间编码（如 TTFS）的特性，权重共享可能导致排序混乱。
• 零样本/无训练代理 (Zero-shot Proxies)：利用初始化时的统计特性（如稀疏性感知的汉明距离 SAHD）直接评估架构，无需训练。
• 硬件感知加速：在搜索过程中直接剪枝不符合硬件约束（如内存、延迟）的架构。

D. 性能评估指标

除了传统的准确率，SNNaS 必须考虑：

• 脉冲计数 (NoS)：作为功耗的代理。
• 突触操作 (SynOps)：更全面的计算和内存资源指标。
• 位宽操作 (Bit-SynOps)：考虑量化对硬件效率的影响。
• 延迟与能耗：针对实时和边缘应用的关键指标。

3. 关键贡献与核心见解 (Key Contributions & Insights)

该综述提出了六个关键见解，强调了软硬件协同设计的必要性：

1. 软硬件协同设计是必须的，而非可选的：SNN 的时间动态和事件驱动计算与以 ANN 为中心的 NAS 方法存在根本性不匹配。必须从设计之初就整合算法约束和硬件限制（如异步平台的时序误差）。
2. 搜索空间设计决定成败：领域已从简单地将 ReLU 替换为 LIF 神经元，演变为使用 SNN 特定的表示（如基于单元的 DAG、分层结构、生物启发式模块），以更好地捕捉脉冲计算特性。
3. 时间动态仍被低估：尽管时间动态是 SNN 的核心优势，但许多现有方法仍沿用 ANN 中心的方法，忽略了脉冲时序、时间步优化和时间注意力机制。
4. 无训练评估策略正在改变效率：零样本指标、代理模型和一次超网将搜索成本降低了几个数量级，使 SNNaS 在资源受限场景下变得可行。
5. 多目标优化是 SNNaS 的内在要求：SNNaS 必须同时平衡精度、能耗、延迟、内存和脉冲稀疏性。进化算法和贝叶斯方法天然适合此类任务。
6. 协同探索优于顺序优化：联合搜索神经网络架构和硬件配置（Co-exploration）的框架（如 ANAS, ANCoEF）在能量 - 延迟积（EDP）上 consistently 优于分别优化这两个维度的方法。

4. 结果与现状 (Results & State of the Art)

• 性能提升：协同探索框架（如 ANCoEF）在 N-MNIST 数据集上相比单独优化硬件或 SNN 的方法，实现了 1.81 倍的 EDP 降低 和 2.73 倍的搜索速度提升。
• 效率突破：通过加速策略（如 SAHD 代理、CMA-ES 辅助），搜索时间从数千 GPU 小时减少到实用水平。
• 基准缺失：目前缺乏标准化的 SNNaS 基准（尽管 SpikeNAS-Bench 已出现），导致许多研究仍局限于 ANN 任务（如 MNIST, CIFAR-10），未能充分发挥 SNN 处理时序数据的优势。
• 硬件兼容性：在 Loihi 等异步硬件上，某些操作（如最大池化、矩阵乘法）因时序不精确而表现不佳，需要专门的搜索空间约束（如 STMixer）。

5. 意义与未来方向 (Significance & Future Directions)

意义：
这篇综述填补了 SNN 领域缺乏系统性架构搜索指南的空白。它强调了不能简单照搬 ANN 的 NAS 方法，必须针对 SNN 的非微分性、时间动态和硬件约束进行专门设计。通过推动软硬件协同设计，该研究为构建真正高效、低延迟的神经形态 AI 系统奠定了理论基础。

未来研究方向：

1. 可解释性与理论洞察：理解自动发现的 SNN 架构为何有效，建立更深层的理论模型。
2. 可复现性危机：解决代码库维护不当、依赖缺失问题，推动标准化、容器化的开源实现。
3. 硬件感知的基准测试：建立包含多样化神经形态任务、丰富时间动态和硬件实测数据的基准，超越传统的 ANN 基准。
4. 新兴硬件与算法融合：结合存内计算（In-memory computing）、量化和剪枝等新兴范式，探索设备特定的 SNN 架构。
5. 时间动态的深度利用：在搜索过程中显式建模时间注意力、时间步优化和脉冲时序依赖，以解锁 SNN 的完整潜力。

总结

该论文不仅是对 SNNaS 技术的全面梳理，更是一份行动指南，呼吁研究界从软硬件协同的角度重新思考神经架构搜索，以克服当前 SNN 在能效、实时性和可扩展性方面的瓶颈，推动神经形态计算从理论走向广泛的实际应用。