💻 computer science

ADSEQ: A delay-aware autograd-compatible framework for spike-event delivery in SNNs

本文介绍了 ADSEQ，这是一个内存高效且兼容自动微分的框架，它通过利用脉冲事件队列，实现了具有延迟的脉冲神经网络的精确梯度训练，并证明了最优队列实现策略在 CPU、GPU、TPU 和 LPU 硬件平台上存在显著差异。

原作者： Lennart P. L. Landsmeer, Amirreza Movahedin, Said Hamdioui, Christos Strydis

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Lennart P. L. Landsmeer, Amirreza Movahedin, Said Hamdioui, Christos Strydis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图组织一场规模宏大、混乱不堪的派对，成千上万的宾客（神经元）不断地向彼此发送便条（脉冲）。问题在于，这些便条并不会立即送达。有些可能需要几秒钟，有些可能需要几分钟，而且每个人的送达时间因人而异，取决于谁在发送以及信息需要传输多远。

这就是科学家在模拟脉冲神经网络（SNNs）时面临的问题——这些计算机模型试图模仿我们大脑的工作方式。为了训练这些模型（教它们学习），计算机需要准确知道改变“交付时间”如何影响最终结果。这被称为计算梯度（gradient）。

本文介绍了一种名为 ADSEQ 的新工具，用以解决管理这些延迟便条的头痛问题，同时确保数学计算对计算机而言是可解的。

以下是他们所做工作的拆解，使用了简单的类比：

1. 问题所在：“翻译丢失”的交付

过去，计算机通过两种主要方式模拟这些大脑网络，但这两种方式都有缺陷：

“奶昔”法（The "Smoothie" Approach）： 为了让数学计算变得简单，一些模拟器将尖锐、突然的“便条”变成了平滑、连续的液体流。这虽然让数学计算变得容易，却破坏了效率。这就像是通过测量水洼的总量来试图数清每一滴雨滴；你会丢失那些让系统高效运行的特定时间信息。
“硬质盒子”法（The "Rigid Box" Approach）： 其他模拟器使用特定的、简单的盒子（如环形缓冲区）来存放便条。这些方法很快，但无法处理复杂的延迟或不同类型的神经元。它们就像是一个传送带，只有当每个包裹都恰好在上一件之后 5 秒到达时才能正常工作。

差距： 以前没有人能建立一个既能处理复杂、多变延迟（有的便条需 2ms，有的需 50ms），又能让计算机高效地从错误中学习（计算梯度）的系统。

2. 解决方案：ADSEQ（智能快递服务）

作者构建了 ADSEQ（自动微分脉冲事件队列）。你可以把它想象成一个超级智能的快递服务，它可以处理任何类型的包裹、任何交付时间，并且依然能为会计师（梯度计算器）保留一份完美的收据。

魔术技巧（自定义梯度）： 通常，如果你把包裹放入盒子并在稍后取出，计算机会忘记它确切的进入时间。ADSEQ 使用一种特殊的“魔术收据”（数学导数）随包裹一起移动。即使包裹在队列中停留很长时间，收据也会记住延迟时间是如何影响最终结果的。这使得计算机能够学习如何通过调整交付时间来让网络变得更聪明。
队列： 他们为这些便条构建了一个由不同“候诊室”（队列）组成的工具箱。有些是简单的单向队列（FIFO），有些是优先级列表（堆/Heaps），还有些是环形轨道（环形缓冲区）。

3. 竞赛：哪个候诊室最棒？

作者在四种不同的“超级计算机”（AI 加速器）上测试了这些不同的候诊室，以观察哪种速度最快。事实证明，并非一种方案适用于所有场景。

CPU（经典的办公室职员）：
- 最佳队列： 基于树的结构或 FIFO 线。
- 原因： CPU 擅长逐条执行指令。它喜欢有组织的队伍，可以按顺序勾掉清单上的项目。
GPU（超并行工厂）：
- 最佳队列： 环形缓冲区（针对小任务）或 FIFO（针对大规模任务）。
- 原因： GPU 就像拥有成千上万名工人同时执行相同任务的工厂。它们喜欢同步移动的环形轨道。然而，如果工厂变得过于拥挤，一个简单的直线（FIFO）会更好，以避免交通堵塞。
TPU（专门的分类机）：
- 最佳队列： 排序数组（Sorted Arrays）。
- 原因： TPU 的硬件内置了一个特殊的“分类机”。无论便条堆有多乱，TPU 都能瞬间完成排序。因此，最好的策略就是把它们丢进一堆，然后让机器进行排序。
LPU（确定性列车）：
- 最佳队列： 确定性数据流（Deterministic Dataflow）。
- 原因： 这种计算机像在固定轨道上运行的火车。它讨厌意外或分支路径。它需要一个每个便条都在可预测时间到达的计划表。

4. “丢弃包裹”选项

有时，候诊室会变得太满。作者展示了你可以通过编程，在队列满时丢弃一些便条。

权衡： 丢弃便条会让模拟运行得更快（占用更少的内存），但准确度会略微下降。这就像一个繁忙的邮局在信箱满时扔掉一些信件，以保持线路畅通。论文表明你可以进行调节：丢弃少量以节省速度，或者保留全部以获得完美精度。

总结

本文不仅仅是在说“我们做了一个更快的脑模拟器”。它是在说：“我们构建了一个灵活的工具包（ADSEQ），它让计算机能够从延迟信号中学习，并且我们证明了，组织这些信号的最佳方式完全取决于你正在使用的计算机芯片类型。”

如果你使用的是标准计算机，请使用直线。
如果你使用的是显卡，请使用圆圈或直线。
如果你使用的是 Google TPU，请使用排序堆。

这使得科学家能够构建更真实的脑模型，并更快地训练 AI，而不会被“那个信号究竟是什么时候到达的？”这类数学问题困扰。

技术摘要：ADSEQ —— 一种用于脉冲神经网络（SNN）中延迟感知型自动微分兼容的脉冲事件传递框架

问题陈述
高效模拟和基于梯度的脉冲神经网络（SNN）及大脑模型，需要处理稀疏的脉冲传输，特别是在引入异构突触延迟时。目前的方案面临着一种两难困境：

内存效率低下： 基于机器学习（ML）库的模拟器通常依赖代理梯度（如 SuperSpike）来处理脉冲的不连续性。虽然这些方法对于简化模型很有效，但代理梯度会将稀疏的脉冲事件转换为稠密的连续时间信号。当引入延迟时，这些稠密信号必须被缓冲，从而抵消了稀疏性的优势，并造成内存瓶颈。
缺乏泛化能力： 现有的精确梯度方法（如 EventProp）在很大程度上受限于简化的神经元模型（如 Leaky Integrate-and-Fire），且仅适用于特定的参数集。它们往往无法泛化到生物物理真实的模型，也无法处理全脑模拟所需的任意队列结构。
硬件不匹配： 目前对于哪种脉冲事件队列数据结构（例如环形缓冲区、堆、FIFO）在不同 AI 加速器架构（冯·诺依曼 CPU、GPU、TPU 以及确定性数据流 LPU）上表现最优，且能与可微操作结合，仍缺乏深入理解。

方法论
作者引入了 ADSEQ（自动微分脉冲事件队列），该框架旨在现代机器学习库（特别是 JAX）中实现精确的、延迟感知的梯度计算。

数学公式化： 核心贡献在于推导了脉冲事件传递的隐式导数。通过应用隐函数定理处理脉冲检测条件（ $v_{pre}(t_{pre}) = v_{th}$ $v_{p r e} (t_{p r e}) = v_{t h}$ ），作者推导了脉冲时间相对于模型参数（ $\theta$ $θ$ ）和突触延迟（ $d$ $d$ ）的梯度。
- 他们将 EventProp 方程推广到了包含延迟梯度的形式： $dt_{post}/d\theta = dt_{pre}/d\theta + dd/d\theta$ 。
- 他们推导了突触后状态变量（ $x$ ）在脉冲到达时的梯度更新，考虑了延迟的影响： $\partial x^+/\partial \theta = \partial x^-/\partial \theta + (1/\tau) \cdot \partial t_{post}/\partial \theta$ 。
通过自定义梯度实现： 为了将这些推导集成到 JAX 的自动微分（autograd）系统中，作者实现了自定义的雅可比向量积（JVP）算子。这些自定义梯度被注入到各种队列数据结构的 enqueue() 和 pop() 操作中。这使得自动微分引擎能够正确地通过时间延迟的脉冲事件传播梯度，而无需为复杂的神经元模型（如 Hodgkin-Huxley）手动进行反向传播推导。
队列变体： 该框架实现了一套可微的队列结构，包括：
- 环形缓冲区（Ring Buffers）： 标准版和有损版本（对脉冲进行求和或丢弃）。
- FIFO 结构： 具有容量限制的先进先出队列。
- 树/堆结构： 用于处理异构延迟的二叉堆和锦标赛树（Tournament Trees）。
- 排序数组（Sorted Arrays）： 通过排序操作维持顺序的数组。
- 位级结构（Bit-level Structures）： 针对单脉冲场景进行了优化。
有损机制： 框架包含了“有损”队列实现，在超过容量时会故意丢弃脉冲，从而实现可调的性能与精度之间的权衡。

核心贡献

自动微分公式化： 提供了一种通用的数学公式，用于计算精确的脉冲事件梯度，该公式既支持神经元参数，也支持突触延迟，并兼容任意神经元模型。
ADSEQ 库： 一个使用 JAX 实现的、带有自定义梯度的可微队列数据结构集合，支持在梯度训练中使用稀疏脉冲存储。
跨加速器基准测试： 在四种不同的硬件架构上对这些队列结构进行了全面的评估：
- CPU (Intel i7)： 冯·诺依曼架构。
- GPU (NVIDIA H100)： 具有合并内存访问能力的并行处理架构。
- TPU (Google TPU v4)： 拥有专用排序单元的张量与稀疏核心（Tensor and Sparse Cores）。
- LPU (Groq LPU)： 无控制流分支的确定性数据流架构。
脉冲丢弃分析： 量化了有损队列中的脉冲丢弃率，为设计具有可控精度约束的模拟器提供了数据支持。

结果
基准测试结果表明，最优的队列结构高度依赖于硬件架构和工作负载特征：

CPU： 基于树（二叉堆）和基于 FIFO 的队列表现最好，这可能是由于其在冯·诺依曼架构下具有较低的开销并能高效处理条件逻辑。
GPU： 环形缓冲区在规模较小且符合缓存容量的工作负载中表现优异。然而，对于大规模网络，FIFO 结构由于减少了内存压力，其扩展性更好。
TPU： 基于排序（Sorted Arrays）的实现显著优于其他方法。这归功于 TPU 专用的稀疏核心，其中包含硬件加速的排序单元。
LPU： 确定性数据流调度更倾向于避免发散控制流的结构。
扩展性： 随着队列数量的增加，CPU 的性能下降速度远快于加速器。然而，对于能够放入本地缓存的小规模模拟，CPU 仍具有竞争力。
训练与推理： 训练（参数调优）比推理在计算和内存上都要密集得多。在某些配置下，前向自动微分（Forward AD）明显慢于反向自动微分（Reverse AD），这表明需要使用如检查点（checkpointing）之类的混合方法。

意义与主张
论文声称，ADSEQ 为构建包含延迟的可微分、可重用的 SNN 模拟组件奠定了基础，适用于人工神经网络和生物真实网络。

泛化性： 不同于以往仅限于 LIF 模型的精确梯度方法，ADSEQ 通过将队列视为一个可微原语，支持复杂的生物物理模型（如 Hodgkin-Huxley）。
硬件感知： 本研究证明了“一刀切”的队列策略是次优的。选择数据结构必须与底层加速器的架构相匹配（例如，为 TPU 使用基于排序的结构，为 CPU 使用堆结构）。
未来集成： 作者建议，通过修改神经元模型使其在发送脉冲的同时发送浮点编码的梯度消息，其方法可以使传统的脑模拟器（目前缺乏梯度支持）纳入网络级梯度，从而弥合传统神经科学模拟器与现代机器学习框架之间的鸿隙。

论文总结道，尽管机器学习库通常倾向于使用简化的数组而非传统的 FIFO 或树等数据结构，但在特定的硬件和延迟约束场景下，这些结构具有显著价值，为更高效、更真实的 SNN 训练提供了一条路径。

1. 问题所在：“翻译丢失”的交付

2. 解决方案：ADSEQ（智能快递服务）

3. 竞赛：哪个候诊室最棒？

4. “丢弃包裹”选项

总结

技术摘要：ADSEQ —— 一种用于脉冲神经网络（SNN）中延迟感知型自动微分兼容的脉冲事件传递框架

类似论文