💻 computer science

Spiking and Event-driven Neuromorphic Mamba Models for Efficient Speech Recognition

本文提出了 SpeechMamba 模型的脉冲（spiking）和事件驱动（event-driven）神经形态变体，这些变体显著提高了激活稀疏性并减少了参数量，从而实现资源受限设备上的高效语音识别，同时引入了一种周期精确（cycle-accurate）的模拟器，以促进算法与硬件的协同探索及进一步的效率提升。

原作者： Tauseef Ahmed, Tao Sun, Jeronimo Castrillon, Kanishkan Vadivel, Guangzhi Tang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tauseef Ahmed, Tao Sun, Jeronimo Castrillon, Kanishkan Vadivel, Guangzhi Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你有一个超级聪明的机器人助手（就像你手机或智能音箱里的那种），它能倾听你的声音并将其转化为文字。这个机器人非常擅长这项工作，但它也有点“贪吃”。为了理解你的语音，它会不断地进行数字运算，即使在没有重要信息需要处理时也是如此。这就像一位厨师，切菜、烹饪一顿饭，然后立即扔掉 90% 的食物，接着又为下一份订单开始切菜。这浪费了大量的能量，也让机器人的运行速度变慢，使其难以在智能手机等小型设备上运行。

这篇论文介绍了一种新的训练这些机器人的方法，让它们只有在绝对需要时才会“醒来”。作者称之为类脑计算（Neuromorphic Computing），它模仿了人类大脑的工作方式：神经元只有在接收到强信号时才会放电，否则就会保持静默。

以下是他们三个主要技巧的简单拆解：

1. “智能阈值”（Event-Driven SpeechMamba）

研究人员采用了现代高性能语音模型 SpeechMamba，并教会它如何以一种“好的方式”变得懒惰。

类比： 想象一个夜店的保安。在旧模型中，保安会检查每一个走过的人，即使那个人显然只是路过。在新模型中，他们安装了一个“智能阈值”。如果一个人看起来只是路过（其信号太弱），保安就会完全忽略他们。保安只处理那些真正试图进入的人。
结果： 他们使用了一种名为 FATReLU 的特殊数学工具来设置这个阈值。通过将模型分为三个仔细的阶段进行训练，他们成功地让机器人忽略了通常处理数据的 60% 以上。机器人对语音的理解几乎没有损失（准确率下降不到 1%），但它所做的工作量大大减少了。

2. “二进制开关”（Spiking SpeechMamba）

对于第二种方法，他们走得更远，将机器人的大脑变成了一个由“开/关”开关组成的系统。

类比： 保安不再测量一个人有多“兴奋”（比如 0.5 或 0.8 这样的数值），而是只能看到一个开关：开 (1) 或关 (0)。如果开关处于“关”的状态，保安甚至根本不会去看那个人。如果开关处于“开”的状态，保安才会做一点点工作。
结果： 这个“脉冲”（Spiking）模型实现了更高的懒惰程度，忽略了超过 70% 的数据。有趣的是，这个模型也变得更小了，比其他类似的“脉冲”模型减少了 30% 的参数（内存空间），同时仍保持了具有竞争力的性能。

3. “虚拟测试赛道”（模拟器）

这些想法面临的最大问题是，我们缺乏足够的“类脑”硬件（专门为此设计的芯片）来对其进行妥善测试。大多数研究人员只是根据数学公式来猜测它们节省了多少能量，但这往往是不准确的，因为这种方法忽略了计算机内存中的真实“交通拥堵”。

类比： 作者构建了一个视频游戏模拟器，它充当了真实计算机芯片的完美数字孪生体。他们不再仅仅是猜测机器人运行得有多快，而是将机器人运行在这个模拟器中，以观察它究竟消耗了多少“步数”（周期）以及多少“燃料”（内存访问）。
发现： 模拟器揭示了一个惊喜。在某些方面，“二进制开关”模型（Spiking）实际上比“智能阈值”模型（Smart Threshold）运行得更慢。为什么？因为即使开关是关闭的，机器人仍然需要不断地检查开关的“电池电量”（膜电位），以查看它是否准备好放电。这种额外的检查浪费了时间。
修复： 利用模拟器，他们找到了这些瓶颈（交通拥堵），并再次对“智能阈值”模型进行了微调。这个最终的“优化版”版本甚至更节省时间，其效率比他们最初认为的提高了 10% 以上。

核心结论

这篇论文表明，通过教会语音识别模型如何变得“懒惰”（忽略不重要的数据），并使用定制的模拟器在虚拟硬件上进行测试，我们可以让它们变得更快、更节能。

事件驱动模型（Event-Driven Model）： 忽略了 60% 的数据，且几乎没有损失准确性。
脉冲模型（Spiking Model）： 忽略了 70% 的数据并使用了更少的内存，但存在一些隐藏的“开销”成本。
模拟器（The Simulator）： 证明了仅仅统计“忽略的数据量”是不够的；你必须检查计算机实际是如何处理这些数据的，才能找到真正的速度障碍。

这项工作是朝着实现超高效 AI 迈出的一步，这种 AI 可以运行在你的手机或智能家居设备上，而不会耗尽电池或产生延迟。

技术摘要：用于高效语音识别的脉冲与事件驱动型神经形态 Mamba 模型

问题陈述

深度学习彻底改变了自动语音识别（ASR），使其能够部署在智能手机和智能家居系统等边缘设备上。然而，深度神经网络（DNN）固有的密集矩阵乘法带来了显著的计算和能量负担，导致延迟增加并限制了资源受限硬件上的实时交互。虽然神经形态计算通过引入脉冲神经网络（SNN）和事件驱动网络来实现激活稀疏性，提供了一个潜在的解决方案，但仍存在一个关键空白：目前尚缺乏评估不同神经形态策略（脉冲型 vs. 事件驱动型）在复杂 ASR 任务中实际硬件效益的全面研究。现有的工作通常依赖于算法指标（如突触操作），这些指标假设了理想的稀疏计算，未能捕捉到真实的硬件成本，例如不规则稀疏性的利用和内存访问开销。此外，现有的硬件模拟器对于算法探索而言过于僵化，或者缺乏针对原子输入事件的周期精确（cycle-accurate）事件驱动建模。

方法论

作者提出将最先进的 SpeechMamba 架构（该架构集成了 Mamba 模块与自注意力机制）适配为两种不同的神经形态变体，以提高激活稀疏性：

1. 事件驱动型 SpeechMamba (E-SpeechMamba)

这种方法利用 FATReLU 激活函数来诱导稀疏性，而不将神经元转换为二进制脉冲。

架构： 在 SpeechMamba 编码器和解码器的关键瓶颈点（位于线性层、卷积层和 SSM 模块之后）插入 FATReLU 层。
训练流水线： 采用三阶段过程：
1. 预训练： 使用标准的 ReLU 激活并配合稀疏损失，以减少计算负载。
2. 阈值初始化： 用 FATReLU 替换 ReLU。阈值 ( $T$ ) 通过数据驱动的扫描策略进行初始化，将 $T$ 设置为最低 10% 激活值的平均值。只要归一化损失比率保持在容差 $K$ 以下，就逐步增加阈值。
3. 微调： 使用引入稀疏性的正则化项 ( $L_{spar}$ ) 对阈值进行进一步优化，该项惩罚较大的激活值和小阈值，从而鼓励产生更多的零激活。

2. 脉冲型 SpeechMamba (S-SpeechMamba)

这种方法使用二进制脉冲神经元替换事件驱动模块。

架构： 它结合了 Leaky Integrate-and-Fire (LIF) 神经元，并采用了 Spikformer 注意力机制（脉冲自注意力）和 SpikMamba 模块。
计算： 输入被投影为查询（query）、键（key）和值（value）脉冲序列。注意力通过缩放点积相似度进行计算，而不使用 softmax。
训练： 应用发放率正则化损失 ( $L_{quiet} + L_{burst}$ ) 来防止神经元死亡（发放不足）和过度发放，从而在稀疏性与有效训练之间取得平衡。

3. 周期精确的事件驱动模拟器

为了弥合算法指标与硬件现实之间的差距，作者开发了一个自定义模拟器：

平台： 模拟在 RISC-V Ibex 核心 (RV32IMC) 上的事件驱动数据流执行，模拟通用的数字神经形态处理器。
功能： 它执行操作级模拟，其中原子事件（脉冲或梯度激活）触发即时的部分和（partial-sum）计算。
优化： 对于 SNN，模拟器跳过与二进制零的乘法，并传播二进制一的权重，从而绕过高能耗的 MAC 操作。
用途： 该模拟器实现了“算法-硬件协同探索”，允许作者剖析子模块、识别瓶颈，并迭代优化 E-SpeechMamba 架构（最终得到 E-SpeechMamba (Optimized)）。

关键结果

实验在 LibriSpeech 数据集（约 980 小时训练数据）上进行。

性能与稀疏性 (表 I)

E-SpeechMamba： 在 test-clean 集上实现了 62% 的激活稀疏性，且与密集基准（SpeechMamba）相比，字错率（WER）上升不到 1%。
S-SpeechMamba： 实现了最高的稀疏度 (72%)，但 WER 上升较高（在 test-clean 上约为 2.4%）。值得注意的是，它比同类最先进的 SNN 使用的参数量减少了 30%，同时提供了具有竞争力的性能。
E-SpeechMamba (Optimized)： 实现了 64% 的稀疏度，其 WER 与基础版 E-SpeechMamba 相似，但由于增加了稀疏化点，计算量减少得更多。

硬件效率 (表 II)

在 RISC-V Ibex 核心上进行模拟，模型显示出相对于天真稀疏化基准的显著改进：

E-SpeechMamba (Optimized)： 减少了 46.13% 的 CPU 周期、26.9% 的指令、28.50% 的内存访问以及 37.5% 的延迟。
S-SpeechMamba： 尽管激活稀疏度更高，但其 CPU 周期减少量（19.58%）低于 E-SpeechMamba。
关键洞察： S-SpeechMamba 产生了更高的内存访问开销（仅实现 7.63% 的改进，而 E-SpeechMamba 为 17.57%），这是由于维护 LIF 神经元膜电位状态的成本所致。这突显了如果内存带宽成为瓶颈，高激活稀疏性并不总能转化为硬件效率。

子模块分析

模拟显示，Mamba 模块中的“热点”（特别是 SSM Scan 子模块和某些矩阵乘法）仍然是密集的，并主导了执行时间。由这些模拟见解引导的迭代优化过程成功地针对了这些瓶颈，从而获得了进一步的效率提升。

意义与主张

本文声称提供了首个评估不同神经形态策略在复杂 ASR 中实际硬件效益的研究。其主要贡献包括：

新颖架构： 引入了 SpeechMamba 的事件驱动型和脉冲型变体，这些变体在保持极低精度损失的同时实现了高稀疏性。
硬件感知协同探索： 证明了仅靠算法稀疏性指标不足以预测硬件性能。作者展示了内存访问模式和状态维护成本（在 SNN 中）可能会抵消预期的收益。
模拟框架： 提供了一个灵活的、周期精确的事件驱动模拟器，允许识别计算瓶颈并进行针对性的架构优化，而现有的分析型或粗粒度模拟器缺乏这种能力。

这项工作强调了进行硬件感知分析的必要性，以在现实条件下验证神经形态方法，并指导能够高效支持未来数字神经形态硬件的算法设计。