🤖 AI

SpikySpace: A Spiking State Space Model for Energy-Efficient Time Series Forecasting

本文提出了 SpikySpace，这是首个全脉冲状态空间模型（SSM），通过引入脉冲选择性扫描机制和低功耗算子近似，在显著提升多变量时间序列预测准确性的同时，将能耗降低了 96.1% 以上。

原作者： Kaiwen Tang, Jiaqi Zheng, Yuze Jin, Yupeng Qiu, Guangda Sun, Zhanglu Yan, Weng-Fai Wong

发布于 2026-02-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaiwen Tang, Jiaqi Zheng, Yuze Jin, Yupeng Qiu, Guangda Sun, Zhanglu Yan, Weng-Fai Wong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于人工智能（AI）如何变得更“省电”且“聪明”的研究论文。为了让你轻松理解，我们可以把这个复杂的 AI 模型想象成一个**“超级节能的智能交通指挥官”**。

1. 背景：现在的 AI 像个“大胃王”

想象一下，如果你想在路边的智能摄像头里装一个 AI，用来预测交通流量。现在的 AI（比如 Transformer 模型）就像是一个**“大胃王”**：它虽然非常聪明，能看清每一个细节，但它每思考一步都需要消耗大量的能量，就像一个永远停不下来的巨型发动机。

如果你把这个“大胃王”装在靠电池供电的小设备上，电池很快就会耗尽。而且，它处理数据的方式非常笨重——每增加一点新信息，它思考的负担就会呈“爆炸式”增长。

2. 核心挑战：如何在“省电”和“聪明”之间找平衡？

科学家们尝试过一种叫 SNN（脉冲神经网络） 的技术。这种技术模仿人类大脑，只有在“有事发生”时才发信号（就像路口没车时，红绿灯不需要疯狂闪烁，只有车来了才动作）。这非常省电。

但问题来了：以前的 SNN 虽然省电，但它们**“脑容量”有限**，很难记住很长一段时间发生的事情，预测起来不够准。

3. SpikySpace 的绝招：给大脑装上“高效记忆卡”

这篇论文提出的 SpikySpace，就像是给这个“节能指挥官”换了一套全新的大脑结构。它主要做了三件神奇的事：

第一招：从“算术题”变成“位移题”（Spiking Selective Scan）

传统的 AI 思考时，是在做极其复杂的乘法运算（就像在黑板上写长长的乘法竖式，非常费劲）。
SpikySpace 把这些复杂的乘法，全部变成了**“位移操作”**。

比喻： 以前指挥官要计算“如果车速是 5.7km/h，经过 3 秒会走多远”，需要复杂的数学计算；现在指挥官学会了“直觉”，他只需要把数字向左或向右挪动几位（就像在数码管上拨动开关），瞬间就能得出结果。这种“位移”在硬件上几乎不耗电，速度极快。

第二招：发明了“简易版公式”（PTsoftplus & PTSiLU）

在 AI 的大脑里，有一些复杂的数学函数（比如 Softplus）用来决定信号的强弱。这些函数里含有“指数”和“除法”，在低功耗芯片上跑起来非常吃力。
作者发明了两个**“简易公式”**。

比喻： 就像原本需要用精密天平称重，现在发明了一种“刻度尺”，虽然不是百分之百精确，但误差极小，而且用手一拨就能读数，效率提升了无数倍。

第三招：线性增长的记忆力（SSM 架构）

它引入了“状态空间模型（SSM）”。

比喻： 传统的 AI 像是在看一张巨大的照片，照片越大，看的时间越长；而 SpikySpace 像是在**“记笔记”**。它不需要每次都翻看整本笔记，只需要根据新发生的事情，更新一下手里的“简报”即可。这意味着，无论时间流逝多久，它的工作量都不会爆炸式增长。

4. 最终战果：又快、又准、又省钱

实验结果非常惊人：

更聪明： 在预测电力消耗等任务时，它甚至比那些“大胃王”模型（如 iTransformer）还要准。
极度省电： 它的能耗比那些大模型降低了 96% 以上！如果说大模型是一辆耗油巨大的重型卡车，SpikySpace 就是一辆极其轻便、动力十足且极其省油的电动平衡车。

总结

SpikySpace 的意义在于：它证明了我们不需要用“烧电”的方式来换取“智能”。它为未来的智能设备（比如你的智能手表、自动驾驶传感器、工厂监控器）提供了一种可能——让它们既能拥有像大脑一样的长时记忆，又能像呼吸一样自然、省电地运行。

这是一篇关于名为 SpikySpace 的新型脉冲状态空间模型（Spiking State Space Model, SSM）的研究论文。该模型旨在解决边缘设备在进行时间序列预测时，如何在保持高精度的同时实现极低能耗的需求。

以下是该论文的技术总结：

1. 问题背景 (Problem Statement)

在交通管理、工业监控等领域，时间序列预测通常需要在资源受限的边缘设备上实时运行。

现有深度学习模型（如 Transformer）的局限性： 依赖密集的矩阵乘法，计算复杂度随序列长度呈二次方增长（ $O(L^2)$ ），导致内存访问和通信开销巨大，难以在低功耗设备上部署。
现有脉冲神经网络（SNN）的局限性： 虽然 SNN 具有事件驱动和低功耗的特性，但现有的 SNN 时间序列预测器往往仍采用复杂的 Transformer 架构或高成本的编码器，未能充分发挥脉冲计算的理论能效优势。
现有 SNN-SSM 结合方案的局限性： 现有的尝试在结合 SNN 与 SSM 时，往往保留了实值状态更新、密集浮点乘法或复杂的连续激活函数（如 Softplus/SiLU），这在硬件实现上依然非常耗能。

2. 核心方法论 (Methodology)

SpikySpace 的核心思想是将 SSM 的连续动力学特性转化为一种完全离散、硬件友好且无乘法的脉冲架构。

A. 脉冲选择性扫描 (Spiking Selective Scan)

这是模型的核心组件，旨在将 SSM 的状态更新从复杂的浮点运算简化为硬件原生的位移运算：

位移替代指数运算： 在标准 Mamba 中，状态转移矩阵涉及指数运算 $\exp(\Delta A)$ 。SpikySpace 将步长 $\Delta$ 约束为 2 的幂次，通过将状态转移简化为**条件位移操作（Bit-shift）**来替代昂贵的指数运算。
稀疏累加： 利用脉冲（0 或 1）的特性，将状态更新过程转化为稀疏的整数累加，实现了 $O(L)$ 的线性复杂度，且整个递归过程完全不需要乘法。

B. 硬件友好的激活函数近似 (PT-activations)

为了消除 Softplus 和 SiLU 等激活函数中的指数和除法运算，论文提出了两种新型近似函数：

PTsoftplus (Power-of-Two Softplus)： 利用线性变换和 2 的幂次缩放来近似 Softplus，确保了函数的连续可微性，同时将计算简化为位移和加法。
PTSiLU (Power-of-Two SiLU)： 针对 SiLU 函数设计的分段近似方案，同样通过位移运算实现，保证了梯度训练的稳定性。

C. 训练策略

采用 ANN-to-SNN 转换框架：首先在连续域内通过量化感知训练（Quantization-Aware Training, QAT）训练一个量化后的人工神经网络（ANN），然后将其确定性地转换为脉冲事件流。

3. 主要贡献 (Key Contributions)

首个全脉冲 SSM 架构： 提出了 SpikySpace，实现了第一个完全不依赖乘法（Multiplication-free）的递归动力学 SSM 架构。
高效的数学近似： 设计并从理论上证明了 PTsoftplus 和 PTSiLU 的误差界限，确保了在极低计算成本下仍能保持稳定的梯度下降训练。
硬件协同设计： 通过将参数约束为 2 的幂次，使模型能够直接利用硬件底层的位移和累加指令，极大地提升了能效。

4. 实验结果 (Results)

论文在四个多变量时间序列基准数据集（Metr-la, Pems-bay, Solar, Electricity）上进行了评估：

精度表现： SpikySpace 在多个数据集上达到了 SOTA（最先进）水平。在 Electricity 数据集上，其 $R^2$ 指标甚至超过了密集的 iTransformer 模型；在 Metr-la 数据集上，比目前最强的 SNN 模型（SpikeSTAG）精度高出 3.0%。
能效表现： 相比于 iTransformer，SpikySpace 的能耗降低了 96.1% 以上；相比于 iSpikformer，能耗降低了 26.6 倍。
参数规模： 模型参数量仅为基准模型的 53% 至 55% 左右。

5. 研究意义 (Significance)

SpikySpace 成功架起了**神经形态计算（Neuromorphic Computing）的高能效特性与现代序列建模（Modern Sequence Modeling）**高精度需求之间的桥梁。它证明了通过精巧的数学设计（如位移替代乘法），可以在不牺牲预测精度的前提下，实现量级上的能耗下降。这为在资源极度受限的边缘设备（如智能传感器、自动驾驶模块、工业物联网节点）上部署高性能时间序列预测系统开辟了切实可行的路径。