🤖 AI

S3T-Former: A Purely Spike-Driven State-Space Topology Transformer for Skeleton Action Recognition

本文提出了首个专为节能骨架动作识别设计的纯脉冲驱动 Transformer 架构 S3T-Former，通过多流解剖脉冲嵌入、侧向脉冲拓扑路由及脉冲状态空间引擎，在保持 SNN 稀疏性优势的同时有效解决了长程时序依赖问题，实现了能耗与精度的双重突破。

原作者： Naichuan Zheng, Hailun Xia, Zepeng Sun, Weiyi Li, Yujia Wang

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Naichuan Zheng, Hailun Xia, Zepeng Sun, Weiyi Li, Yujia Wang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 S3T-Former 的新技术，它的目标是让电脑能像人脑一样，用极少的电量就能看懂视频里的人在做什么动作（比如跑步、跳舞、写字）。

为了让你更容易理解，我们可以把这项技术想象成给机器人装上了一套“超级省电的神经视觉系统”。

以下是用通俗语言和比喻做的详细解读：

1. 背景：为什么我们需要它？

现状（笨重的大象）： 现在的 AI 识别动作（比如监控摄像头看人摔倒），主要靠“人工神经网络”（ANN）。这就像一头大象，虽然力气大（算得准），但非常费电，而且跑起来动静大（需要昂贵的显卡）。把它装在小电池、小芯片的设备（如智能手表、无人机）上，电量瞬间就耗光了。
痛点（短视的神经）： 科学家尝试过用“脉冲神经网络”（SNN，模仿人脑神经元放电）来替代大象，因为 SNN 像萤火虫，只在有事情发生时才发光，非常省电。但是，以前的 SNN 有两个大问题：
1. 为了看懂动作，不得不把“萤火虫”变成“灯泡”：为了处理复杂的骨骼数据，以前的方法还是得用很多密集的数学计算，把 SNN 省下的电又浪费掉了。
2. 记性太差：SNN 的神经元有个毛病，叫“短期失忆”。就像你刚看到一个人抬手，下一秒就忘了他刚才手在哪，导致它很难理解连贯的长动作。

2. 核心方案：S3T-Former 是怎么做的？

作者给 SNN 装上了三个“超能力”，让它既省电又聪明。

第一招：M-ASE（像视网膜一样只关注“变化”）

比喻： 想象你的眼睛盯着一个静止的物体，你其实看不太清细节；但一旦物体开始移动，你的眼睛会立刻聚焦。
原理： 以前的 AI 会把骨骼的每一个关节（头、手、脚）都当成重要信息去计算。S3T-Former 发明了一种叫 M-ASE 的模块，它像视网膜上的感光细胞一样，只关心“哪里在动”、“怎么变”。
效果： 如果一个人站着不动，系统就“闭眼”（不计算）；如果他在挥手，系统才“睁眼”并记录挥手的轨迹。这直接把输入的数据量压缩成了极少的“事件流”，就像把一吨的棉花压缩成了一粒米。

第二招：ATG-QKV + LSTR（像交通警察一样“按需放行”）

比喻： 想象一个繁忙的十字路口。以前的 AI 是无差别广播，不管红绿灯，所有车（数据）都往路口挤，造成拥堵（计算浪费）。
原理：
- ATG-QKV（不对称注意力）： 系统把“询问者”（Query）和“回答者”（Key）变成了只关注动态的交警。只有当某个关节在动时，交警才发信号；静止的关节（比如站着的躯干）直接被静音。
- LSTR（侧向路由）： 这是一个智能导航。它不再让所有关节互相“聊天”（那样计算量太大），而是只让有物理连接的关节（比如手和肘）在需要时传递信息。
效果： 就像把一条拥堵的高速公路变成了按需开通的专用车道。只有真正需要传递信息的“火花”才会跳跃，其他时间道路空空荡荡，几乎不耗电。

第三招：S3-Engine（像“记忆海绵”一样治愈“失忆”）

比喻： 以前的 SNN 神经元像漏勺，信息存不住，过一会儿就漏光了（短期失忆）。
原理： 作者设计了一个 S3-Engine（脉冲状态空间引擎），它像一个智能记忆海绵。它不会像传统方法那样把数据存成巨大的表格（费电），而是用一种线性、高效的方式，把过去一段时间的动作“压缩”存起来。
效果： 即使动作很长（比如跳一段完整的舞），系统也能记住开头和结尾的联系，完美解决了“记性差”的问题，而且不需要额外的耗电。

3. 最终成果：大象变成了“蜂鸟”

性能： 在几个大型动作识别数据集上，S3T-Former 的准确率超过了很多传统的、费电的 AI 模型（甚至打败了某些“大象”）。
能耗： 它的理论能耗只有传统 AI 的 10% 甚至更少。
意义： 这意味着未来我们可以在电池很小的设备（如智能眼镜、植入式医疗设备、微型无人机）上，实时、精准地识别动作，而不用担心电池耗尽。

总结

这篇论文就像是在说：

“我们不再让 AI 像大象一样笨重地计算所有细节，而是给它装上了一套仿生神经系统。它像蜂鸟一样，只在花（动作）出现时才扇动翅膀（计算），平时静止不动。通过只关注‘变化’、只连接‘相关’的关节、并拥有‘长期记忆’，它用最少的电，干出了最漂亮的事。”

这项技术让“永远在线”的智能感知设备（Always-on Perception）真正成为了可能。

1. 研究背景与问题 (Problem)

基于骨骼的人体动作识别在多媒体应用中至关重要，但现有的主流方法主要依赖人工神经网络 (ANNs)（如 GCN 和 Transformer）。这些方法存在以下核心痛点：

高能耗瓶颈：ANNs 严重依赖密集的浮点乘加运算 (MACs)，导致能耗极高，难以在资源受限的电池供电边缘设备上实现“始终在线”的感知。
现有脉冲神经网络 (SNNs) 的局限性：
- 稀疏性妥协：现有的骨骼数据 SNN 模型为了处理复杂的多模态特征，往往采用密集矩阵聚合、重量的多模态融合模块或非稀疏的频域变换，破坏了 SNN 固有的时空稀疏性优势。
- 短期遗忘 (Short-term Amnesia)：传统的脉冲神经元（如 LIF 模型）具有指数衰减特性，导致在长序列动作识别中难以捕捉长程时间因果关系。
- 拓扑建模低效：现有的 Spiking-GCN 仍继承传统 GCN 的密集矩阵乘法范式，无法实现真正的“按需”条件路由。

2. 核心方法论 (Methodology)

作者提出了 S3T-Former（Spiking State-Space Topology Transformer），这是首个专为基于骨骼的动作识别设计的纯脉冲驱动 (Purely Spike-Driven) Transformer 架构。其核心创新包括三个模块：

2.1 多流解剖脉冲嵌入 (M-ASE)

灵感来源：受视网膜神经节细胞对时空梯度稀疏响应的启发。
功能：作为一个广义的运动学微分算子，将密集的多模态骨骼特征（关节、骨骼、运动）转化为高度稀疏的事件流。
机制：系统计算多阶动力学（零阶恒等状态、一阶时间梯度、一阶空间梯度），将静态特征转化为动态事件。这最大化了单一基础模态的表征能力，无需沉重的网络内融合，直接生成稀疏脉冲流。

2.2 脉冲状态空间拓扑块 (S3T Block)

这是网络的核心，包含三个关键组件：

非对称时间梯度 QKV (ATG-QKV)：
- 模仿灵长类视觉系统中的 M 细胞（动态运动）和 P 细胞（静态结构）。
- Query (Q) 和 Key (K) 仅由动态运动梯度触发（对静态背景“静音”），而 Value (V) 保留静态结构特征。
- 这种非对称设计极大地降低了平均脉冲发放率，消除了背景冗余。
侧向脉冲拓扑路由 (LSTR)：
- 解决了传统 GCN 密集聚合的问题。
- 将空间图建模转化为零 MAC 的条件加法。脉冲仅沿着解剖学图（人体骨骼连接）按需传播。
- 通过多路注意力头，结合物理先验（基础拓扑）和数据驱动的隐式依赖，实现了高精度的空间建模，同时保持严格的离散事件驱动稀疏性。
脉冲状态空间引擎 (S3-Engine)：
- 旨在解决 LIF 神经元的“短期遗忘”问题，且不使用非稀疏的频谱变换。
- 构建了一个线性复杂度 $O(T)$ 的时间记忆池，系统性地累积长窗口内的拓扑脉冲特征。
- 结合 U-Readout 机制（使用非脉冲的积分发放神经元作为无损膜电位读取器），直接利用最终膜电位进行解码，保留了亚阈值决策信心，避免了脉冲计数带来的量化误差。

2.3 整体架构

输入经过 M-ASE 生成稀疏事件流。
通过堆叠的 S3T Block 进行时空推理。
最后通过全局平均池化和 U-Readout 输出分类结果。
训练采用 Temporal Efficient Training (TET) 损失，在每个时间步提供监督信号，缓解梯度消失。

3. 主要贡献 (Key Contributions)

首个纯脉冲驱动的 Transformer：提出了 S3T-Former，专门针对基于骨骼的动作识别，完全摒弃了密集矩阵乘法。
M-ASE 与 ATG-QKV 机制：
- 通过微分算子将多阶生物力学动力学转化为事件流。
- 强制 Q/K 仅在运动梯度上发放，K/V 分离，将事件驱动稀疏性推向极致。
LSTR 与 S3-Engine 的协同：
- LSTR 将 $O(V^2)$ 的空间图建模转化为零 MAC 的条件加法。
- S3-Engine 构建了线性复杂度的时间记忆池，在严格稀疏下实现了鲁棒的长程推理。
性能突破：在多个大型数据集上，S3T-Former 在纯准确率上超越了现有的 SNN 模型，并击败了部分成熟的 ANNs，同时理论能耗极低。

4. 实验结果 (Results)

作者在 NTU RGB+D 60, NTU RGB+D 120 和 NW-UCLA 三个数据集上进行了广泛实验：

准确率表现：
- 在 NTU RGB+D 60 (X-Sub) 上，S3T-Former (D=384) 达到了 84.94% 的准确率，显著优于之前的 SNN 模型（如 Signal-SGN 的 80.5% 和 Spike-driven Transformer V2 的 77.4%）。
- 在极具挑战性的 NTU RGB+D 120 上，集成模型达到了 81.68%，比 Signal-SGN 集成版高出 6.38%。
- 甚至超越了部分经典 ANNs（如 ST-GCN 的 81.5%）。
能效优势：
- 虽然 FLOPs 对比可能低估优势，但基于硬件分析，S3T-Former 将大部分操作转化为稀疏的累加 (AC) 操作。
- 保守估计，其物理能耗仅为同等结构 ANNs 的 10% 以下。
消融实验：
- 证明了 M-ASE、ATG-QKV、LSTR 和 S3-Engine 每个模块对性能提升的必要性。
- 展示了 LSTR 中多路头（Heads）和缩放因子（ $\gamma$ ）的最佳配置。
- 证实了 U-Readout 与 S3-Engine 结合对于解决量化损失和长程依赖的关键作用。

5. 意义与未来展望 (Significance)

能效与精度的新平衡：S3T-Former 证明了在边缘设备上部署高精度动作识别的可行性，打破了“高精度必须高能耗”的固有认知。
神经形态计算的里程碑：该工作展示了纯脉冲架构在处理复杂时空序列任务上的潜力，特别是通过状态空间模型（State-Space Models）解决 SNN 长期记忆问题的新思路。
生物启发式设计的胜利：通过模拟视网膜和视觉皮层的机制（如 M/P 细胞分工、稀疏编码），实现了比传统深度学习更高效的信息处理。
局限性：论文也指出，对于极度细微的微动作（如“写字”vs“阅读”），极端的稀疏性可能导致空间分辨率的丢失，这是未来通过自适应局部发放机制需要解决的问题。

总结：S3T-Former 通过创新的脉冲状态空间拓扑设计，成功将 Transformer 的强大表征能力与 SNN 的超低功耗特性相结合，为资源受限环境下的智能感知提供了新的 State-of-the-Art 解决方案。