💻 computer science

Elastic Spiking Transformers for Efficient Gesture Understanding

本文介绍了弹性脉冲 Transformer，这是一种运行时自适应架构，它使单一通用模型能够动态调整其计算复杂度和能耗以适应多样化的神经形态硬件约束，同时保持手势识别的高精度。

原作者： Alberto Ancilotto, Gianluca Amprimo, Stefano Di Carlo, Elisabetta Farella

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Alberto Ancilotto, Gianluca Amprimo, Stefano Di Carlo, Elisabetta Farella

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级智能的机器人“大脑”，它专为识别来自特殊相机的肢体手势而设计，这种相机仅能感知运动（类似于仅在检测到运动时才会启动的安防摄像头）。这个“大脑”被设计得极其节能，非常适合由电池供电的设备。

然而，存在一个重大问题：这个“大脑”过于僵化。

问题所在：“一刀切”的西装

目前，这些机器人“大脑”就像是为特定个人量身定制的西装。如果你想把它给巨人穿，就需要一套新西装；如果你想把它给孩子穿，就需要另一套不同的西装。

硬件问题： 某些设备（如微型医疗传感器）体积非常小且电池容量有限，它们只能穿戴“小型”大脑。而其他设备（如强大的边缘服务器）则能承载“大型”大脑。
旧方法： 为了为小型设备制造一个“大脑”，科学家们不得不从头开始构建一个全新的、更小的“大脑”，并重新对其进行训练。这一过程既缓慢、昂贵，又浪费资源。
僵化性： 更糟糕的是，许多这些“大脑”仍然依赖繁重的数学运算（乘法），这需要强大的计算机芯片（CPU）来运行，从而违背了使用低功耗专用芯片的初衷。

解决方案：“套娃”式大脑

本文的作者创造了一种新型“大脑”，称为弹性脉冲 Transformer（或 NESTformer）。你可以把它想象成一套俄罗斯套娃（Matryoshka dolls）。

他们不再为每种设备构建一个全新的“大脑”，而是构建了一个单一的“通用”大脑，它可以瞬间缩小或扩展，以适应任何设备，而无需重新训练。

以下是其工作原理，使用简单的类比说明：

1. “缩小”机制（弹性）

想象这个“大脑”由三个主要部分组成：

眼睛（特征提取器）： 感知运动。
焦点（注意力）： 决定运动的哪些部分至关重要。
思维（多层感知机 MLP）： 处理信息。

在旧的僵化“大脑”中，你无法改变这些部分的大小。而在新的NESTformer中，你可以对“大脑”进行“切片”。

如果你需要一个用于电池供电手表的微型“大脑”，只需“切掉”多余的层。这个“大脑”会瞬间变小，从而减少内存占用和功耗。
如果你需要一个用于强大服务器的“大型”大脑，只需“还原切片”，它就会扩展以发挥全部性能。
神奇之处： 你无需重新训练这个“大脑”。它已经被训练为可以在任何尺寸下工作，从最小的切片到完整的套娃。

2. “脉冲”优势（节能）

这个“大脑”使用脉冲神经网络（SNNs）。

旧式“大脑”（标准人工智能）： 就像一盏始终亮着的灯泡，即使只是在思考“无”时，也持续消耗电力。
脉冲“大脑”： 就像一位摩尔斯电码操作员。只有当它真正看到新事物时，这个“大脑”才会“发射”（脉冲）。如果没有物体在移动，“大脑”就会进入休眠状态。这节省了巨大的能量。

论文声称有一项特殊发现：当你缩小 NESTformer 时，它不仅节省了内存，实际上还减少了“脉冲”的发射次数。

在其他“大脑”中，使其变小有时反而会让每个神经元的工作负荷加重。
而在 NESTformer 中，使其变小会使整个系统变得更安静、更高效，就像调低收音机的音量一样。

3. “逐行”技巧（硬件友好）

大多数现代 AI“大脑”通过一次性将巨大的数字网格相乘来进行数学运算（就像一位厨师一次性切碎整堆蔬菜）。这对大型计算机来说很棒，但对于微小的低功耗芯片来说却是不可能的。

NESTformer 的技巧： 它不是一次性切碎整堆蔬菜，而是一次切一个蔬菜（逐行处理）。
这使得“大脑”能够直接在微小的专用“神经形态”芯片上运行，而无需强大的计算机辅助。这就像从巨大的工业搅拌机切换到一个简单、高效且能放进口袋的手摇研磨机。

结果：他们证明了什么？

该团队在现实世界的任务中测试了这个“俄罗斯套娃”式“大脑”：

临床手势： 他们使用了一个用于医疗康复的手势数据集。
标准测试： 他们还在标准的图像识别任务（如识别照片中的物体）上进行了测试。

研究结果：

准确性： 这个“通用”大脑的表现与那些必须从头开始训练的专用“大脑”一样好，甚至更好。
能耗： 通过将“大脑”缩小以适应小型设备，他们比当前最佳方法节省了高达**60%**的能源。
灵活性： 他们证明，使用单一模型，既可以在功耗极低的设备上运行（使用“大脑”的一小部分切片），也可以在功耗高的设备上运行（使用完整的“大脑”），而无需更改代码或重新训练。

总结

这篇论文介绍了一种通用、可变形的机器人“大脑”，它能适应任何设备，从微型医疗传感器到强大的服务器。它使用一种特殊的“脉冲”语言，仅在必要时工作以节省能源；并且它可以自我缩小以适应任何地方，而无需重新训练，从而解决了在低功耗设备上部署智能手势识别的最大瓶颈。

技术摘要：用于高效手势理解的弹性脉冲 Transformer

1. 问题陈述

将脉冲神经网络（SNN），特别是脉冲 Transformer，部署到用于医疗和手势识别的神经形态硬件（如 Intel Loihi、IBM TrueNorth）上，面临两个关键瓶颈：

架构僵化：现有的 SNN 架构是静态的，具有固定的参数数量和计算图。要在具有不同内存和功耗约束的各种神经形态芯片上部署这些模型，需要为每个硬件目标训练和部署完全不同的模型，从而抵消了统一方法带来的效率优势。
硬件不兼容与能效低下：许多当前的脉冲 Transformer 依赖于全局矩阵乘法（GEMM）或批量矩阵乘法（BMM）操作。这些操作并非神经形态芯片原生支持，迫使工作负载卸载到高功耗 CPU 上，从而侵蚀了节能效果。此外，标准的缩放策略（减小模型宽度/深度）往往无法按比例降低能耗，因为初始特征提取（patch embedding）阶段仍然是脉冲活动的主要来源，无论模型大小如何。

2. 方法论：NESTformer 架构

作者提出了NESTformer（神经形态弹性脉冲 Transformer），这是一种旨在将运行时适应性直接嵌入脉冲范式的新颖架构。该框架建立在三个核心原则之上：

嵌套架构：较小的配置是较大配置的严格子集，从而实现权重共享。
脉冲感知弹性：大小缩减经过优化，以同时最小化参数和脉冲活动。
硬件感知设计：该架构避免了依赖 CPU 的操作，利用神经形态硬件原生的结构。

该模型通过三个由粒度参数 $g$ 控制的弹性构建块处理基于事件输入：

A. 弹性脉冲自注意力

受套娃表示学习（Matryoshka representation learning）的启发，该模块允许动态切片查询（ $Q$ ）、键（ $K$ ）和值（ $V$ ）张量，以在推理过程中调整活跃注意力头的数量（ $h_g$ ）。

神经形态兼容性：为了消除全局矩阵乘法，作者引入了一种行级注意力（Row-wise Attention）机制。与其计算稠密注意力图，该操作被分解为两个泄漏积分发放（LIF）操作的序列： $attng = LIF(Q_g \cdot K_g^T)$ ，随后是 $O_g = LIF(attng \cdot V_g)$ 。这将注意力分数转换为二进制脉冲，确保随后的乘法是严格由脉冲驱动的累加，与事件驱动硬件兼容。

B. 弹性脉冲 MLP

多层感知机（MLP）模块利用基于对数间隔滤波器数量的可变隐藏维度。通过动态调整从最小到最大的隐藏维度（ $h_g$ ），模型可以在不重新训练的情况下显著减少参数量（约占标准 Transformer 的 60%）。

C. 弹性特征提取（XiSPS）

针对 patch embedding 生成大部分脉冲这一瓶颈，作者引入了XiSPS（弹性脉冲 Patch 分割）。与静态嵌入不同，XiSPS 支持特征粒度与功耗之间的动态运行时权衡。它调整可压缩因子 $\gamma$ 以减少输入阶段的计算负载和参数量，确保节能效果随模型大小线性扩展。

D. 训练策略

该模型采用随机采样策略，而非传统的“三明治”训练。在训练期间，每一步从偏向较大配置的分布 $P(g)$ 中采样单个粒度配置。这确保了完整参数集获得频繁更新，从而稳定所有较小子网络共享的权重。使用带有二进制掩码的静态张量形状来维持一致的计算图。

3. 主要贡献

首个弹性脉冲 Transformer：NESTformer 是首个能够在不重新训练的情况下实现运行时适应性（扩展内存占用和计算）的 SNN Transformer，跨越 3.8 倍的能耗范围。
神经形态原生注意力：一种新颖的行级注意力计算方案用顺序突触操作取代了全局矩阵乘法，实现了在神经形态硬件上的真正部署，无需 CPU 卸载。
线性能耗缩放：作者证明，与之前能耗降低呈次线性的架构不同，NESTformer 的弹性直接降低了总脉冲发放率。随着模型大小的减小，能耗成比例地降低。
最先进性能：该方法在手势和图像基准测试中实现了具有竞争力或更优的准确率，同时比当前最先进（SOTA）架构消耗显著更少的能量。

4. 实验结果

作者在EHWGesture临床数据集以及标准基准测试DVS128 Gesture、CIFAR10-DVS和静态CIFAR-10/100上验证了 NESTformer。

EHWGesture（临床手势）：
- 最大配置（ $g_3$ ）实现了**75.98%**的准确率，优于 SOTA QKFormer-5-320（75.28%）和高效 CNN PhiNet（71.25%）。
- 能效：NESTformer（ $g_3$ ）每次推理消耗46.1 $\mu$ J的能量，不到 QKFormer-5-320（100.9 $\mu$ J）的一半，比 CNN 基线（6,900–460,000 $\mu$ J）低几个数量级。
- 弹性： $g_2$ 配置保留了 99.8% 的峰值准确率（75.86%），同时将能耗降低了近 40%（28.7 $\mu$ J）。最小配置（ $g_0$ ）在仅 13.3 $\mu$ J 下保持了 71.01% 的准确率。
通用基准测试：
- DVS128 Gesture：NESTformer（ $g_3$ ）与 SOTA 脉冲驱动 Transformer（99.30%）持平，并优于 QKFormer（98.60%）。超轻量级 $g_0$ 配置实现了 97.57% 的准确率，参数量比最大配置少 5.3 倍。
- CIFAR10-DVS：实现了 83.61% 的准确率（ $g_3$ ），优于标准 Spikformer（80.90%）。
- CIFAR-100： $g_3$ 配置实现了**81.30%**的准确率，为该数据集上的脉冲 Transformer 树立了新的 SOTA。
时间权衡：对 EHWGesture 的分析显示，动作质量评估（AQA）受益于更高的时间分辨率（ $T=64$ ），而手势识别在较低的时间步长（ $T=16$ 至 $32$）达到峰值。NESTformer 允许用户根据特定任务要求选择最佳的粒度和时间步长组合。

5. 意义与主张

本文声称，NESTformer 弥合了高效神经形态计算与弹性 Transformer 架构之间的差距。其主要意义在于使单个统一模型能够在整个神经形态硬件谱系中部署——从超低功耗边缘设备到高准确率服务器——而无需重新训练。

通过通过动态切片解决内存受限问题并直接降低总脉冲发放率，NESTformer 提供了独特的双重优势：

部署灵活性：即时扩展参数占用以适应不同的硬件规格。
真正的能效：能耗降低与模型大小缩减成比例，这是标准人工神经网络（ANN）和固定 SNN 此前不具备的能力。

作者得出结论，这种方法能够在资源受限的边缘设备上实现连续、实时的手势识别，在保持高准确率的同时保护用户隐私并减少通信延迟。