💻 computer science

SMM Transformer: Leveraging Spiking Neural Networks for Multimodal Tasks

本文介绍了 SMM Transformer，这是一种利用具有稳定训练机制和脉冲驱动注意力的脉冲神经网络的新型多模态框架，旨在实现具有竞争力的准确率，同时与传统的 ANN 基准相比显著降低计算能耗。

原作者： Xiubo Liang, Jinxing Han, Yuke Li, Haoqi Zhu, Yu Zhao, Hongzhi Wang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiubo Liang, Jinxing Han, Yuke Li, Haoqi Zhu, Yu Zhao, Hongzhi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机不再仅仅是像永不满足的计算器那样进行枯燥的数据运算，而是像人类大脑中的神经元一样，发射出微小的电火花。这就是脉冲神经网络（Spiking Neural Networks, SNNs）的世界。与传统的 AI 不同，传统 AI 即使在没有新信息时也会不断地吞噬数据，而 SNNs 是“事件驱动”的。它们只有在发生有趣的事情时才会苏醒并发送信号，这使得它们具有极高的能效。这就像是一个只有在你走进房间时才会开启的灯开关，而不是一个 24 小时常亮的灯泡。

然而，这里有一个难点。虽然这些基于“火花”的大脑在节省能量方面表现出色，但在处理复杂的、多感官的任务（例如观察一张图片并写一段关于它的故事）时却显得力不从心。目前这类任务的“金标准”使用的是一种被称为“注意力机制”（attention）的沉重且耗能的方法，它强迫计算机将每一个单词与每一个单词进行比较，将每一个像素与每一个像素进行比较。这就像是在一场盛大的派对上，在大家开始交谈之前，必须先让在场的每一个人都逐一向其他所有人做自我介绍。这篇论文提出了一个问题：我们能否构建一个基于“火花”的大脑，既能处理这些复杂的、多感官的工作，又不会消耗掉所有的能量？

于是，由 Xiubo Liang 及其团队提出的新框架——SMM Transformer 应运而生。他们不仅仅是试图让旧有的基于“火花”的系统运行得更好一点，而是从底层进行了重构，以应对图像与文本混合带来的混乱。

首先，他们解决了深层复杂网络的问题。标准的脉冲神经元在堆叠过高时非常脆弱且难以训练。团队发明了一种新型神经元，称为 PLMP。如果把标准神经元比作一根单一且僵硬的管道，让水流（信息）通过；那么 PLMP 就像是一捆大小不一、并行的管道，每根管道都有自己的调节阀。这使得系统能够更稳定地学习如何处理不同速度和模式的信息。他们还创造了一种特殊的训练方法 P-STBP，来教这种新神经元如何在不产生混乱的情况下进行学习。

接下来，他们必须解决“注意力”问题。旧的注意力方式就像一个拥挤的房间，每个人都在同时向其他人大声喊出自己的名字——嘈杂、混乱且极其耗能。团队用 SMSA（脉冲 MLP 自注意力机制）取代了它。SMSA 不再是那种混乱的喊叫赛，而是像黑暗房间里的一系列手电筒光束。它会检查图像中的一个“闪烁”（脉冲）是否与文本中的一个“闪烁”相匹配。如果它们同时亮起，它们就会建立连接；如果不是，则保持黑暗。这跳过了将所有事物相互比较的繁重数学运算。为了确保这种稀疏性不会导致丢失重要细节，他们增加了一个“自我补偿”分支，充当一个安全网，捕捉可能从缝隙中溜走的信息。

最后，为了处理图像与文字的结合，他们引入了 SMoE（脉冲专家混合模型）。可以将它想象成繁忙路口的一个智能交通控制器。它不会强迫每一辆车（数据）都走同一条路，而是将图像密集型数据引导至“视觉专家”车道，将文本密集型数据引导至“语言专家”车道，并将混合型数据引导至专门的“视觉-语言”车道。这使得不同类型的信息既不会互相碰撞，又能保持互动。

结果如何？SMM Transformer 是一个强有力的竞争者。在描述图像或实现图文匹配等任务测试中，它取得了足以媲美那些沉重且耗能的传统模型的准确率。事实上，在图像描述任务中，SMM Transformer-Large 模型取得了 45.33 的 BLEU-4 分数和 128.72 的 CIDEr 分数，这些数字是非常具有竞争力的。但真正的魔力在于节能。研究人员估计，通过使用他们的新型注意力方法，模型中注意力部分的能耗降低了高达 97%。即便看整个模型，能耗也实现了 21.6% 的稳健下降，且模型的运行速度提升了约 13.6%。

这篇论文并不声称这是一个适用于所有未来可能用途的完美、最终成品，但它指明了一条清晰的前行路径。它证明了你可以构建出深层的、复杂的、多感官的 AI 系统，而这些系统是运行在“火花”而非“洪流”般的电力之上的。通过将沉重、密集的数学运算替换为稀疏、事件驱动的脉冲，SMM Transformer 表明我们可以既拥有高准确率，又拥有低能耗，为开发更智能、更环保的 AI 铺平了道路，这种 AI 有朝一日或许能在智能手表或眼镜这样微小的设备上运行。

技术摘要：SMM Transformer

问题陈述
虽然脉冲神经网络（SNNs）提供了事件驱动和稀疏激活机制，有望实现高能效计算，但将其应用于多模态 Transformer 架构面临着重大障碍。现有方法难以应对两个主要问题：(1) 训练不稳定：由于深层脉冲堆栈中的梯度衰减以及标准 Leaky Integrate-and-Fire (LIF) 神经元中超参数调节的困难；(2) 架构不匹配：Transformer 中典型的密集型成对 Softmax 注意力机制与基于脉冲通信的稀疏、二进制特性相冲突。此外，目前的多种模态 SNN 通常依赖于独立的编码器或后期融合，限制了早期的跨模态交互。

方法论
作者提出了 SMM Transformer，这是一个旨在完全在脉冲机制下运行并保持 Transformer 宏观架构的多模态框架。该框架引入了三个核心组件：

PLMP（具有多阶段可学习参数的并行 LIF）：
为了解决训练不稳定和超参数敏感性问题，作者使用 PLMP 单元取代了标准的 LIF 神经元。每个 PLMP 单元由 $K$ 个并行的 LIF 分支组成，每个分支都拥有各自的可学习膜电位泄漏因子 ( $\alpha_k$ ) 和发放阈值 ( $V_{th,k}$ )。这些分支捕捉异构的时间动态。输出被聚合为一个内部脉冲计数，随后通过一个固定阈值的读取门进行二值化，以产生用于下一层的单个二进制脉冲。这种设计避免了对手动调节时间常数和阈值的需求。
P-STBP（并行时空反向传播）：
为了训练深层的基于 PLMP 的堆栈，作者改进了时空反向传播 (STBP) 算法。P-STBP 在空间维度（通过读取脉冲跨层传播）和时间维度（通过并行 LIF 分支的循环动态）上共同传播梯度。它计算突触权重、偏置以及新引入的可学习泄漏因子和阈值的梯度，从而实现稳定的端到端训练。
SMSA（脉冲 MLP 自注意力）：
SMSA 使用脉冲驱动的 Token 混合模块取代了密集的 $N \times N$ Softmax 注意力矩阵。SMSA 不再计算成对的亲和力，而是：
- 通过 PLMP 将输入投影为查询（Query）、键（Key）和值（Value）张量，以获得二进制脉冲。
- 计算通道级脉冲共激活（通过对 Query 和 Key 的脉冲进行元素级乘积求和）来生成一个通道向量。
- 通过 PLMP 将该向量二值化，以创建一个脉冲门（Spike Gate）。
- 通过列向掩码将该门应用于 Value 脉冲。
- 引入一个自补偿分支（一个脉冲 MLP）以恢复因移除密集型 Token 对 Token 交互而损失的表达能力。
SMoE（脉冲混合专家模型）：
对于模态感知融合，前馈层利用了脉冲混合专家模型。该模块动态地将 Token 路由至视觉特定、语言特定或视觉-语言专家。这使得模型能够处理来自不同模态的异构表示，同时保持共享的交互骨干。

该模型采用阶段性预训练策略进行训练，涉及仅图像、仅文本和图文对数据，针对图像描述、掩码语言建模和图像-文本匹配等任务进行优化。

核心贡献

可训练脉冲单元： 引入了具有可学习时间参数的 PLMP 和用于稳定深层 SNN 训练的 P-STBP。
脉冲驱动的 Token 混合： 设计了 SMSA，它用稀疏、事件驱动的计算取代了密集的归纳偏置，同时利用自补偿来维持准确性。
模态感知融合： 通过专家路由实现 SMoE，以减少跨模态干扰。
效率分析： 进行了详细的算子级能量分析，证明了注意力模块中显著的算术节省。

结果
SMM Transformer 在视觉和多模态基准测试中进行了评估：

多模态任务： 在图像描述（MSCOCO）和跨模态检索（COCO, Flickr30K）任务上，SMM Transformer 达到了与人工神经网络（ANN）基准模型（如 BLIP, GIT, ALBEF）相当的准确度。具体而言，Large 版本在 MSCOCO 上的 BLEU-4 为 45.33，CIDEr 为 128.72。
视觉任务： 作为纯图像编码器，SMM 在 ImageNet 上实现了 83.2% 的 Top-1 准确率，在 ADE20K 上实现了 49.8 mIoU，超过了之前的 SNN 类 Transformer（如 PSSD）。
能效： 在标准 MAC/AC 算术模型（45nm CMOS）下，SMSA 模块相比于 vanilla 自注意力机制，将注意力块的估计算子级计算能量降低了高达 97%。全模型剖析显示出更温和但持续的增益，每对数据的估计能量减少了 21.6%，整体模型的 FLOPs 减少了 25.1%。

意义与主张
论文声称 SMM Transformer 成功弥合了 SNN 的能效与多模态基础模型性能需求之间的差距。通过重新设计与稀疏脉冲通信兼容的神经元、注意力和融合机制，该框架证明了深层脉冲网络可以在不依赖 ANN-to-SNN 转换的情况下实现具有竞争力的准确度。作者强调，虽然脉冲二值化和线性化的 Token 混合可能会以牺牲一定的语义一致性来换取效率（体现在与顶级 ANN 基准相比，CIDEr/SPICE 分数略低），但该框架为能量感知型多模态学习提供了一条可行的路径。这项工作凸显了主要的效率提升集中在注意力模块中，而未来的工作需要在内存感知部署和真实设备神经形态测量方面进行更多探索。

技术摘要：SMM Transformer

类似论文