🤖 AI

Hyperdimensional Decoding of Spiking Neural Networks

本文提出了一种结合超维计算的新型脉冲神经网络解码方法，该方法在多个数据集上展现出比现有方案更高的分类精度、更低的延迟与能耗，并具备高效识别未知类别的能力。

原作者： Cedrick Kinavuidi, Luca Peres, Oliver Rhodes

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Cedrick Kinavuidi, Luca Peres, Oliver Rhodes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让“大脑型计算机”（脉冲神经网络）变得更聪明、更省电、反应更快的新魔法。

为了让你轻松理解，我们可以把这项技术想象成**“用超能力密码本代替传统点名册”**。

1. 背景：现在的“大脑计算机”有点笨重

想象一下，传统的神经网络（ANN）就像是一个按部就班的会计，它需要把所有数字都算一遍，不管有没有用，非常耗电。

而“脉冲神经网络”（SNN）则是模仿人脑的**“闪电侠”。人脑只有在看到东西或听到声音时才会“放电”（产生脉冲），平时很安静，所以非常省电。但是，这个“闪电侠”有个毛病：它虽然省电，但准确率不够高**，或者为了追求准确，不得不疯狂放电，结果又变回了“费电鬼”。

目前主流的两种让“闪电侠”做判断的方法（解码方式）都有缺点：

计数法（Rate Decoding）： 就像老师点名，数谁喊得声音最大（脉冲最多）谁就是赢家。这很准，但需要等很久才能数清楚，而且大家喊得太大声，太吵（太费电）。
抢答法（Latency Decoding）： 谁第一个举手谁赢。这很快，但容易误判，而且抗干扰能力差（稍微有点噪音就乱套了）。

2. 新魔法：超维计算（HDC）+ 脉冲网络

这篇论文提出了一种新招数：SNN-HDC。

核心比喻：从“点名册”到“全息密码本”

旧方法（点名册）： 假设你要识别 10 种手势。旧方法需要 10 个专门的“哨兵”，每个哨兵代表一种手势。如果哨兵 A 喊得最大声，就是手势 A。这很死板，如果哨兵 A 病了（没信号），系统就瞎了。
新方法（全息密码本）： 想象你手里有一本巨大的、由成千上万个随机开关组成的“密码本”（这就是超维向量/Hypervector）。
- 每个手势（比如“挥手”、“握拳”）不再对应一个哨兵，而是对应一本独特的密码本。
- 这本密码本里有 1000 个开关（维度）。对于“挥手”这个手势，密码本里特定的 500 个开关是“开”的，另外 500 个是“关”的。
- 神奇之处： 即使这本密码本被撕掉了一页，或者被泼了墨水（噪音），你依然能认出它是“挥手”的密码本，因为它的整体模式没变。这就是抗噪性。

它是如何工作的？

输入： 当你的眼睛（传感器）看到手势时，数据像雨点一样滴进“闪电侠”网络。
生成密码： 网络里的神经元开始放电。每有一个神经元放电，它就在“密码本”上点亮一个开关（把 0 变成 1）。
实时比对： 不需要等所有雨点都下完。随着雨点落下，密码本上的开关不断被点亮。系统随时拿着这个“正在生成的密码”去和标准的“手势密码本”比对。
结果： 只要生成的密码和某个标准密码足够像，系统立刻就知道：“哦，这是挥手！”

3. 这项技术带来的三大惊喜

🚀 惊喜一：反应更快（低延迟）

旧方法： 必须等整场雨下完，数完所有雨点才能出结果。
新方法： 只要雨点落下几滴，密码本的特征就出来了。系统可以边看边猜，甚至在数据还没完全传输完时就已经给出了答案。就像你看到一个人穿红衣服、戴帽子，还没看清脸就知道是“那个朋友”，不用等对方走到面前。

⚡ 惊喜二：超级省电（低能耗）

旧方法： 为了准确，神经元必须疯狂放电（大喊大叫）。
新方法： 因为“密码本”很聪明，只需要很少的开关被点亮（很少的脉冲）就能拼凑出完整的特征。
数据说话： 论文测试发现，在识别手势时，新方法比旧方法省电 1.2 倍到 3.6 倍。这就像是用一根火柴的光就能照亮整个房间，而不需要开一盏大灯。

🛡️ 惊喜三：能认出“陌生人”（识别未知类别）

这是最酷的一点！

旧方法： 如果训练时只教了 10 种手势，第 11 种手势出现时，系统会强行把它归类为前 10 种里的某一种，导致错误。
新方法： 因为它是靠“密码相似度”来判断的。如果来了一个全新的手势，生成的密码和所有已知的“密码本”都不像（距离太远），系统就会说：“我不认识这个，这是个未知物体！”
实验结果： 在测试中，它能 100% 识别出那些它从未学过的“陌生手势”，并标记为“未知”，而不是瞎猜。

4. 总结：为什么这很重要？

这篇论文就像给未来的智能设备（比如智能眼镜、助听器、机器人）装上了一个**“既聪明又节能的大脑”**。

以前： 想要准确，就得费电；想要省电，就得牺牲准确；想要识别新东西，就得重新训练。
现在（SNN-HDC）： 我们找到了一种方法，让设备既准、又快、又省电，还能灵活应对没见过的情况。

这就好比给机器人装上了一个不仅能“看”，还能“直觉感知”的超能力，让它能在电池很小的情况下，在嘈杂的环境中，瞬间认出各种动作，甚至发现新事物。这对于未来在野外、太空或植入人体等对能源和反应速度要求极高的场景，具有巨大的应用潜力。

论文技术总结：超维解码脉冲神经网络 (Hyperdimensional Decoding of Spiking Neural Networks)

1. 研究背景与问题 (Problem)

脉冲神经网络（SNN）作为第三代神经网络，因其生物可解释性和在专用神经形态硬件上的高能效潜力而备受关注。然而，SNN 的广泛应用仍面临以下挑战：

解码方法的局限性：现有的主流解码方法（如率解码 Rate Decoding 和延迟解码 Latency Decoding）存在明显缺陷。率解码依赖大量脉冲积累，导致高延迟和高能耗；延迟解码虽然能耗较低，但准确率通常较低且对噪声鲁棒性差。
表示能力的限制：传统的独热编码（One-hot encoding）在输出层需要与类别数相等的神经元，其表达能力随维度线性增长，难以处理大规模类别或未知类别。
训练与推理的不匹配：现有结合 SNN 与超维计算（HDC）的研究（如 SpikeHD, HyperSpike）通常采用两阶段训练（先训练 SNN 提取特征，再映射到 HDC），且依赖矩阵乘法进行编码，这增加了计算复杂度和能耗，且无法在事件驱动模式下进行连续推理。
时间分辨率问题：许多研究为了加速训练，将长时间的事件流压缩为少量时间步，这损失了 SNN 核心的时间信息，不利于实时部署。

2. 方法论 (Methodology)

本文提出了一种名为 SNN-HDC 的新型解码架构，将 SNN 直接与超维计算（Hypervector Computing, HDC）结合，旨在实现高精度、低延迟、低能耗且具备未知类别识别能力的系统。

2.1 核心架构设计

直接输出超向量：SNN 的输出层不再对应具体的类别（独热编码），而是直接生成一个高维二进制超向量（Hypervector）。
事件驱动编码：
- 输出层包含 $D$ 个神经元，对应超向量的 $D$ 个维度。
- 初始化所有维度为 0。
- 当第 $i$ 个输出神经元在输入样本期间产生脉冲（Spike）时，超向量的第 $i$ 维从 0 翻转为 1。
- 这种编码方式仅关注脉冲的存在与否，而非脉冲的频率或精确时间，从而避免了复杂的矩阵乘法，仅使用加法操作，更符合神经形态硬件的低能耗特性。
分类机制：将生成的输出超向量与预定义的类别超向量（随机生成的伪正交二进制向量）进行**汉明距离（Hamming Distance）**比较，距离最小者即为预测类别。

2.2 训练策略

损失函数：使用均方误差（MSE）损失。目标是将输出超向量 $H$ $H$ 逼近目标类别超向量 $C$ $C$ 。
- 对于目标为 1 的维度，只要产生脉冲（值>0），损失即不再增加（允许重复脉冲）。
- 对于目标为 0 的维度，脉冲次数越多，损失越大。
数据集与时间分辨率：使用 DvsGesture 和 SL-Animals-DVS 两个神经形态视觉数据集。与以往研究不同，本文坚持使用 1 毫秒 的时间分辨率输入，不进行时间压缩，以保留完整的时间信息并降低推理延迟。
对比模型：为了公平比较，构建了三种架构：
1. SNN-HDC：本文提出的模型。
2. Rate/Latency-1 (同深度)：与 SNN-HDC 深度相同，但输出层为独热编码，分别使用率解码和延迟解码。
3. Rate/Latency-2 (更深)：在 SNN-HDC 基础上增加一层隐藏层，输出层为独热编码。

3. 关键贡献 (Key Contributions)

端到端的 SNN-HDC 联合训练：不同于以往的两阶段方法，本文提出直接训练 SNN 以输出超向量，消除了中间的特征提取和投影矩阵乘法，提高了能效。
高效的编码机制：提出了一种基于脉冲“存在性”的编码方法，完全去除了矩阵乘法，仅依赖加法操作，显著降低了神经形态硬件上的计算能耗。
未知类别识别能力：利用超向量的分布式表示特性，SNN-HDC 能够识别训练集中未出现的类别。通过设定汉明距离阈值，模型可以将输入分类为“已知类”或“未知类”。
实时事件驱动推理：由于超向量是随时间累积构建的，模型可以在样本输入过程中随时输出置信度较高的分类结果，无需等待整个样本结束，从而实现了低延迟推理。
全面的性能评估：在准确率、能耗（基于突触操作数 SOP 估算）、延迟和未知类识别能力四个维度上，与传统的率解码和延迟解码模型进行了详细对比。

4. 实验结果 (Results)

实验在 DvsGesture 和 SL-Animals-DVS 数据集上进行，主要发现如下：

4.1 准确率与能耗

DvsGesture 数据集：
- 准确率：SNN-HDC 达到 96.59%，优于率解码同深度模型（95.08%）和延迟解码模型，略低于更深度的率解码模型（97.35%）。
- 能耗：SNN-HDC 的估算能耗最低，相比率解码模型降低了 1.24 倍至 3.67 倍。
- 脉冲数：SNN-HDC 产生的脉冲总数最少，减少了 1.74 倍至 3.36 倍。
SL-Animals-DVS 数据集：
- 准确率：SNN-HDC 达到 74.13%，成为所有模型中准确率最高的（优于率解码和延迟解码模型）。
- 能耗：相比率解码模型降低了 1.38 倍至 2.27 倍。

4.2 延迟 (Latency)

SNN-HDC 在 DvsGesture 上的平均延迟为 162 ms，优于率解码同深度模型（208 ms），但略高于更深度的率解码模型（133 ms）。
在 SL-Animals-DVS 上，SNN-HDC 的延迟（570 ms）低于所有率解码模型，证明了其在处理复杂动作时的实时性优势。

4.3 未知类别识别

在 DvsGesture 数据集上，使用仅训练了 10 个类别的 SNN-HDC 模型来识别包含第 11 个“随机”类别的测试集。
通过调整汉明距离阈值 $\delta$ ，模型能够以 100% 的准确率识别出所有未见过的第 11 类样本，同时保持对已知类别的高分类准确率（在 $\delta=0.25$ 时，整体准确率 94.17%）。

4.4 与现有 SOTA 对比

相比现有的 SNN-HDC 结合方法（SpikeHD, HyperSpike），本文提出的 SNN-HDC 在 DvsGesture 上分别提高了 8.79% 和 9.39% 的准确率。
相比使用低时间分辨率训练的 SQUAT 模型，本文模型在保持相同架构的情况下，准确率提高了 8.84%，证明了高时间分辨率输入的重要性。

5. 意义与结论 (Significance & Conclusion)

本文提出的 SNN-HDC 解码方法为脉冲神经网络的解码提供了一种极具竞争力的替代方案：

能效优势：通过消除矩阵乘法和利用稀疏脉冲事件，显著降低了能耗，使其非常适合在资源受限的神经形态硬件上部署。
鲁棒性与灵活性：超维计算的高维分布式表示赋予了模型极强的抗噪能力和识别未知类别的能力，解决了传统独热编码在开放集场景下的局限性。
实时性：事件驱动的累积机制使得模型能够进行连续、低延迟的推理，更贴合真实世界的动态应用场景。
未来展望：虽然输出层神经元数量增加带来了参数量的上升，但在类别数超过一定阈值（约 2633）时，超维编码的参数量将少于独热编码。未来工作可探索动态超向量、优化脉冲计数编码以及进一步降低能耗。

综上所述，SNN-HDC 成功地将 SNN 的时间特性与 HDC 的鲁棒性相结合，在保持高准确率的同时，实现了低延迟和低能耗，是迈向实用化神经形态计算的重要一步。