💻 computer science

XOResNet: Exclusive-OR Meta-Residuals Facilitate Deep Spiking Neural Networks Learning

本文介绍了 XOResNet，这是一种深度脉冲神经网络架构，它采用 OR-ADD 跳跃连接和异或（Exclusive-OR）元残差，以克服脉冲冗余和信息丢失问题，从而在多个基准数据集上实现了优于现有最先进模型的卓越性能。

原作者： Jianfang Wu, Junsong Wang

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Jianfang Wu, Junsong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个运行速度极快、能效极高的机器人大脑（称为脉冲神经网络或 SNN）来识别图片。这个机器人大脑的工作方式与我们今天使用的标准计算机大脑不同。它不是让电流持续流动，而是通过微小的、二进制的“火花”或“脉冲”来进行通信（就像神经元放电一样）。这就像是一个摩斯密码系统：要么发生了一个火花（1），要么没有（0）。

问题在于，当研究人员试图让这些机器人大脑变得更深（增加更多的层数使其变得更聪明，类似于在建筑中堆叠楼层）时，他们撞到了墙。随着深度增加，机器人的表现反而变差了。这就像是试图把一条信息传递给长长的一排人；当信息到达终点时，信息要么丢失了，要么变得混乱不堪。

这篇论文介绍了一种构建这种深度机器人大脑的新方法，称为 XOResNet，旨在解决两个主要问题：浪费火花和信息丢失。

两个主要问题

1. “浪费火花”问题（冗余）
想象两个人同时试图告诉你同一个秘密。如果他们同时大喊“是！”，你听到的只是“是！”，但你并没有获得任何新的信息。在旧的机器人大脑中，“捷径”路径（直接路径）和“主路径”（深度学习路径）经常发送完全相同的火花。这就像是把同一个词喊了两遍——这既浪费了能量，又干扰了学习过程。

2. “信息丢失”问题（信息损失）
有时，捷径路径需要改变信息（比如改变盒子的尺寸）。旧的方法使用了一个简单的“或”（OR）规则：“如果其中一人喊叫，我就能听到。”但如果两个人喊叫的内容不同且需要结合在一起，那么“或”规则只会听到一个通用的“是！”，并忘记了原本要表达的具体细节。这就像是将两种不同的食谱合并成一锅通用的汤，从而失去了两种食谱原有的风味。

新的解决方案：XOResNet

作者提出了一个包含两个巧妙技巧的新构建工具包：

技巧 1：“智能合并”（OR-ADD 或 OA 捷径）

他们不再使用单一的规则来组合两条路径，而是使用一种会根据情况改变行为的“智能合并”：

当路径相同时： 他们使用 “或” (OR) 规则（就像一个灯开关）。如果其中一条路径发送了火花，灯就会亮起。这保持了信息的二进制特性（开/关），并防止了“浪费火花”的问题。
当路径不同时： 他们切换到 “加” (ADD) 规则。他们不再仅仅检查是否发生了火花，而是先将来自两条路径的电流（强度）相加，然后再决定是否触发火花。这确保了当路径改变大小或形状时，不会丢失任何细微的细节。

类比： 把这想象成一个夜店的保镖。

如果两个朋友其实是同一个人（恒等），保镖只需检查其中一人是否在场（或）。
如果两个朋友是不同的人，且持有不同的 VIP 通行证（非恒等），保镖会累加他们的 VIP 积分来决定是否准许进入（加），这样就不会漏掉任何人。

技巧 2：“异或”过滤器（XOR Meta-Residuals）

这是该论文最大的创新。在旧系统中，主学习路径试图学习所有内容，包括捷径路径已经掌握的内容。这就像一个学生仅仅因为老师的要求，就去重新学习已经掌握的乘法表一样。

新方法使用了一个 XOR（异或） 过滤器。

它是如何工作的： XOR 是一个逻辑门，它表示：“我只关心是否只有其中一个你是对的，而不是两者皆对。”
类比： 想象你和你的朋友都在尝试解一个谜题。捷径路径是你已经掌握的“简单”方案。主路径则是“艰苦”的工作。XOR 过滤器观察你们两个，然后说：“忽略那些我们达成共识的部分（因为我们已经知道了）。只关注那些你们产生分歧或者其中一人拥有另一人所没有的碎片的部分。”

通过过滤掉这些“达成共识”的内容，主学习路径只需要学习新的、独特的差异。这阻止了机器人大脑浪费能量去重新学习它已经知道的东西，并迫使它专注于困难的部分。

结果

研究人员利用这些技巧构建了一个名为 XOResNet 的新机器人大脑。他们在四个不同的图像识别挑战（从简单的衣服图像到复杂的动物照片）上对其进行了测试。

结果： 随着深度增加，新的 XOResNet 在识别图片方面变得越来越好。它没有受到困扰旧深度网络中那种“信息混乱”问题的影响。
对比： 它击败了几乎所有其他顶尖性能的机器人大脑，即使是那些更古老或使用不同训练方法的脑。
效率： 它在极少的“时间步”（处理瞬间）内就实现了这些高分，这意味着它既快速又高效。

总结

简而言之，这篇论文说：“要构建一个使用火花的超级智能深度机器人大脑，不要仅仅模仿人类大脑。相反，使用智能合并来组合路径而不丢失细节，并使用 XOR 过滤器 来确保大脑只学习新的东西，忽略它已经知道的内容。”这创造了一个更深、更快且更准确的学习系统。

技术摘要：XOResNet：通过异或元残差促进深度脉冲神经网络学习

问题陈述
虽然脉冲神经网络（SNNs）具有高能效和卓越的时空动力学表示能力，但训练深层 SNNs 仍然具有挑战性。现有方法通常依赖于将人工神经网络（ANNs）中的残差结构（如 ResNet）直接移植到脉冲领域。然而，这种直接移植在处理二进制脉冲通信时面临两个主要局限性：

脉冲冗余与信息丢失： 在恒等映射（identity mappings）中，简单的脉冲求和（如 SEW ResNet 中使用的做法）破坏了脉冲的二进制特性（例如 $1+1=2$ ），阻碍了在神经形态芯片上的部署。相反，使用逻辑“或”（OR）操作来保持二进制属性会导致信息丢失，特别是在涉及缩放变换的非恒等映射中，因为在这种情况下，来自两个分支的联合信息会被丢弃。
冗余学习： 当前的残差结构将主干分支视为学习“后学习残差”（即仅在融合后确定的差异）。在二进制脉冲系统中，这可能导致主干分支学习到的特征已经存在于捷径（shortcut）分支中，从而导致脉冲冗余和学习效率低下。

方法论
作者提出了 XOResNet，这是一种旨在解决上述特定限制的深层 SNN 架构，它包含两个创新的组件：

OR-ADD (OA) 捷径连接：
为了解决保持二进制脉冲特性与在非恒等映射中保留信息之间的冲突，作者提出了一种混合连接策略：
- 恒等映射： 当捷径分支执行恒等映射时，主干分支和捷径分支的输出脉冲使用 或（OR） 操作进行合并。这既保持了二进制特性（0 或 1），又避免了脉冲冗余。
- 非恒等映射： 当捷径涉及缩放或维度变换时，两个分支的输出电流（脉冲前激活值）进行求和并输入到脉冲神经元中。这种 加法（ADD） 操作保留了输入的线性组合，防止了在缩放变换中使用“或”操作所带来的信息丢失。
- 理论基础： 论文通过信息论（条件熵和互信息）证明了在非恒等场景下，ADD 操作比 OR 操作能保留更多的联合信息。
XOR 元残差（XOR Meta-Residuals）：
为了减轻主干分支中的冗余学习，作者引入了元残差的概念。主干分支不再是学习任意残差，而是被引导去学习“前学习残差”。
- 两个分支的特征在主干分支处理之前使用 异或（XOR） 操作进行合并。
- 数学表达式为 $MR = f_1 \oplus f_2$ 。该操作筛选出两个分支之间不同的特征，从而有效地过滤掉冗余信息。
- 这为主干分支提供了一个明确的目标：仅学习那些与捷径分支中已捕获的特征不同的差异性成分（即元残差），从而减少脉冲冗余并提高学习效率。

核心贡献

OA 捷径连接： 一种新型连接方法，通过在 OR（用于恒等映射）和 ADD（用于非恒等映射）之间进行动态切换，以平衡二进制脉冲的保持与信息的保留。
XOR 元残差： 一种利用 XOR 操作对残差特征进行预筛选的机制，将学习任务从“后学习”转变为“前学习”，以减少冗余。
XOResNet 架构： 将 OA 捷径和 XOR 元残达到集成到一个可扩展的深层 SNN 架构中。理论分析证实，该结构克服了梯度消失/爆炸问题，允许网络在不出现性能退化的前提下，增加到任意深度（实验已证明高达 110 层）。

实验结果
作者在四个数据集上评估了 XOResNet：Fashion-MNIST、CIFAR-10、CIFAR-100 和 miniImageNet。

性能： XOResNet 持续优于现有的最先进深层 SNNs（包括通过时空反向传播 STBP 优化的 Spiking ResNet、OR ResNet 和 OA ResNet）。
- 在 Fashion-MNIST 上，XOResNet50 达到了 94.53% 的准确率。
- 在 CIFAR-10 上，XOResNet110 仅需 8 个时间步即可达到 90.54% 的准确率，显著优于需要数千个时间步才能达到同等结果的 ANN2SNN 方法。
- 在 miniImageNet（256x256 分辨率）上，XOResNet44 达到了 68.00% 的准确率，超越了少样本学习基准。
深度可扩展性： 与性能随深度增加而下降的 Plain Networks 和 Spiking ResNets 不同，XOResNet 在高达 110 层时仍能保持或提高准确率。
消融实验： 实验证实，OA 连接解决了纯 OR 连接中出现的信息丢失问题，且 XOR 元残差显著降低了主干分支输入与输出特征之间的 Jaccard 相似度，表明冗余学习得到了减少。

意义
论文声称 XOResNet 为构建高性能神经形态系统提供了一种新的架构范式。通过解决 SNN 残差学习中的基本局限性——特别是脉冲冗余、缩放过程中的信息丢失以及冗余学习——所提出的方法使得构建既高效又有效的极深层 SNN 成为可能。该工作验证了将脉冲通信的特定属性（二进制特性和异步动力学）融入残差结构中，对于推动深层 SNN 超越浅层模型至关重要。作者总结道，他们的方法为包括生物启发式少样本学习算法在内的未来研究提供了坚实的基础。

两个主要问题

新的解决方案：XOResNet

技巧 1：“智能合并”（OR-ADD 或 OA 捷径）

技巧 2：“异或”过滤器（XOR Meta-Residuals）

结果

总结

技术摘要：XOResNet：通过异或元残差促进深度脉冲神经网络学习

类似论文