⚡ electrical engineering

CATFormer: When Continual Learning Meets Spiking Transformers With Dynamic Thresholds

本文提出了 CATFormer 框架，通过引入动态阈值漏积分发放神经元模型和门控动态头选择机制，有效解决了脉冲 Transformer 在类增量学习中面临的灾难性遗忘问题，并在多种静态及神经形态数据集上实现了优于现有无重放算法的性能。

原作者： Vaishnavi Nagabhushana, Kartikay Agrawal, Ayon Borthakur

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Vaishnavi Nagabhushana, Kartikay Agrawal, Ayon Borthakur

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 CATFormer 的新型人工智能模型。为了让你轻松理解，我们可以把它想象成一个**“拥有超级记忆力的智能机器人管家”**。

1. 背景：为什么现在的 AI 会“失忆”？

想象一下，你教一个普通的 AI 机器人认猫。它学得很棒。然后，你让它去学认狗。

普通 AI 的困境：当它开始学“狗”的时候，为了适应新知识，它的大脑（神经网络）会强行覆盖掉之前关于“猫”的记忆。结果就是，它认出了狗，却把猫忘得一干二净。这种现象在科学上叫**“灾难性遗忘”**。
现实世界的难题：在真实世界（比如机器人、自动驾驶）中，数据是源源不断流进来的，而且我们不能把过去所有的数据都存下来（因为内存不够、隐私限制或耗电太多）。所以，我们需要一种能**“只学新东西，不忘旧东西”，且不需要翻看旧笔记**的 AI。

2. 灵感来源：大脑的“神经调节剂”

科学家发现，人脑之所以不会失忆，是因为大脑里有一种神奇的机制：神经调节（比如多巴胺、乙酰胆碱等化学物质）。

比喻：想象大脑里的神经元是灯泡。
- 普通 AI 学习新任务时，就像把整个房间的灯泡都拆了重装，导致旧灯泡坏了。
- 人脑学习新任务时，就像给特定的灯泡调暗或调亮开关（阈值）。当需要处理“猫”的任务时，大脑会调高某些灯泡的亮度阈值，让它们不容易亮；当处理“狗”的任务时，又调低阈值。这样，旧的电路（知识）还在，只是通过调节“开关灵敏度”来适应新任务。

3. CATFormer 是什么？

CATFormer 就是模仿这种大脑机制的**“脉冲 Transformer"**。

脉冲神经网络 (SNN)：它不像普通 AI 那样一直“嗡嗡”计算，而是像神经元一样，只有在接收到足够强的信号时才会“放电”（产生脉冲）。这让它非常省电，就像人脑一样高效。
Transformer：这是目前最强大的 AI 架构（像 GPT 或图像识别模型），擅长理解全局关系。CATFormer 把这两者结合了起来。

4. 核心黑科技：动态阈值与“智能门控”

CATFormer 有两个绝招，让它能解决“失忆”问题：

第一招：动态阈值 (Dynamic Thresholds) —— “可调节的灵敏度开关”

原理：在 CATFormer 里，每个神经元都有一个**“门槛”**（阈值）。
比喻：想象每个神经元是一个守门员。
- 以前，守门员的门槛是固定的。新任务来了，为了进球，守门员不得不改变姿势，结果把旧姿势忘了。
- 现在，CATFormer 给每个任务配备了一套专属的守门员灵敏度。
- 当遇到“任务 A"时，系统告诉神经元：“把门槛调高一点，只接收 A 类的信号。”
- 当遇到“任务 B"时，系统告诉神经元：“把门槛调低一点，接收 B 类的信号。”
- 关键点：它不需要重新训练整个大脑（不需要动大脑的“骨架”），只需要微调这些“门槛”。这样，旧知识（骨架）完好无损，新知识（门槛设置）轻松加入。

第二招：门控动态头选择 (Gated Dynamic Head Selection) —— “智能导览员”

原理：当机器人看到一张图片时，它怎么知道该用哪套“门槛”呢？
比喻：想象有一个聪明的导览员（门控网络）。
- 你给导览员看一张图，导览员先快速扫一眼，判断：“哦，这是‘猫’的任务！”
- 然后导览员立刻把对应的“猫任务专用门槛”打开，让数据流进去处理。
- 如果是“狗”的任务，就切换到“狗任务专用门槛”。
- 这样，不同的任务互不干扰，各走各的路。

5. 惊人的发现：“反向遗忘”

通常，学得越多，忘得越多。但 CATFormer 发现了一个反直觉的现象，作者称之为**“反向遗忘” (Reverse Forgetting)**。

现象：随着任务越来越多（比如从 10 个任务增加到 50 个），CATFormer 的准确率不降反升！
原因：因为它学会了如何更精准地调节“门槛”。就像你练钢琴，练的曲子越多，你对手指力度的控制（阈值调节）就越精准，反而弹得更好了。

6. 为什么这很重要？

省电省内存：它不需要存储过去的图片（不需要“复习旧笔记”），也不需要把整个大脑重新训练一遍。这对电池供电的机器人、无人机或边缘设备至关重要。
适应未来：现实世界是动态的。机器人可能今天学开门，明天学倒水，后天学避障。CATFormer 能让它们像人一样，终身学习，越老越聪明，而不会因为学了新东西就变傻。

总结

CATFormer 就像给 AI 装上了**“可调节的神经开关”。它不需要死记硬背过去的资料，而是通过灵活调整自己的“敏感度”来适应新任务。这不仅解决了 AI“学新忘旧”的顽疾，还让 AI 变得更省电、更聪明，是未来机器人和智能设备实现终身学习**的关键一步。

CATFormer 技术总结：当持续学习遇上动态阈值脉冲 Transformer

1. 研究背景与问题定义 (Problem)

核心挑战：灾难性遗忘 (Catastrophic Forgetting)
现有的深度神经网络（DNN）在受控环境中表现优异，但在现实世界的持续学习场景中面临巨大挑战。当数据按顺序到达且分布发生漂移时，模型在学习新任务时往往会遗忘旧知识。这种现象被称为“灾难性遗忘”。

现有方法的局限性：

回放机制 (Rehearsal) 的不可行性： 在电池供电、内存受限或受隐私法规约束的物理 AI 设备（如机器人、边缘设备）上，存储和回放历史数据（Rehearsal）通常不可行。
脉冲神经网络 (SNN) 的瓶颈： 虽然 SNN 因其事件驱动和稀疏计算特性而具有极高的能效，但现有的基于 SNN 的类增量学习 (CIL) 方法主要依赖卷积神经网络 (CNN) 架构。随着任务数量增加，现有 SNN 方法性能急剧下降。
Transformer 在 SNN 中的空白： 尽管 Vision Transformer (ViT) 在捕捉全局依赖关系方面表现出色，且 SpikFormer 已成功将 Transformer 范式引入 SNN，但其在无回放 (Rehearsal-free) 的持续学习场景中的应用尚未被充分探索。

研究目标：
设计一种可扩展的、基于 SNN 的 Transformer 架构，能够在不存储历史数据的情况下，通过动态调节神经元特性来适应新任务，从而避免灾难性遗忘，并支持长达 50-100 个任务的序列学习。

2. 方法论 (Methodology)

论文提出了 CATFormer (Context Adaptive Threshold Transformer)，这是一个受生物神经调节机制启发的框架。其核心思想是：防止遗忘的关键不仅在于突触可塑性，还在于调节神经元的兴奋性（Excitability）。

2.1 核心组件

动态阈值漏积分发放神经元 (DTLIF, Dynamic Threshold Leaky Integrate-and-Fire)：
- 机制： 传统的 LIF 神经元使用固定阈值。CATFormer 引入了上下文自适应的动态阈值 $\phi^{(k)}$ 。
- 工作原理： 每个任务 $k$ 对应一组可学习的阈值参数。在训练新任务时，骨干网络（Backbone）的权重被冻结，仅优化当前任务特定的动态阈值。
- 生物启发： 模拟了乙酰胆碱等神经调质通过改变膜兴奋性和突触可塑性来抑制旧信息干扰、促进新记忆编码的过程。
- 公式： 神经元发放 $S_j(t) = \Theta(\tilde{V}_j(t) - \phi_j^{(k)})$ ，其中阈值 $\phi_j^{(k)}$ 通过梯度下降针对特定任务进行更新。
门控动态头选择机制 (G-DHS, Gated Dynamic Head Selection)：
- 作用： 用于任务无关的推理（Task-agnostic inference）。
- 架构： 一个轻量级的两层 MLP（Gating MLP），将输入特征映射到任务预测。
- 推理流程：
  1. 输入样本 $x$ 。
  2. 使用基础阈值 $\phi_{init}$ 提取特征。
  3. Gating MLP 预测当前样本属于哪个任务 $k^*$ 。
  4. 根据预测的任务 $k^*$ ，切换到对应的动态阈值 $\phi^{(k^*)}$ 和任务头 $W_{k^*}$ 进行最终分类。
两阶段训练协议：
- 阶段 1 (任务学习)： 冻结骨干网络参数，仅优化当前任务的动态阈值 $\phi^{(k)}$ 和分类头 $W_k$ 。
- 阶段 2 (门控训练)： 利用累积的数据训练 Gating MLP，使其能够准确路由输入到正确的任务头。

3. 主要贡献 (Key Contributions)

首个面向脉冲视觉 Transformer 的 CIL 框架： 填补了 SNN 持续学习领域在 Transformer 架构上的空白，提出了首个专为 Spiking Vision Transformer 设计的无回放类增量学习框架。
创新的抗遗忘机制： 提出了一种生物启发的适应机制，通过冻结骨干网络并仅学习任务特定的动态阈值来防止灾难性遗忘。这种方法无需网络增长（Network Growth）或存储原始数据样本。
实现“反向遗忘” (Reverse Forgetting) 现象： 在极具挑战性的长序列任务（多达 100 个任务）中，CATFormer 不仅没有性能下降，反而随着任务数量的增加，准确率有所提升（例如在 CIFAR-100 上从 10 个任务的 68.33% 提升至 50 个任务的 75.66%）。
极致的资源效率：
- 无回放： 完全不需要存储历史数据缓冲区，解决了隐私和存储问题。
- 参数高效： 每个任务仅增加约 1.4M 可训练参数（主要是阈值和头），且阈值存储仅需极小的内存（FP32 下每个任务约 64.2 KB）。

4. 实验结果 (Results)

实验在静态数据集（CIFAR-10/100, Tiny-ImageNet）和神经形态数据集（CIFAR10-DVS, SHD）上进行了广泛评估。

4.1 静态数据集表现

Split CIFAR-100 (50 个任务)：
- CATFormer 准确率：75.66%。
- 对比：显著优于 DSD-SNN (50.55%)、EWC (9.73%)、iCaRL (10.89%) 等现有方法。
- 趋势：随着任务数增加，性能不降反升，呈现“反向遗忘”趋势。
Split CIFAR-10 (5 个任务)：
- CATFormer 准确率：89.29%，优于 SOTA 方法 SA-SNN+EWC (80.39%)。
Tiny-ImageNet (100 个任务)：
- 在 200 类、100 个任务的极端设置下，CATFormer 达到 48.56%，比非脉冲 Transformer 基线高出 8.45%。

4.2 神经形态数据集表现

CIFAR10-DVS (事件相机数据)： 在 2 个任务设置下达到 83.21%，与需要回放缓冲区的 ALADE-SNN (83.5%) 相当，证明了无回放策略的有效性。
SHD (听觉脉冲数据)： 在 10 个任务设置下达到 87.85%，远超 DSD-SNN (80.47%)。

4.3 消融实验 (Ablation Study)

固定阈值 (Fixed Threshold)： 准确率降至 42.87%，证明了动态阈值对防止遗忘至关重要。
移除注意力机制 (SpikIdentityFormer)： 准确率降至 59.38%，表明 Transformer 的结构化特征提取对持续学习同样关键。
结论： 动态阈值调节与 Transformer 架构的结合是实现高效无回放持续学习的必要条件。

5. 意义与影响 (Significance)

物理 AI 与机器人的理想架构：
CATFormer 解决了资源受限设备（如电池供电的机器人、边缘传感器）无法存储回放缓冲区的问题。其内存占用极低（仅存储少量阈值参数），非常适合嵌入式和神经形态硬件（如 Loihi 2）部署。
重新定义持续学习范式：
打破了“随着任务增加性能必然下降”的传统认知，展示了通过调节神经元兴奋性（而非仅仅调整突触权重）可以实现长期稳定的知识保留，甚至实现“越学越强”。
生物合理性与工程实现的平衡：
虽然不完全符合生物真实性，但 CATFormer 借鉴了神经调质（如乙酰胆碱）调节兴奋性的机制，为构建更智能、更适应动态环境的终身学习系统提供了新的理论视角和工程路径。
能效优势：
结合 SNN 的事件驱动特性和 Transformer 的全局建模能力，CATFormer 为构建高能效、低延迟的自主智能体提供了强有力的技术支撑。

总结： CATFormer 通过引入动态阈值机制，成功将脉冲 Transformer 推向了无回放持续学习的前沿，为未来在真实世界复杂环境中部署具备终身学习能力的智能系统奠定了坚实基础。