💻 computer science

Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning

本文介绍了一种名为 Mamba-CL 的持续学习框架，该框架通过应用零空间投影使参数在与先前任务子空间正交的方向上进行更新，从而减轻了 Mamba 模型中的灾难性遗忘，确保了跨任务的输出一致性，并在类增量基准测试中取得了卓越的性能。

原作者： De Cheng, Yue Lu, Lingfeng He, Shizhou Zhang, Xi Yang, Nannan Wang, Xinbo Gao

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： De Cheng, Yue Lu, Lingfeng He, Shizhou Zhang, Xi Yang, Nannan Wang, Xinbo Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个聪明的机器人识别不同类型的动物。首先，你给它看猫的照片，它完美地学会了。接着，你给它看狗的照片，机器人学会了狗，但在过程中，它却不小心忘记了猫长什么样。这是人工智能领域一个著名的难题，被称为“灾难性遗忘”（catastrophic forgetting）。这就像一个学生为了历史考试而临时抱佛脚，结果立刻忘记了前一天学过的数学知识。科学家们一直试图构建能够学习新事物而不丢失旧记忆的 AI，这种平衡术被称为“稳定性-塑性困境”（stability-plasticity dilemma）。为了解决这个问题，研究人员经常使用一种叫做“正交投影”（orthogonal projection）的技术。你可以把它想象成一位严格的图书管理员，只允许你在完全空的过道里添加新书，从而确保你永远不会撞倒之前来访时放好的书。最近，一种名为“Mamba”的新型 AI 架构变得非常流行，因为它速度极快，且擅长理解序列（如句子或视频帧）。但由于 Mamba 的工作方式与旧的 AI 模型不同，旧有的“图书管理员”规则并不完全适用于其独特的结构。

这篇论文介绍了一种名为 Mamba-CL 的新方法，它就像是一位专门为 Mamba 图书馆训练的专业图书管理员。研究人员发现，为了防止 Mamba 产生遗忘，我们不能仅仅使用标准的规则；我们必须准确理解当 Mamba 看到新信息时，它的内部“状态”（即它对过去的记忆）是如何更新的。他们发现，当机器人在学习新任务的同时改变了处理旧输入的方式时，遗忘就会发生。为了解决这个问题，他们推导出了四条特定的数学规则，作为“护栏”。这些规则确保当 Mamba 学习新任务时，它只会朝着对旧任务完全“不可见”的方向去调整它的“旋钮和刻度”。

团队通过教 Mamba 模型执行一系列不同的图像识别任务（例如识别来自 ImageNet-R 和 CIFAR-100 的图片中的物体）进行了测试。他们发现，Mamba-CL 在防止机器人遗忘方面极其有效。在 10 个任务的测试中，与现有的最佳方法相比，该新方法将准确率提高了约 2% 到 3%，同时大幅减少了知识损失量。例如，在一个基准测试中，遗忘率从标准版本的 28% 以上降至仅 4%。论文指出，通过仔细约束模型如何更新其内部状态，它可以学习新技能而不抹除旧技能，即使是在长序列的学习过程中也是如此。作者指出，无论该模型是在海量数据集上进行预训练还是从零开始训练，这种方法都表现良好，这证明了这种“护栏”策略是让 AI 模型随着时间的推移保持聪明且稳定的稳健方式。

技术摘要：Mamba-CL

问题定义

持续学习（Continual Learning, CL）旨在使人工智能模型能够随着时间的推移学习一系列任务，而不遗忘先前获得的知识，从而解决稳定性-塑性权衡（stability-plasticity dilemma）问题。虽然状态空间模型（SSMs），特别是 Mamba 架构，在计算机视觉和序列建模领域取得了显著成功，但将其应用于持续学习仍面临独特的挑战。现有的 CL 方法（如正交子空间投影）主要针对卷积神经网络（CNN）和视觉 Transformer（ViT）开发。由于 Mamba 具有更高阶的递归状态空间结构及其非线性离散化机制，直接应用这些方法非常困难。具体而言，选择性 SSM 中的遗忘可以理解为由前序任务输入所激活的状态更新和输出生成过程发生了变化。核心问题在于，如何在微调预训练 Mamba 基础模型以学习新任务时，从数学上保证对先前任务的输出保持一致。

方法论

作者提出了 Mamba-CL，一个通过在零空间（null space）中优化选择性 SSM 以减轻灾难性遗忘的框架。该方法专注于微调预训练 Mamba 主干网络（具体为 De-focus Mamba）中的核心 SSM 模块，同时保持其他组件冻结。

理论推导

Mamba-CL 的核心是对 SSM 模块参数的四个充分一致性条件的推导。其目标是确保 SSM 在处理前序任务输入（ $X_t$ ）时的输出在学习新任务后保持不变。通过分析 SSM 的前向过程（涉及输入不变参数 $A$ 和输入相关的参数 $B, C, \delta$ [离散化步长]），作者将一致性要求分解为对参数更新（ $\Delta$ ）的约束：

离散化步长 ( $\delta$ ) 与输入投影 ( $W_\delta$ )： 更新 $\Delta W_\delta$ 必须与输入特征空间 $X_t$ 正交（即 $X_t \Delta W_\delta = 0$ ）。
状态转移 ( $A$ )： 更新 $\Delta A$ 必须与离散化步长参数 $\delta_t$ 正交（即 $\delta_t \Delta A = 0$ ）。
输入注入 ( $W_B$ )： 更新 $\Delta W_B$ 必须与离散化步长与输入特征的乘积正交（即 $\delta_t X_t \Delta W_B = 0$ ）。
输出读取 ( $W_C$ )： 更新 $\Delta W_C$ 必须与输入特征空间 $X_t$ 正交（即 $X_t \Delta W_C = 0$ ）。

这些条件确保了由旧任务输入所激活的状态更新和输出生成过程得以保留。

优化策略

为了高效实现这些约束，Mamba-CL 采用了零空间投影：

投影矩阵： 作者从前序任务中计算出特征空间（ $X_t, \delta_t$ 以及 $\delta_t X_t$ ）的未中心化协方差矩阵。利用奇异值分解（SVD），他们推导出投影矩阵（ $H_1, H_2, H_3$ ），将新任务的梯度投影到这些特征子空间的零空间中。
平衡因子： 引入了一个超参数 $\eta \in [0, 1]$ 来放宽正交约束。这允许在稳定性（保留旧知识）和塑性（学习新任务）之间进行权衡。当 $\eta=1$ 时，应用严格的零空间投影；较小的值则允许更多的塑性。
实现： 在训练期间，SSM 参数（ $A, W_B, W_C, W_\delta$ ）以及随后的线性投影层的梯度在执行参数更新步骤之前，会使用这些矩阵进行投影。

核心贡献

输出保持视角： 本文从输出保持的角度构建了选择性 SSM 的持续适配问题，将选择性扫描机制与正交子空间约束联系起来。
理论推导： 作者从理论上推导了 Mamba 模型中 SSM 模块的四个充分一致性条件，解决了其递归结构和非线性离散化的复杂性。
零空间近似： 基于这些条件，引入了一种基于零空间的近似方法，以高效实现梯度正交投影，从而在无需存储前序任务样本（无样本/exemplar-free）的情况下实现大规模 Mamba 基础模型的持续适配。
实验验证： 广泛的实验证明了该方法的有效性，涵盖了多个基准测试。

实验结果

作者在四个类增量（class-incremental）基准测试上评估了 Mamba-CL：

数据集： 10-split 和 20-split 的 ImageNet-R，10-split 的 CIFAR-100，以及 10-split 的 DomainNet。
基线模型： 该方法与最先进的 CL 方法（如 L2P, DualPrompt, CODA-Prompt, EvoPrompt, EASE）以及没有正交投影的 Mamba 基线（Mamba-Seq）进行了对比。
性能表现：
- Mamba-CL 取得了优于现有方法的性能。在 10-split ImageNet-R 上，它达到了 81.67% 的准确率和 4.07% 的遗忘率，显著超过了次优方法（CL-LoRA 为 78.48% 准确率）。
- 相比于 Mamba-Seq 基线，它展现了实质性的提升：在各项基准测试中，准确率提高了 18%–45%，遗忘率降低了 24%–61%。
- 该方法在长序列 CL 场景（50 和 100 个任务）中表现出了鲁棒性，始终保持领先地位。
- 消融研究证实，离散化步长 ( $\delta$ ) 的投影是抗遗忘最关键的组件。
- 该方法在不同的 Mamba 变体（MambaVision, Vim, VMamba）甚至在“从头开始训练”的情景下均得到了验证，证明了其泛化能力。

重要性与主张

本文声称，Mamba-CL 提供了一种有效的方法，可以在持续适配大型基础模型核心选择性 SSM 模块的同时，减轻对先前获得知识的干扰。与以往需要情景元训练（episodic meta-training）、特定任务的主干扩展或保留样本的方法不同，Mamba-CL 在无样本设置下运行，且在推理阶段无需额外操作。

作者强调，他们的方法不仅仅是现有投影技术的直接应用，而是针对 SSM 特定数学结构的必要适配。通过推导 Mamba 模型中时不变参数的具体一致性条件，他们弥合了持续学习的理论要求与状态空间模型实际实现之间的鸿沟。结果表明，通过零空间投影显式保护与输入相关的离散化、状态转移、输入注入和输出读取过程，对于在基于 Mamba 的架构中实现强大的持续学习性能至关重要。