Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Mamba-FSCIL 技术摘要：基于选择性状态空间模型的动态适应性少样本类增量学习

问题陈述
少样本类增量学习（FSCIL）旨在使模型能够在仅有少量示例的情况下，持续学习新类别，同时保留已学习过的基础类别的知识。现有方法面临着关于稳定性-塑性权衡（stability-plasticia trade-off）的关键困境。静态适应方法采用在所有阶段共享的固定容量投影器；然而，为新类别更新这些共享权重往往会覆盖编码基础知识的参数，从而导致灾难性遗忘。相反，具有扩展架构的动态适应方法为每个阶段分配新参数以保持稳定性，但这会导致模型规模无限制增长，增加计算成本并限制可扩展性。核心挑战在于如何在不进行阶段性参数扩展的情况下，实现对新类别的动态适应并保留旧知识。

方法论
作者提出了 Mamba-FSCIL 框架，该框架利用选择性状态空间模型（SSMs），特别是 Mamba，在固定容量架构内实现输入依赖的动态计算。该方法并非通过扩展模型大小，而是利用 Mamba 根据输入内容即时生成核心参数（$B_i, C_i, \Delta_i$）的能力。该框架由三个主要部分组成：

1. 双路选择性 SSM 投影器：
   为了在结构上解耦稳定性与塑性，投影器被分为两个并行分支：

   • 基础选择性 SSM 分支 ($g_{base}$): 该分支充当“稳定性锚点”。它仅在基础阶段进行训练，随后被冻结。与传统的静态冻结模块不同，$g_{base}$ 在计算上仍是动态的；即使在冻结状态下，它也能继续生成基于输入的参数，从而提供稳定的、具备上下文感知能力的变换，以保留基础类别的基础表示。
   • 增量选择性 SSM 分支 ($g_{inc}$): 该分支充当“塑性赋能器”。它是一个在所有增量阶段重复使用的单一、固定容量的 Mamba 模块。它利用 Mamba 的输入依赖机制来捕捉新类别所需的残差特征偏移。通过根据输入上下文生成不同的动态参数，$g_{inc}$ 能够适应新类别，而无需添加新的阶段特定分支。

2. 类敏感的选择性扫描机制：
   为了确保 $g_{inc}$ 的动态适应是类敏感而非仅仅是内容感知的，作者引入了两种正则化损失：

   • 抑制损失 ($\mathcal{L}_{supp}$): 该损失最小化基础类输入时门控流（$Z_{inc}$）的激活幅度。通过抑制增量分支对已知类别的贡献，防止其干扰冻结的稳定性锚点。相反，它鼓励新类别输入具有更大的范数，以促进适应。
   • 分离损失 ($\mathcal{L}_{sep}$): 该损失最小化基础类与新类别生成的平均状态空间参数（$B, C, \Delta$）之间的绝对余弦相似度。这促使模型为新概念形成截然不同的变换路径，减少表示重叠并增强塑性。

3. 优化策略：
   该框架使用固定的单纯形等角紧框架（Simplex Equiangular Tight Frame, ETF）分类器。在基础阶段，骨干网络、恒等分支和 $g_{base}$ 进行联合优化。在增量阶段，骨干网络和 $g_{base}$ 被冻结，仅使用结合了点回归（Dot Regression, DR）损失、抑制损失和分离损失的 $g_{inc}$ 进行优化。系统运行过程中无需存储或重放来自先前阶段的原始图像，而是依赖于类均值原型（class-mean prototypes）的紧凑特征级记忆。

核心贡献

• Mamba-FSCIL 框架： 首个将 Mamba 的输入依赖动态计算应用于 FSCIL 的框架，在固定容量模型中实现了类敏感的适应。
• 双路选择性 SSM 投影器： 一种结构性创新，通过一个冻结但计算动态的基础分支和一个可复用的增量分支来分离基础类与新类的处理，在不进行参数扩展的情况下平衡了稳定性与塑性。
• 类敏感的选择性扫描机制： 一种利用抑制损失和分离损失进行正则化的新颖策略，用于显式引导增量分支的动态参数生成，确保基础类与新类具有不同的处理模式。
• 达到最先进性能（SOTA）： 广泛的实验表明，Mamba-FSCIL 在 miniImageNet、CIFAR-100 和 CUB-200 上优于现有的静态和动态方法。

实验结果
论文报告了在三个基准数据集上的广泛评估：

• miniImageNet： 使用 ResNet-12 骨干网络，Mamba-FSCIL 实现了 69.74% 的平均准确率（AVG）和 59.29% 的最终阶段准确率，分别超过之前的 SOTA 方法（NC-FSCIL）1.92 和 0.98 个百分点。
• CIFAR-100： 使用 ResNet-12，该方法实现了 68.19% 的 AVG 和 57.52% 的最终准确率，显著提高了相对于 NC-FSCIL 和 FeSSSS 的表现。
• CUB-200： 在此细粒度数据集上，Mamba-FSCIL 实现了 68.11% 的 AVG 和 61.52% 的最终准确率。当使用 Transformer 骨干网络（如 Swin-T, ViT-B/16）时，该方法始终保持最高或极具竞争力的性能，显著降低了与基于扩展的方法（如 DSN）相比的性能下降（PD）。
• 消融研究： 实验证实，双分支设计和类敏感损失至关重要，完整模型优于使用静态投影器、单 SSM 分支或缺乏正则化的变体。通过激活图和 t-SNE 可视化的定性分析进一步验证了模型在保持稳定基础类表示的同时，动态适应新类别的能力。

意义
论文声称，Mamba-FSCIL 为参数共享和参数扩展范式提供了一种实用且可扩展的替代方案。通过利用输入依赖的动态计算，它在不增加持续扩展模型架构计算开销的情况下，解决了稳定性-塑性困境。这项工作证明，选择性状态空间模型可以通过为新数据生成独特的、类敏感的处理模式，同时保持既有知识的完整性，从而有效缓解少样本增量设置中的灾难性遗忘。