Semantic-Guided Dynamic Sparsification for Pre-Trained Model-based Class-Incremental Learning

该论文提出了一种语义引导的动态稀疏化（SGDS）方法，通过引导激活子空间的方向和秩来促进类间知识迁移并防止干扰，从而在无需对参数空间施加刚性约束的情况下，有效解决了基于预训练模型的类增量学习中的遗忘问题。

要点

这篇论文提出了一种名为 SGDS（语义引导的动态稀疏化）的新方法，旨在解决人工智能中一个非常头疼的问题：“如何教 AI 学习新知识，同时不忘记旧知识？”

为了让你轻松理解，我们可以把 AI 模型想象成一个正在不断扩建的图书馆，而“类增量学习”（CIL）就是在这个图书馆里不断增加新书（新类别）的过程。

1. 以前的做法：给书架上锁（参数约束）

在 SGDS 出现之前，大多数聪明的方法是这样做的：

• 场景：图书馆里已经有很多书（旧知识）。现在要进一批新书（新任务）。
• 传统做法：为了防止新书把旧书挤乱，管理员会给每个书架加上严格的锁和隔离带（这就是论文里说的“参数约束”或“正交性”）。
• 问题：虽然这样确实防止了新书和旧书混在一起（防止干扰），但书架变得太僵硬了！如果新书需要借用一点旧书的空间，或者需要灵活调整位置，这些“锁”就挡住了路。结果就是，图书馆虽然整齐，但变得死板，学新东西变慢了（这就是论文说的“损害了可塑性”）。

2. SGDS 的新思路：给读者指路（激活空间引导）

SGDS 认为：“别去管书架（参数）怎么锁，我们要管的是读者（数据激活）怎么走路！”

想象一下，图书馆的书架（AI 的底层参数）是固定的，但读者（输入的数据）在书架间走动时，可以有不同的路线。SGDS 的核心就是给读者画地图：

核心策略一：语义引导（看人下菜碟）

SGDS 会先看看新来的书是什么类型的：

• 如果是“亲戚”（比如“大白鲨”和“锤头鲨”）：它会让它们走同一条路，共用同一个阅读区。这样既省空间，又利用了已有的知识（知识迁移）。
• 如果是“陌生人”（比如“大白鲨”和“金毛犬”）：它会立刻给它们开辟一条全新的、互不干扰的专用通道，确保它们不会撞在一起（防止干扰）。

核心策略二：动态稀疏化（把路修窄）

这是 SGDS 最厉害的地方。它不只是分路，还会把路修得很窄、很紧凑（这就是“稀疏化”）。

• 比喻：想象一条宽阔的大马路，如果大家都随便走，很容易堵车（干扰）。SGDS 把路修成单行道，并且只允许特定的车（特定的神经元激活）通过。
• 好处：
  1. 省空间：因为路修窄了，原本被占用的空间就空出来了。
  2. 留后路：这些被“省下来”的空间，就像图书馆里的备用空地。当未来有完全陌生的新书（新任务）进来时，图书馆里还有足够的空地可以开辟新通道，而不会把旧书挤掉。

3. 为什么这个方法更好？

• 以前的方法（锁书架）：像是在玩“俄罗斯方块”，方块（参数）一旦放好就不能动，新方块很难塞进去，容易卡死。
• SGDS 的方法（指路）：像是在玩“交通指挥”。书架（参数）保持灵活，但通过指挥交通（引导激活），让不同的车流（不同类别的知识）在互不干扰的专用道上行驶。
  • 相似的车走同一条道（共享知识）。
  • 不同的车走不同的道（避免冲突）。
  • 每条道都修得很窄（稀疏化），留出更多空地给未来的车。

4. 实验结果：真的有用吗？

论文在多个著名的“考试”（数据集，如 CIFAR-100, ImageNet 等）上测试了 SGDS：

• 成绩：SGDS 在所有测试中都击败了目前最先进的方法（SOTA）。
• 亮点：特别是在那些很难的、图片风格变化很大的测试中，SGDS 表现最好。它证明了：与其把书架锁死，不如灵活地指挥读者走路，这样既能记住旧知识，又能轻松学新知识。

总结

SGDS 就像一位高明的图书管理员：
它不再死板地给书架上锁，而是通过智能地引导读者的路线，让相似的知识聚在一起，让不同的知识各走各的道，并且把每条路都修得紧凑高效。这样，图书馆（AI 模型）既不会忘记旧书，又有足够的空间随时欢迎新书，完美解决了“学新忘旧”的难题。

这种方法不仅效果好，而且因为不需要把旧样本存下来（Exemplar-free），还能更好地保护用户隐私，非常适合用在医疗、个人助理等敏感领域。

技术摘要

1. 研究背景与问题 (Problem)

类增量学习 (Class-Incremental Learning, CIL) 旨在让模型在连续学习新类别的同时，不遗忘旧类别的知识。随着预训练模型 (PTMs) 的普及，基于 PTM 的 CIL 方法（通常冻结主干网络，仅微调轻量级适配器/Adapters）已成为主流，因其高效且性能优异。

核心痛点：
现有的基于 PTM 的 CIL 方法通常采用参数约束 (Parameter-Constraining) 策略来防止任务间干扰。例如，强制不同任务的适配器参数保持正交（Orthogonality）。

• 局限性： 这种硬性约束虽然减少了干扰，但严重损害了模型的可塑性 (Plasticity)。由于适配器本身参数量很少（低秩），进一步限制其参数空间会阻碍模型学习新任务的能力，导致在稳定性（Stability）和可塑性之间难以取得平衡。
• 洞察： 任务间的干扰并非仅源于参数本身，而是源于参数与神经激活 (Activations) 的相互作用。因此，与其约束参数，不如直接引导激活空间。

2. 方法论 (Methodology)

作者提出了 SGDS (Semantic-Guided Dynamic Sparsification，语义引导动态稀疏化) 方法。该方法不约束参数，而是通过目标稀疏化主动引导激活空间的方向和秩，构建结构化的稀疏激活子空间。

SGDS 包含两个核心阶段，由语义分析驱动：

2.1 语义策略制定 (Semantic Strategy Formulation)

• 机制： 计算新类别与已知类别原型（Prototypes）之间的余弦相似度。
• 决策：
  • 知识复用 (Knowledge Reuse)： 如果新类别与旧类别高度相似，则引导其激活进入已有的子空间，促进知识迁移。
  • 新子空间分配 (New Subspace Allocation)： 如果新类别与旧类别差异较大，则引导其激活进入正交的、非重叠的子空间，防止干扰。

2.2 两个核心执行阶段

1. 语义探索 (Semantic Exploration) - 控制方向 (Orientation)：

   • 在训练的前半段，根据上述策略控制激活子空间的方向。
   • 对于相似类，鼓励共享激活单元；对于不相似类，强制将激活引导至之前任务激活空间的零空间 (Null Space) 中，确保互不干扰。
   • 通过历史计数器动态调整激活概率，实现这一导向。

2. 激活压缩 (Activation Compaction) - 控制秩 (Rank)：

   • 在训练的后半段，专注于最小化每个子空间的秩（即大小）。
   • 通过目标正则化，迫使每个类别的激活集中在少数核心神经元上，形成稀疏且紧凑的表示。
   • 原理： 降低激活子空间的秩可以扩大其对应的零空间维度。这个扩大的零空间充当了“避难所”，允许未来任务的激活在不干扰旧知识的情况下形成。

整体流程：
输入图像 $\rightarrow$ 冻结的 PTM 主干 $\rightarrow$ SGDS 模块（在适配器输入端进行动态稀疏化，引导激活） $\rightarrow$ 适配器 $\rightarrow$ 分类头。

3. 主要贡献 (Key Contributions)

1. 提出 SGDS 新范式： 提出了一种基于 PTM 的 CIL 新方法，通过引导激活形成正交、稀疏的子空间来替代传统的参数约束，有效缓解了任务间干扰。
2. 理论突破： 证明了引导激活空间比直接约束参数空间具有更优越的性能和知识保留能力。它在不牺牲模型可塑性的前提下实现了稳定性。
3. SOTA 性能： 在多个主流 CIL 基准测试中，SGDS consistently 超越了现有的最先进方法（SOTA）。

4. 实验结果 (Results)

• 数据集： 在 CIFAR-100, ImageNet-R, ImageNet-A, ObjectNet 四个具有挑战性的基准数据集上进行了评估（包括存在显著域偏移的数据集）。
• 设置： 严格的无示例 (Exemplar-free) 设置，即不存储任何旧任务的数据。
• 性能对比：
  • 在 ImageNet-R 上，SGDS 的平均准确率 (Average Accuracy) 达到 85.41%，比当前最强的参数约束方法 TUNA 高出 1.19%。
  • 在 ObjectNet 上，SGDS 的最终准确率比基于重放 (Rehearsal) 的强基线 FOSTER 高出 7.89%。
  • 在所有四个数据集的平均准确率 ($\bar{A}$) 和最终任务准确率 ($A_T$) 上均排名第一。
• 消融实验：
  • 单独使用“语义探索”或“激活压缩”均能提升性能，但两者结合效果最佳，证明了方向控制和秩压缩的协同作用。
  • 对比实验显示，在激活空间进行引导（特别是网络深层）比在参数空间施加正交约束更有效。
• 可视化分析： t-SNE 可视化显示，SGDS 将激活空间组织成清晰、紧凑的簇，相似类别聚集，不同类别分离，而基线模型的激活则是混杂的。

5. 意义与影响 (Significance)

• 解决稳定性 - 可塑性困境： SGDS 成功打破了传统方法中“防止遗忘”与“学习新任务”之间的零和博弈。通过动态管理激活空间，模型既保留了旧知识（通过正交子空间），又保留了学习新知识的灵活性（参数未受硬性约束）。
• 隐私保护与资源效率： 由于采用无示例设置且基于轻量级适配器，SGDS 非常适合在资源受限的边缘设备（Edge Devices）和隐私敏感领域（如医疗）部署，因为它不需要存储原始数据。
• 范式转移： 该工作将 CIL 的研究重心从“如何约束参数”转移到了“如何引导激活”，为未来的增量学习算法设计提供了新的思路。

总结：
SGDS 是一种创新的类增量学习方法，它通过语义引导的动态稀疏化，在激活空间而非参数空间中构建隔离的任务子空间。这种方法不仅显著提升了模型在连续学习中的准确率，还更好地平衡了模型的稳定性与可塑性，是目前基于预训练模型的 CIL 领域的突破性进展。