技术摘要：用于持续学习的稀疏正交参数调优（SoTU）

问题陈述

持续学习（CL）旨在使模型能够从一系列任务中学习，而不会遭受“灾难性遗忘”，即学习新任务会覆盖先前获得的知识。虽然已经开发了经典的 CL 策略（重放、正则化、动态扩展），但它们通常依赖于从头开始训练的模型。最近，基于预训练模型（PTM）的方法应运而生，利用了像 Vision Transformers (ViT) 这样在大型数据集（例如 ImageNet-21K）上训练的模型的强大泛化能力。然而，现有的基于 PTM 的 CL 方法通常面临以下挑战：

1. 复杂的结构设计：许多方法需要复杂的适配器模块、提示池（prompt pools）或集成策略，这在实际应用中难以实现。
2. 灾难性遗忘：尽管冻结了预训练权重，这些方法往往难以在多样化的下游任务中保持性能，特别是那些具有较大领域差距的任务（例如 ImageNet-R、ImageNet-A）。
3. 分类器依赖：许多方法依赖于复杂的分类器设计或内存密集型的示例存储来实现最佳性能。

作者研究了合并来自多个微调任务的参数是否能减轻遗忘，具体探讨了这些参数更新中稀疏性和正交性的作用。

方法论：SoTU（稀疏正交参数调优）

提出的 SoTU 方法是一种“即插即用”的方法，它将来自多个领域的知识转化为正交 delta 参数的融合。该方法分为三个不同的阶段：

1. 微调阶段

对于任务流 $\{D_1, ..., D_T\}$ 中的每个传入任务 $k$，该方法使用预训练的 ViT（$\theta_{pre}$）初始化特征提取器。随后，它微调模型以学习任务特定特征（$\theta_{ft}^k$）和分类头（$W^k$）。关键在于，分类头 $W^k$ 仅用于辅助学习特征表示，随后被丢弃；它不参与最终的合并过程。

2. Delta 掩码阶段

该方法计算 delta 参数（$\Delta \theta^k = \theta_{ft}^k - \theta_{pre}$），代表为任务 $k$ 学到的知识。为了诱导稀疏性和正交性，这些 delta 使用由伯努利分布生成的二进制掩码矩阵 $m$ 进行随机掩码：
$$\Delta \hat{\theta}^k = \Delta \theta^k \odot m$$
其中 $m \sim \text{Bernoulli}(p)$。作者经验性地将掩码概率 $p$ 设为 0.9（仅保留 10% 的参数）以确保高稀疏性。这一步至关重要：作者假设高稀疏性减少了任务之间的参数冲突，有效地使 delta 更新正交化。

3. Delta 合并阶段

SoTU 不是维护单独的模型或复杂的集成，而是将所有已见任务的稀疏 delta 合并为一个连贯的模型：
$$\theta^k = \theta_{pre} + \sum_{i=1}^{k} \Delta \hat{\theta}^i$$
这个合并后的模型作为所有任务的特征提取器。对于分类，该方法采用非线性随机投影机制（类似于 RanPAC），将混合特征转换为线性可分空间，随后使用最近类均值（NCM）分类器。值得注意的是，该方法无需针对 CL 过程设计复杂的分类器即可实现最佳特征表示。

主要贡献

该论文概述了四项主要贡献：

1. 高稀疏性合并的发现：作者发现，合并多个高稀疏性 delta 参数可以在下游任务上实现与单独微调模型相当或更优的性能，为对抗灾难性遗忘提供了一个有前景的方向。
2. 正交性洞察：他们证明了这种合并策略的有效性源于跨多个任务的参数的正交性。高稀疏性最小化了参数冲突（碰撞），允许任务特定知识共存。
3. SoTU 框架：提出了一种新颖的 CL 方法，无需复杂的分类器设计即可为流数据实现最佳特征表示，作为一种即插即用解决方案发挥作用。
4. 实证验证：在六个基准测试上的广泛实验表明，SoTU 优于现有的最先进（SoTA）方法，特别是在特征表示和具有较大领域差距的数据集上。

实验结果

作者在六个基准测试上评估了 SoTU：CIFAR100、ImageNet-R、ImageNet-A、CUB200、VTAB 和 Cars196。每个数据集被划分为 5 个或 10 个任务。该方法与 12 个基线进行了比较，包括重放方法（iCaRL、DER）、基于提示的方法（L2P、DualPrompt）、基于表示的方法（SimpleCIL、ADAM、RanPAC）以及模型混合方法（ESN、HiDe-Prompt）。

主要发现：

• 卓越的性能：SoTU 在所有数据集上实现了最高的平均准确率（$\bar{A}$）和最终准确率（$A_T$）。例如，在具有挑战性的 Cars196 数据集上，SoTU 将最终准确率比之前的 SoTA（RanPAC）提高了 +3.7%。
• 对领域差距的鲁棒性：该方法在具有较大 ImageNet 领域差距的数据集（ImageNet-R、ImageNet-A、Cars196）上表现出显著优势，而其他基于 PTM 的方法在这些数据集上表现挣扎。
• 特征空间的有效性：当纯粹在特征表示上进行评估（使用 NCM 而不使用任务特定分类器）时，SoTU 显著优于 RanPAC，证明了其学习鲁棒、不遗忘特征的能力。
• 稀疏性分析：改变掩码率的实验表明：
  • 高稀疏性（掩码 80–90%）保持了有竞争力的性能。
  • 低稀疏性导致严重的参数冲突和性能下降。
  • 过度稀疏（掩码 >90%）会移除必要的任务特定知识。
  • 最优的 delta 稀疏率似乎约为 $1/T$（其中 $T$ 是任务数量）。
• 注意力可视化：注意力图的可视化证实，合并高稀疏性 delta 保留了各个任务的注意力模式，而没有掩码的合并由于参数冲突会导致严重的扭曲。

意义与主张

该论文声称，SoTU 通过利用预训练参数的稀疏正交特性，为灾难性遗忘问题提供了一个简单而有效的解决方案。

• 简洁性：与需要复杂提示池或动态架构扩展的方法不同，SoTU 依赖于简单的掩码和合并机制。
• 即插即用：该方法不需要复杂的分类器设计，使其能够适应各种现实世界的流式场景。
• 理论基础：作者提供了理论分析，表明对 delta 参数的随机掩码保留了注意力图结构，使得模型即使在参数大幅减少的情况下也能在相应任务上表现良好。

作者得出结论，合并稀疏正交 delta 参数是持续学习的一种强大机制，将序列学习的挑战转化为管理参数正交性的问题。他们打算在将来的工作中将此方法扩展到其他领域，例如自然语言生成。