技术摘要：只取所需：秩最小化作为持续学习中的隐式遗忘正则化器

问题定义

持续学习（CL）面临着可塑性（获取新知识的能力）与稳定性（保留先前知识的能力）之间的根本性张力。在预训练模型（PTM）的背景下，现有方法通常分为两类：

1. 模型互补：冻结预训练模型并添加外部模块（例如适配器、提示词）或维持正交子空间。虽然这些方法具有稳定性，但它们并未真正提升主干网络的能力，且通常依赖于特定任务的路由机制或推理时的选择器。
2. 参考约束学习：直接更新预训练模型的权重，但利用存储的数据（回放缓冲区）或记忆来约束更新。这会导致高昂的训练成本，需要存储过往数据，且往往仍遭受灾难性遗忘。

本文解决的核心挑战是：如何在无需依赖过往数据、任务标识符或外部模块的情况下，持续更新预训练主干以吸收新知识，同时保留现有能力？

方法论：CoDyRA

作者提出了持续动态秩选择 LoRA（CoDyRA），这是一种容量控制方法，将每个参数更新的有效秩视为平衡可塑性与稳定性的主要设计旋钮。

核心洞察

1. 秩作为控制旋钮：通过对 CLIP 的实证分析，作者证明 LoRA 的秩直接支配着可塑性 - 稳定性权衡。较高的秩有助于学习新任务（可塑性），但会增加遗忘；较低的秩能减轻遗忘（稳定性），但限制了适应性。存在一个随模块和任务变化的中等秩“最佳点”。
2. 理论边界：本文推导了一个遗忘边界，表明在参考分布上的遗忘 $F(\theta_t)$ 受涉及更新 $\Delta W$ 的 Frobenius 范数的项所上界限制。关键在于，$\|\Delta W\|_F \leq \sqrt{\rho} \|B\|_2 \|A\|_2$，其中 $\rho$ 是有效秩。这确立了降低有效秩 $\rho$ 可以收紧遗忘边界，从而有效地正则化遗忘，而无需依赖特定的参考数据分布。

算法设计

CoDyRA 将秩最小化直接整合到 LoRA 训练过程中：

• 架构：LoRA 适配器被插入到视觉和文本编码器的所有注意力模块和 MLP 模块中。
• 动态秩选择：更新不再采用固定秩 $r$，而是被表述为秩一分量的加权和：
  $$\Delta W = \sum_{i=1}^r w_i B_{:,i} A_{i,:}$$
  其中 $w_i$ 是可学习的重要性权重。
• 正则化目标：训练目标将当前任务的监督损失（$L_{sup}$）与重要性权重上的 $\ell_1$ 正则化项相结合：
  $$L_{train} = L_{sup} + \lambda \sum_{m} \|w_m\|_1$$
  该 $\ell_1$ 惩罚项促进了重要性权重 $w$ 的稀疏性。当 $w_i$ 趋近于零时，对应的秩一分量被有效剪枝，从而降低有效秩 $\rho$。
• 优化：不可微的 $\ell_1$ 范数通过带有软阈值处理的近端梯度法进行处理。阈值 $\kappa$ 被调度为从零增加到 $\kappa_{max}$，允许初始阶段进行密集更新，随后再强制稀疏性。

关键机制

通过最小化活跃秩，CoDyRA 充当隐式遗忘正则化器。它迫使模型仅保留当前任务所需的最小容量，从而将参数偏移限制在一个小子空间内，防止干扰预训练模型中编码的通用能力及先前任务的知识。

主要贡献

1. 通过秩进行容量控制：本文确定了参数更新的有效秩是平衡可塑性与稳定性的直接、可控杠杆，区别于模型层面的容量（参数量）。
2. 理论联系：它提供了一个形式化边界，将有效秩与遗忘联系起来，证明了秩最小化约束了更新的幅度和维度范围，从而在无需访问过往数据的情况下保护先验知识。
3. CoDyRA 框架：提出了一种将 LoRA 更新与秩最小化联合训练的方法，在不使用回放缓冲区、任务 ID 或外部模块的情况下，实现了学习新任务与保留预训练能力之间的强平衡。
4. 实证验证：在 CLIP（MTIL、X-TAIL）和大型语言模型（TRACE）上的广泛实验表明，CoDyRA 在准确率和遗忘指标方面均优于或与最先进方法竞争。

实验结果

该方法在以下数据集上进行了评估：

• CLIP：多领域任务增量学习（MTIL）和跨领域任务无关增量学习（X-TAIL）。
• 大型语言模型：使用 LLaMA 和 Gemma 模型的 TRACE 基准测试。

主要发现：

• 卓越的可塑性 - 稳定性平衡：CoDyRA 在大多数设置中实现了最高的“迁移”准确率（在未见任务上保留预训练零样本能力的能力）和“最后”准确率（流式学习后在所有任务上的表现）。例如，在 MTIL 上，CoDyRA 超过了零样本参考基线（70.1 vs. 69.4），而其他方法要么低于该基线，要么被其限制。
• 最小遗忘：CoDyRA 实现了最低的后向迁移（BWT）分数（例如，CLIP 上为 1.87%，而固定秩 LoRA 为 >5%，正交方法为 >8%），表明灾难性遗忘显著减少。
• 效率：与模型互补方法不同，CoDyRA 将更新合并到主干网络中，不产生推理开销，且无需存储过往数据或任务标识符。此外，它使用的可训练参数也比许多基线方法更少。
• 建设性偏移：对累积参数偏移的分析显示，CoDyRA 的更新随时间呈亚线性增长，而固定秩 LoRA 则呈近线性增长。此外，累积的偏移被发现具有建设性，略微提高了在保留数据集上的零样本性能，而非使其退化。

意义与主张

本文主张，秩最小化是持续学习范式中的通用遗忘正则化器。通过控制更新的有效秩，CoDyRA 在单一、基于更新的准则下，同时保护了通用的预训练能力和先验任务知识。

作者强调，这种方法消除了对以下内容的依赖：

• 回放缓冲区或存储的参考数据。
• 推理时的任务识别或路由机制。
• 增加推理成本的外部辅助模块。

这项工作表明，“只取所需”（最小秩）是一种持续更新预训练模型的原则性方法，为稳定性 - 可塑性困境提供了一种稳健的解决方案，该方法既有理论依据，又在视觉和语言模型中表现出实证有效性。