🤖 machine learning

Low-Rank Adapters Initialization via Gradient Surgery for Continual Learning

本文提出了一种名为 SLICE 的新型初始化方法，用于持续学习中的低秩适配器（LoRA），该方法利用梯度手术和截断奇异值分解来调和冲突的任务梯度，从而与现有方法相比显著减轻灾难性遗忘并改善稳定性与可塑性之间的权衡。

原作者： Joana Pasquali, Ramiro N. Barros, Arthur S. Bianchessi, Vinícius Conte Turani, João Vitor Boer Abitante, Rafaela Cappelari Ravazio, Christian Mattjie, Otávio Parraga, Lucas S. Kupssinskü, Rodrigo C. B

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Joana Pasquali, Ramiro N. Barros, Arthur S. Bianchessi, Vinícius Conte Turani, João Vitor Boer Abitante, Rafaela Cappelari Ravazio, Christian Mattjie, Otávio Parraga, Lucas S. Kupssinskü, Rodrigo C. Barros

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《基于梯度手术的持续学习低秩适配器初始化》的解释。

核心难题：“健忘的学生”

想象你有一位天才学生（大型语言模型），他已经掌握了历史、数学和烹饪等大量知识。现在，你想教他一门新学科：量子物理。

在人工智能领域，当你教这位学生一项新技能时，他们往往会患上“灾难性遗忘”。这就像新信息覆盖了他大脑中的旧笔记。一旦他学会了量子物理，就会忘记如何烹饪或进行基础数学运算。他们在新事物上变得很出色，但在过去掌握的一切上却变得一塌糊涂。

现有工具：LoRA（“便利贴”法）

为了在不重写学生整个大脑（这既昂贵又缓慢）的情况下解决这个问题，研究人员使用了一种称为LoRA（低秩自适应）的技术。

把 LoRA 想象成给学生一叠便利贴。

学生不是重写教科书，而是将新规则写在便利贴上，然后贴在旧书页上。
这种方法廉价、快速且具有模块化特点。
问题在于：当你开始学习新学科时，你只是随手抓一张全新的空白便利贴。你并没有先查看旧的便利贴。因此，新笔记可能会意外地覆盖住关键的数学公式，导致学生在学习物理时忘记了数学。

论文提出的方案："Slice"（“梯度外科医生”）

作者提出了一种名为Slice的新方法。Slice 不像只是抓一张空白便利贴，它更像是一位外科医生，在将便利贴贴上之前，会仔细准备这张纸。

以下是“手术”的逐步过程：

1. “复习”（查看旧笔记）

在学生开始学习新任务之前，Slice 会快速瞥一眼旧任务（历史、数学、烹饪）。它会问：“学生的大脑在学习这些内容时，是朝哪些方向移动的？”

2. “冲突检查”（梯度手术）

Slice 将新任务所需的“移动方向”与旧任务进行比较。

冲突：有时，为了学习新事物，大脑想要向“左”移动。但为了保持旧知识，它需要保持在“右”侧。如果你强行让大脑向左移动，就会破坏旧知识。
手术：Slice 使用一种数学工具（称为投影算子），切除了新指令中会损害旧知识的部分。它找到了一条“安全路径”，让学生在推进新任务的同时，不会踩到旧笔记。

3. “完美的便利贴”（初始化）

一旦冲突解决，Slice 就不会随机使用一张便利贴。它会根据那条安全路径，创建一张定制的便利贴。

旧方法：在空白纸上随意涂鸦。
Slice 方法：一张预先写好的笔记，上面写着：“这是如何在不忘记数学的情况下学习物理的方法。”

“对抗性”测试：终极压力测试

为了证明其方法有效，研究人员不仅将其用于简单的任务，还创建了一种特殊且残酷的测试，称为NI-Seq-Opposite。

想象一种测试，其中的新课程是专门设计用来迷惑学生的。

任务 1：学习写诗。
任务 2：学习写数学证明（这需要可能与诗歌韵律相矛盾的逻辑）。
任务 3：学习写法律合同（这与前两者都相矛盾）。

他们通过寻找彼此完全相反的任务来构建这些序列。这就像试图教某人开赛车，然后立即教他们开拖拉机，而两者的操控方式完全相反。

结果：稳定性与可塑性

该论文衡量了两个指标：

可塑性：学生掌握新事物的能力。
稳定性：学生记住旧事物的能力。

Slice 取得的成就：

普通 LoRA（旧方法）：学生很好地学会了新任务，但几乎忘记了其他所有内容。在“相反”测试中，他们忘记了高达 20% 的先前知识。
Slice：学生同样很好地学会了新任务，但几乎记住了其他所有内容。
- 在最难的测试中，与标准方法相比，Slice 将旧知识的保留率提高了20 分以上。
- 它并没有严重损害学生的通用智能（如聊天或推理能力）。

“魔法旋钮”（Alpha）

论文还提到了一个名为Alpha的设置。你可以把它想象成一个音量旋钮。

如果你向一个方向旋转，学生会变得稍微健忘一点，但能保持更敏锐的通用“常识”。
如果你向另一个方向旋转，他们会更紧地抓住旧技能，但可能会失去一点点通用的灵活性。
作者表明，你可以通过调整这个旋钮，根据你的需求获得完美的平衡。

总结

Slice 是一种更聪明的方法，用于开始教 AI 一项新技能。它不是盲目地添加可能会覆盖旧知识的新信息，而是先对指令进行快速的“手术”。它找到了一条路径，让 AI 在学习新任务的同时保护旧任务，确保 AI 在成长过程中不会遭受记忆丧失。

技术摘要：Slice——基于梯度裁剪的低秩适配器初始化方法用于持续学习

1. 问题表述

本文探讨了在大型语言模型（LLM）使用低秩自适应（LoRA）进行持续学习（CL）时面临的灾难性遗忘挑战。尽管 LoRA 在微调方面具有高效性，但标准的初始化方案（例如矩阵 $A$ 采用随机高斯分布，矩阵 $B$ 采用零初始化）对于任务间的冲突结构是“盲目”的。

在持续学习场景中，当新任务的梯度（ $G_{cur}$ ）与先前已学习任务的梯度（ $G_{prev}$ ）发生冲突（即弗罗贝尼乌斯内积为负）时，旨在提升当前任务的标准优化步骤不可避免地会损害先前任务的性能。现有的初始化方法，如LoRA-GA（利用当前任务的梯度）或谱方法（如PiSSA或MiLoRA），未能考虑到在初始化阶段对先前知识的保留。因此，适配器被初始化在一个可能立即覆盖先前学习方向的子空间中。

2. 方法论：Slice

作者提出了Slice（基于梯度裁剪的持续学习低秩初始化），这是一种在初始化 LoRA 适配器时使其与当前任务对齐，同时最小化对先前任务破坏性干扰的方法。该方法在任何训练开始前分为四个阶段运行：

梯度估计：模型通过对小批量数据累积梯度，计算当前任务（ $G_{cur}$ ）和先前任务样本（ $G_{prev}$ ）的梯度矩阵。这仅需一次轻量级的前向 - 反向传播。
梯度协调（裁剪）：投影算子 $\psi$ 协调 $G_{cur}$ 和 $G_{prev}$ ，以生成无冲突方向 $\tilde{G}_{cur}$ 。作者采用了PCGrad（Yu et al., 2020）的推广形式：
$\psi(G_{cur}, G_{prev}, c) = G_{cur} - c \cdot \min(\langle G_{cur}, G_{prev} \rangle_F, 0) \frac{G_{prev}}{\|G_{prev}\|_F^2}$
其中， $c \in [0, 1]$ 为超参数。如果梯度发生冲突（内积为负），则移除 $G_{cur}$ 中与 $G_{prev}$ 平行的分量；否则， $G_{cur}$ 保持不变。
低秩分解：协调后的梯度 $\tilde{G}_{cur}$ $\tilde{G}_{c u r}$ 经过截断奇异值分解（SVD）。适配器矩阵初始化如下：
- $B = U_{:, :r}$ （前 $r$ 个左奇异向量）。
- $A = (V_{:, r:2r})^\top$ （从秩 $r+1$ 到 $2r$ 的右奇异向量）。
- 注：作者采用了 LoRA-GA 中使用的特定分解方式（使用第 $r+1$ 到 $2r$ 个右奇异向量作为 $A$ ），并指出尽管这在理论上并非显而易见，但先前的工作已通过实证验证其能产生有效的初始化。
幅度重缩放：为了控制与更新幅度相关的混淆因素（如 Zhang et al., 2026 所指出的），将初始化的权重重缩放以匹配预训练权重的方差，确保性能提升源于子空间选择而非隐式的幅度放大。

3. 主要贡献

Slice 初始化：一种新颖的初始化策略，将梯度裁剪整合到 LoRA 设置阶段，在训练开始前显式地协调当前任务与过去任务的梯度。
NI-Seq-Opposite 基准：作者引入了NI-Seq-Opposite，这是一组从 Super-NI 池中挖掘出的三个对抗性 5 任务序列。这些序列通过穷举组合搜索构建，旨在最小化平均成对梯度余弦相似度，从而创建一个“困难”的持续学习场景，其中连续任务具有最大程度的对立梯度。
严格的评估协议：本文在TRACE基准以及标准/对抗性 Super-NI 序列上，将 Slice 与Vanilla LoRA、LoRAM和LoRA-GA进行了评估。关键在于，所有比较均采用了方差匹配的幅度重缩放，以将子空间选择的效果与幅度伪影隔离开来。

4. 实验结果

在 Llama-3.2-3B-Instruct 模型上使用 LoRA 秩 $r=64$ （并在 $r=128$ 时验证）进行评估，结果表明：

稳定性 - 可塑性权衡：Slice 始终实现了优于基线的权衡。在对抗性NI-Seq-Opposite序列上，Slice（ $c=1.0$ ）相比 Vanilla LoRA 将最终性能（FP）提高了高达+22.55 分（在 G2 上）和**+16.97 分**（在 Opp1 上），同时将遗忘（Fgt）降低了高达20.75 分。
与 LoRA-GA 的比较：虽然 LoRA-GA 已经优于 Vanilla LoRA，但 Slice 进一步增强了这些收益，特别是在减少高任务间干扰序列上的遗忘方面。
泛化性（GP/IP）：相对于 Vanilla LoRA，Slice 仅导致**通用性能（GP）和上下文性能（IP）**出现微小的下降。作者指出，这种权衡是不对称的：在通用能力上的微小代价换来了任务保留方面的巨大收益。
超参数敏感性：参数 $\alpha$ （缩放因子）可以调整，以在不显著影响任务保留指标的情况下恢复部分 GP/IP 损失，从而作为通用性与保留性之间平衡的控制旋钮。

5. 意义与主张

本文主张，初始化是持续学习中一个具有重大影响但未被充分利用的干预点。通过在训练前执行一次轻量级的梯度裁剪步骤，Slice 将适配器子空间引导至远离会覆盖早期任务知识的方向。

作者强调，Slice 是可组合的：它并不替代训练时的策略（如正交约束或回放缓冲区），而是作为初始化阶段的即插即用替代方案，可与任何下游持续学习算法结合使用。NI-Seq-Opposite的引入为评估任务间干扰的鲁棒性提供了受控的压力测试，弥补了标准基准的不足，因为在标准基准中，任务序列的构建往往未显式考虑梯度冲突。

该研究得出结论，尽管该方法在设置阶段（梯度累积和 SVD）会产生不可忽视的计算开销，但由此带来的稳定性提升使得顺序适应更加资源高效，因为它减少了对完全重新训练或复杂回放机制以缓解遗忘的需求。