技术摘要：面向大语言模型的归因引导式持续学习

问题陈述

在静态、广域数据上训练的大语言模型（LLM），在通过持续学习适应新任务时，往往遭受灾难性遗忘。尽管现有的缓解策略——如数据回放、参数正则化和冻结特定层——已显示出一定成效，但它们缺乏对知识和任务特定行为如何在 LLM 内部参数中分布的机制性理解。因此，这些方法无法有效区分哪些参数应被保留以维持先验知识，哪些参数应保持可塑性以适应新任务。这一局限常导致干扰，即新任务的更新会无意中修改对先前任务至关重要的参数。

方法论

作者提出了一种归因引导式持续微调框架，该框架利用参数重要性估计来调节梯度更新。核心方法论包含两个主要阶段：

1. 元素级参数重要性估计

该框架调整了层相关传播（LRP），将预测的下一个 token 的对数几率归因于每个 Transformer 层内的单个模型参数。

• 适配 Transformer：标准 LRP 将相关性归因于输入特征。作者将其扩展，以量化前馈网络（FFN）和多头注意力（MHA）模块中模型参数（权重和偏置）的贡献。
• 双线性归因：为了处理 Transformer 中固有的矩阵乘法（如 $QK^T$ 和 $WV$），该方法采用了受 AttnLRP 启发的双线性归因原则。这将矩阵乘法视为双线性操作，在输入激活和权重矩阵之间分配相关性分数，同时满足守恒属性。
• 推导：
  • FFN：相关性通过两个线性层和激活函数进行传播，推导出权重 $W_1, W_2$ 和偏置 $b_1, b_2$ 的分数。
  • MHA：相关性通过注意力机制进行传播，推导出查询、键、值和输出投影权重（$W_Q, W_K, W_V, W_O$）的分数。
  • LoRA 支持：该方法也针对 LoRA 适配模型进行了构建，同时计算冻结主干和可训练 LoRA 矩阵（$A, B$）的相关性。

2. 归因引导式微调

估计的重要性分数用于构建任务特定先验，以指导新任务的优化过程。

• 先验构建：对于新任务 $T_t$，该方法首先通过聚合正确生成样本的归一化相关性分数，估计任务特定重要性图 $R(W^{(l,t)})$。
• 历史聚合：在学习任务 $T_t$ 期间，框架通过取所有先前任务（$T_1, \dots, T_{t-1}$）重要性分数的元素级最大值来聚合重要性：
  $$\bar{R}(W^{(l,t)}) = \left[ \max_{\tau < t} R(W^{(l,\tau)}) \right]_+$$
• 梯度调节：聚合的重要性图充当梯度门控。标准梯度 $\nabla W$ 按如下方式调节：
  $$\tilde{\nabla} W^{(l,t)} = \left( 1 - \bar{R}(W^{(l,t)}) \right) \odot \nabla W^{(l,t)}$$
  • 具有高历史相关性（对过去任务重要）的参数接收接近 0 的门控值，导致更新幅度较小。
  • 具有低历史相关性的参数接收接近 1 的门控值，允许它们自由更新以学习新任务。

主要贡献

1. 机制性洞察：本文提供了机制性分析，表明在顺序持续学习中，不同任务被视为“重要”的参数集在最终模型中变得高度重叠，而在独立的单任务微调中它们保持 distinct。这种重叠解释了导致灾难性遗忘的干扰。
2. 归因框架：它引入了 LRP 的新颖应用，直接将相关性归因于LLM 参数而不仅仅是输入，并推导出了 Transformer 组件（FFN 和 MHA）的具体传播规则。
3. 梯度调节策略：所提出的方法提供了一种动态的、元素级的持续学习方法，根据学习到的参数重要性选择性地约束更新，无需数据回放或僵化的参数冻结。

实验结果

该框架在持续学习基准上进行了评估，使用了大语言模型（具体为 Llama-3.2-Instruct-3B），并在全监督微调和基于 LoRA 的适配设置下进行了测试。

• 性能：该方法 consistently 优于现有的持续学习基线（包括正则化、回放和冻结方法）。
• 保留性与可塑性：它在保持对新任务具有竞争力的性能的同时，实现了对先前学习任务性能的卓越保留。
• 观察：实验证实，所提出的方法通过保留对先验知识至关重要的特定参数子集，有效地减少了任务间的干扰。

意义与主张

本文主张，通过超越启发式策略（如随机回放或层冻结），转而利用基于归因的重要性估计，可以使 LLM 的持续学习更加高效和有效。其意义在于：

• 语义感知：该方法明确考虑了模型内部知识的分布，区分应被保留的参数和可被适配的参数。
• 通用性：该框架既适用于全参数微调，也适用于参数高效微调（LoRA）场景。
• 理论根基：它弥合了可解释性（归因方法）与优化（持续学习）之间的差距，提供了一种基于模型自身学习表示来缓解灾难性遗忘的原则性方法。