💬 NLP

FGGM: Fisher-Guided Gradient Masking for Continual Learning

该论文提出了 Fisher 指导梯度掩码（FGGM），这是一种利用对角 Fisher 信息动态掩码参数更新的数据无关型持续学习框架，在有效缓解大语言模型灾难性遗忘的同时，在 TRACE 基准测试上表现优于现有的 MIGU 和监督微调方法。

原作者： Chao-Hong Tan, Qian Chen, Wen Wang, Yukun Ma, Chong Zhang, Chong Deng, Qinglin Zhang, Xiangang Li, Jieping Ye

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Chao-Hong Tan, Qian Chen, Wen Wang, Yukun Ma, Chong Zhang, Chong Deng, Qinglin Zhang, Xiangang Li, Jieping Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位才华横溢的学生（一个大型语言模型）每天学习一项新技能。周一，他学会了写诗；周二，你教他编程。到了周三，当你要求他写一首诗时，他竟然完全忘记了如何做这件事。这被称为**“灾难性遗忘”（Catastrophic Forgetting）**。新信息覆盖了旧信息，就像把新鲜的油漆泼在杰作之上，毁掉了原本的画作。

这篇论文介绍了一种名为 FGGM（Fisher 指导的梯度掩码）的新方法来解决这个问题。以下是它的工作原理，使用简单的类比进行说明：

问题所在：“覆盖”困境

目前的修复方法都存在缺陷：

重放（Replay）： 你保留了一本记录学生过去所学一切的照片集，在教授新事物时向他展示这些照片。问题在于： 这就像是在囤积数据；存储成本很高，而且有时由于隐私规则，你无法保留那些照片。
冻结（Freezing）： 你把学生的“诗歌大脑”放在一个玻璃柜里使其无法改变，只允许他在大脑的新部分学习编程。问题在于： 这限制了他们适应复杂新任务的能力。
MIGU（之前的最佳方法）： 这种方法观察一个神经元说话时有多“响亮”。如果一个神经元很响亮，它就有权改变。问题在于： 这有点像是在靠直觉猜测。它依赖于音量，而不是理解神经元为何重要。

解决方案：FGGM（“智能地图”法）

FGGM 就像是在学生学习任何新事物之前，为他的大脑提供一张动态的、智能的地图。

“Fisher”指南针：
FGGM 不仅仅是听取一个神经元的音量大小，它使用了一个称为 Fisher 信息（Fisher Information） 的数学工具。你可以把它看作是一个灵敏度检测器。它会询问：“如果我微调你大脑的这个特定部分，会对你执行旧任务的能力造成多大的伤害？”
- 如果答案是“很大”，那么这个部分就是关键的（Critical）。
- 如果答案是“没多少”，那么这个部分就是灵活的（Flexible）。
“二进制掩码”（交通灯）：
基于这张灵敏度地图，FGGM 创建了一个二进制掩码。想象一下学生大脑中的交通灯系统：
- 红灯 (0)： “不要碰这里。” 这些是完成旧技能（如诗歌）所需的关键参数。它们被冻结了。
- 绿灯 (1)： “尽管去学习。” 这些是可以为新技能（如编程）进行更新的灵活参数。
无需旧数据：
与“照片集”方法不同，FGGM 不需要查看旧数据就能知道该保护什么。它仅通过当前观察到的新数据来计算地图。它通过识别对新任务重要的部分，从而确定哪些部分必须被保留，以维持旧技能的生命力。

为什么它更好（“输入维度”技巧）

研究人员还发现了一种巧妙的方法来对这些大脑部件进行分组。想象一下，学生的脑子是一个工厂，里面有很多流水线。

旧方法： 逐一观察流水线上的每一个螺丝钉。这既嘈杂又令人困惑。
FGGM 方法： 观察整台机器的输出。如果一台机器生产某种特定类型的零件，FGGM 会将制造该零件的所有螺丝视为一个团队。
- 如果该零件很重要，整个团队都会受到保护（红灯）。
- 如果该零件并不关键，整个团队就可以进行重新配置（绿灯）。
- 论文称之为输入维度聚合（Input-Dimension Aggregation）。它保持了大脑单元的“功能完整性”，防止学生仅仅因为调整了一个螺丝就意外损坏了整个工具。

结果：学得更多，忘得更少

研究人员在标准挑战集（称为 TRACE）和代码生成任务上测试了该方法。

稳定性： 与标准训练和之前的最佳方法（MIGU）相比，FGGM 在保持旧技能（通用能力）完好方面表现得更好。它将保留率提高了约 9.6%（对比标准训练）和 4.4%（对比之前的最佳方法）。
塑性： 学生不仅抓住了旧知识，甚至能更好地学习新知识。
效率： 它不需要存储大量旧数据的庞大内存，这使得它在实际应用中非常实用。

总结

FGGM 是一个基于数学的智能“交通警察”，用于管理 AI 的大脑。它不需要通过旧书库来教授新课。相反，它能立即识别出哪些大脑部分过于珍贵而不可触碰，哪些部分可以自由学习，确保 AI 在不断成长的同时，不会丢失过去。

技术摘要：用于持续学习的 Fisher 指导梯度掩码 (FGGM)

1. 问题陈述

本文旨在解决大语言模型（LLMs）在持续学习（CL）过程中的灾难性遗忘问题。当 LLMs 被适配到一系列新任务时，它们往往会剧烈地覆盖对先前任务至关重要的参数，从而导致原有知识的丢失。

现有的缓解策略面临显著局限性：

**基于重放的方法（Replay-based methods）**需要存储或生成历史数据，这引发了隐私和可扩展性方面的担忧。
参数冻结方法（Parameter-freezing methods）（如 LoRA、Prompt Tuning）通常会冻结基础参数，这可能限制下游任务的性能表现。
基于正则化的方法（Regularization-based methods）（如 EWC）依赖于历史数据，而其他方法（如正交梯度下降 OGD）在对 LLMs 进行全参数微调时会带来极高的内存成本。
MIGU 是一种近期的无重放方法，它根据经验输出幅度来选择参数，但缺乏用于估计参数重要性的理论基础。

2. 方法论：FGGM 框架

作者提出了 Fisher 指导梯度掩码（FGGM），这是一个通过使用**对角 Fisher 信息（diagonal Fisher Information）**战略性地选择更新参数来缓解灾难性遗忘的框架，且无需访问历史数据。该框架分为两个阶段运行：

A. Fisher 指导的掩码初始化
对于新任务 $T_t$ ，FGGM 使用新任务的数据来估计 Fisher 信息矩阵（FIM）的对角元素。对角 FIM 条目 $\hat{F}^{(t)}_i$ 通过测量对数似然的平方梯度来量化参数 $\theta_i$ 的重要性：
$\hat{F}^{(t)}_i = \frac{1}{M_t} \sum_{j=1}^{M_t} \left( \frac{\partial \log p(y_j|x_j, \theta)}{\partial \theta_i} \right)^2$
为了处理跨层参数重要性的非平稳分布，FGGM 采用了自适应阈值处理。生成一个二进制掩码 $M^{(t)}$ ，如果某个参数的 Fisher 分数超过经验 Fisher 值的 $(1-\alpha)$ -分位数，则保留该参数（值为 1），否则将其掩码化（值为 0）。

B. 通过输入维度聚合（IA）进行的掩码归一化
一项关键创新是根据神经网络架构对掩码进行归一化。对于具有权重矩阵 $W \in \mathbb{R}^{D_{out} \times D_{in}}$ 的全连接层，Fisher 分数在每个输出神经元的输入维度上进行聚合：
$\hat{F}^{(t)}_r = \sum_{c=1}^{D_{in}} \hat{F}^{(t)}_{r,c}$
该策略将输出神经元视为原子计算单元，从而保持其功能完整性。论文认为，聚合输入维度（IA）优于聚合输出维度（OA），因为 IA 可以防止特征特定敏感性信号的弥散并维持清晰的任务边界，而 OA 则可能模糊任务界限并增加遗忘。

C. 梯度投影
在反向传播期间，原始梯度 $g^{(t)}$ 与二进制掩码 $M^{(t)}$ 进行逐元素相乘：
$\tilde{g}^{(t)} = g^{(t)} \odot M^{(t)}$
这使得更新仅限于由 Fisher 信息识别出的关键参数，从而有效地冻结了参数空间中的非关键区域。

3. 核心贡献

新颖框架： 引入了 FGGM，这是一种用于 LLM 持续学习的无重放方法，它依赖于具有理论依据的 Fisher 信息，而非经验性的幅度观察。
理论重要性估计： 一种通过 Fisher 信息直接测量参数与任务相关性的机制，实现了动态梯度门控，以平衡塑性（获取新能力）与稳定性（保留既有知识）。
架构归一化： 提出了输入维度聚合（IA），使掩码生成与前馈层的函数结构保持一致，确保了鲁棒的参数选择。
实证验证： 证明了 FGGM 在标准基准测试中优于包括 MIGU 在内的最先进基准方法，且未损害模型的适应能力。

4. 实验结果

实验在 TRACE 基准测试（涵盖通用能力和多样化的下游任务）以及代码生成任务（HumanEval/BBH）上进行，使用的是 Qwen2 模型（1.5B 和 7B 规模）。

通用能力（稳定性）： 在综合通用指标（MMLU、BBH、TyDiQA 等）上，FGGM 达到了 55.75，优于 MIGU (55.21)，并显著超过了 SFT (50.89) 和 LoRA (49.48)。值得注意的是，尽管没有访问历史数据，FGGM 在通用指标上仍优于基于重放的方法（REP、EWC），凸显了该方法的隐私和可扩展性优势。
TRACE 整体性能（塑性）： FGGM 在 TRACE-OP 上达到了 46.00，在学习新任务的同时，比 MIGU (44.08) 相对提升了 4.4%，比 SFT (49.22) 相对提升了 9.6%，展现了保留通用能力的能力。
代码生成： 在 HumanEval 基准测试的实验中，FGGM 在所有评估指标上始终比 SFT 和 MIGU 获得更高的准确率，同时在 BBH 基准测试中表现出更低的遗忘率。
扩展性： 随着模型规模从 1.5B 增加到 7B，FGGM 与 MIGU 之间的性能差距扩大，表明了 FGGM 卓越的可扩展性。
消融研究：
- 维度聚合： 去除输入维度聚合（w/o IA）使通用性能从 55.75 降至 54.85。应用输出维度聚合（OA）则导致了更严重的下降（53.16），证实了 IA 对于保持任务特定敏感性的必要性。
- 掩码率 ( $\alpha$ )： 观察到了权衡现象：较小的 $\alpha$ （更多的更新）增加了塑性（TRACE-OP）但降低了稳定性（General）。作者为了与 MIGU 进行公平比较，将 $\alpha$ 设置为 0.7。

5. 意义与主张

本文声称，FGGM 通过提供一种基于数学原理的参数重要性估计方法，为 LLM 的持续学习建立了一个有效的解决方案。与 MIGU 等基于幅度的方法不同，FGGM 利用 Fisher 信息来量化参数对任务损失的贡献。

作者强调，FGGM 在无需历史数据的情况下实现了稳定性与塑性的动态平衡，解决了基于重放方法的隐私和可扩展性瓶颈。结果表明，有原则的梯度掩码策略是维持 LLM 性能随时间演进的通用且有效的工具，特别是在无法获取或受到限制使用历史数据的场景下。论文总结道，在不访问先前任务数据的方法中，FGGM 代表了稳定性方面的最先进水平。