🤖 machine learning

Continual Fine-Tuning of Large Language Models via Program Memory

本文介绍了 ProCL，这是一种持续微调框架，通过将低秩适应（LoRA）适配器组织为结构化的、可动态检索的程序内存槽来增强大语言模型，从而在快速适应与知识保留之间实现有效平衡，进而无需增加推理成本即可缓解灾难性遗忘。

原作者： Hung Le, Svetha Venkatesh

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Hung Le, Svetha Venkatesh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《通过程序记忆对大型语言模型进行持续微调》（ProCL）的通俗解释，辅以生动的类比。

核心难题：“金鱼”与“海绵”

想象你有一个非常聪明的机器人（大型语言模型，LLM），它知晓世间万物。你希望它能随时间推移学习新事物，比如先学习如何诊断某种特定疾病，接着学习如何推荐治疗方案，随后再学习如何起草法律合同。

问题在于灾难性遗忘。

金鱼模式：当你教机器人一项新技能时，它往往会“覆盖”掉旧记忆。它学会了推荐治疗方案，却忘了如何诊断。
海绵模式：如果你毫无计划地试图一次性教它太多东西，海绵吸饱了水，既无法容纳新的水滴，或者水混合成了一团浑浊的泥水。

现有的方法（如标准的 LoRA）试图通过给机器人添加一个小“笔记本”来记录新事物以解决此问题。但如果你持续在同一本笔记本上书写，新笔记最终会模糊掉旧笔记。

解决方案：ProCL（程序记忆）

作者提出了一种名为ProCL的新方法。他们从人类大脑的运作方式中汲取灵感，具体来说是互补学习系统理论。

把你的大脑想象成拥有两个主要部分：

海马体（快速记忆）：用于快速、临时的学习。它能迅速抓取新信息，但杂乱无章且遗忘很快。
皮层（慢速记忆）：用于长期、稳定的知识。它学习缓慢，但能永久安全地保存信息。

ProCL 试图在机器人的“笔记本”内部构建完全相同的系统。

ProCL 如何运作：“模块化车间”

ProCL 不再使用一本大笔记本，而是将机器人的学习空间变成了一个拥有许多专用工具箱（称为“程序”或“记忆槽”）的车间。

以下是具体步骤：

1. “指纹”检查（输入条件注意力）

当机器人收到一个新问题（例如“我如何治疗骨折？”）时，它不会直接把答案扔进主笔记本。

类比：想象繁忙办公室里的接待员。当客户走进来时，接待员会查看他们的身份证（即“指纹”）。
行动：接待员会检查：“哦，这是一个医疗问题。去3 号工具箱。”如果下一位客户询问法律事务，他们会被送往7 号工具箱。
结果：机器人仅更新与当前任务相关的具体工具箱。它不会触碰其他工具箱。这防止了旧记忆的“模糊”。

2. “稳定基石”（原始适配器）

即使在使用特定工具箱时，机器人也保留着一个主蓝图（原始适配器权重），该权重在单个任务的训练过程中永不改变。

类比：将主蓝图想象成房子的地基。你可以利用工具箱添加一个新房间（一项新技能），但地基保持稳固，确保房子不会倒塌。
结果：这确保了机器人即使在习得新事物时，也能记住它曾学过的所有内容的基础部分。

3. “夜间清理”（巩固）

白天（训练期间），机器人忙于使用工具箱。但在夜间，它会执行一个巩固步骤。

类比：想象一位厨师在白天使用不同的香料罐来制作不同的食谱。在一天结束时，厨师将使用过的香料平均量混合到一个“主香料混合罐”中。
行动：机器人将从特定工具箱中学到的内容，温和地折叠进主要的、永久性的记忆中。
结果：新知识成为机器人永久个性的一部分，但这种融合方式不会抹去旧内容。

为何此法特殊

无额外成本：当机器人实际工作（推理）时，它不需要检查接待员或打开多个工具箱。它只需使用最终的“主香料混合罐”。其速度与普通机器人一样快。
更好的保留能力：论文表明，这种方法阻止了机器人遗忘旧任务。在测试中，当机器人学习新问题时，它在旧问题上的准确率保持得比其他方法好得多。
更少的干扰：由于不同任务进入不同的“工具箱”，它们互不冲突。

局限性（潜在问题）

作者诚实地指出了该方法可能失效的地方：

过于相似的任务：如果机器人被要求学习两件几乎相同的事情（例如“如何烤蛋糕”和“如何烤松饼”），接待员可能会混淆，将两者都发送到同一个工具箱。如果任务过于相似，“专业化”就会失效。
固定数量的工具箱：机器人拥有固定数量的工具箱（例如 4 个或 16 个）。如果你试图教它 1000 种完全不同的、不相关的技能，它可能会耗尽空间，迫使新任务与旧任务共享工具箱，从而导致某种程度的遗忘。

总结

ProCL 就像是给机器人配备了一套智能归档系统，而不是单本杂乱的笔记本。它根据信息的内容将其分类到特定的文件夹中，在下方保持稳定的基础，并在一天结束时将新学到的内容温和地合并到主文件中。这使得机器人能够持续学习而不遗忘过去，同时在真正执行任务时不会降低速度。

技术摘要：ProCL – 基于程序记忆的大语言模型持续微调

1. 问题陈述

大语言模型（LLMs）在持续学习（CL）场景中面临重大挑战，即必须利用小型数据集顺序适应新任务，同时不遗忘先前获得的知识。这被称为稳定性 - 可塑性困境。

尽管参数高效微调（PEFT），特别是低秩适应（LoRA），已成为在有限计算资源下适配大语言模型的标准方法，但传统的顺序 LoRA 更新在持续学习设置中表现不佳。标准方法将低秩子空间视为同质的更新区域。因此，顺序微调会在任务之间引入干扰，导致灾难性遗忘和保留能力下降。现有方法试图通过以下方式缓解这一问题：

适配器模块化架构：添加特定任务的模块或门控机制（例如 LoraHub、MOLE）。虽然这些方法在隔离方面有效，但它们增加了架构复杂性、内存占用和推理延迟，使其难以适用于长任务序列。
基于正则化的方法：强制正交性或子空间约束（例如 O-LoRA、DEAL）。虽然这些方法减少了干扰，但它们往往限制了模型的有效可塑性，阻碍了模型在后续任务中学习新信息的能力。

此外，现有的持续 LoRA 策略通常缺乏一种原则性机制来控制新知识如何在低秩空间内被写入、划分或整合，使它们容易受到梯度干扰的影响。

2. 方法论：ProCL

作者提出了ProCL（Program Memory Continual LoRA，程序记忆持续 LoRA），这是一个受神经科学中**互补学习系统（CLS）**启发的框架。CLS 认为，大脑利用快速学习系统（海马体）进行快速的 episodic 索引，并利用慢速学习系统（皮层）对分布式表征进行渐进式整合。

ProCL 将这一生物学原理转化为结构化的 LoRA 适配机制：

2.1 程序记忆结构

ProCL 不是使用单一的 LoRA 适配器，而是将低秩适配器权重矩阵 $W$ 划分为 $N$ 个不同的程序（或记忆槽）。

划分： $W$ 被划分为 $N$ 个子矩阵 $W^{(1)}, \dots, W^{(N)}$ ，其中每个 $W^{(n)}$ 充当一个专用的记忆槽。
执行抽象：这是对同一适配器张量的运行时抽象，确保与现有的 LoRA 实现完全兼容，且不增加外部参数。

2.2 输入条件化的程序选择

在训练期间，模型根据输入动态检索并组合这些程序：

指纹识别：输入 $x$ 通过平均池化被压缩为摘要向量 $z$ ，并经过轻量级编码器生成任务查询 $Q$ 。
注意力路由：多头注意力机制将 $Q$ 与关联 $N$ 个程序的可学习键进行比较。这产生软路由权重 $\alpha$ 。
组合：最终执行的适配器 $\hat{W}(x)$ 是所选程序的软组合：
$\hat{W} = \sum_{n=1}^{N} \bar{\alpha}_n \cdot \sigma(s_n) \cdot W^{(n)}$
这使得相似的输入可以重用共享的适配器区域，同时将不相关的输入路由到参数空间的不同部分，从而局部化更新并减少跨任务梯度干扰。

2.3 稳定 - 自适应权重组合

执行的适配器由动态路由的程序与原始适配器的冻结副本（ $W_{orig}$ ）组合而成：
$W_{exec} = \gamma W_{orig} + \hat{W}(x)$

$W_{orig}$ ：提供一个代表先前学习知识的稳定基线，防止破坏性更新。
$\gamma$ ：一个可学习的缩放参数，用于平衡稳定基线与新的适应之间的贡献。
梯度流：梯度仅通过程序 $\hat{W}$ 流动，而 $W_{orig}$ 在反向传播期间保持冻结。

2.4 整合

为了确保稳定的保留和推理效率，ProCL 采用整合步骤来定期更新持久权重 $W$ ：
$W \leftarrow (1 - \lambda)W + \lambda W_{exec}$
这一步将依赖于输入的适应整合到持久权重中，模拟了将信息从快速情景记忆转移到慢速分布式记忆的生物学过程。

2.5 高效推理

在推理时，路由机制被丢弃。模型直接使用整合后的适配器 $W$ 。与标准 LoRA 相比，这确保了零额外推理成本，因为复杂的程序选择和组合仅在训练期间发生。

3. 主要贡献

程序记忆框架：引入了一种新颖的方法，将 LoRA 适配器结构化为“程序槽”，并通过输入条件化的注意力进行动态检索，从而实现快速、局部的适应。
稳定性 - 可塑性机制：通过将稳定基线（ $W_{orig}$ ）与动态程序分离，并使用整合步骤，ProCL 明确平衡了旧知识的保留与新知识的获取。
理论保证：作者提供了理论分析（备注 1），表明在路由专业化下，跨任务梯度交互是有界的并趋近于零，从形式上证明了干扰的减少。
零推理开销：与模块化或基于门控的方法不同，ProCL 将所有学习到的知识整合到单个静态适配器中用于部署，在推理时不产生额外的延迟或内存成本。

4. 实验结果

作者在多个 LLM 骨干网络（Llama-3、Qwen3、Flan-T5）和任务（问答和文本分类）上评估了 ProCL。

问答（QA）：在顺序问答基准（BoolQ $\to$ SQuAD $\to$ AdversarialQA）上，ProCL 在所有模型中取得了最高的平均准确率（69.1%），优于 DEAL（66.2%）和 Seq-LoRA（61.2%）等强基线。关键在于，ProCL 表现出最低的灾难性遗忘，与遭受 20–45 个百分点性能下降的其他方法相比，其在早期任务（如 BoolQ）上的性能下降极小。
文本分类（TC）：在包含 3、4 和 15 个任务的设置中，ProCL 在平均准确率（AA）和 ROUGE-1 指标上 consistently 取得了最佳或次佳结果。它在长任务序列（15 个任务）中表现出特别的优势，比 DEAL 提高了约 0.9–1.3%。
效率：虽然训练涉及路由，但 ProCL 在训练期间比 DEAL 快1.7–2.0 $\times$ ，并且通过完全移除路由机制，在推理时实现了6–8 $\times$ 的加速。
消融研究：移除稳定基线（ $W_{orig}$ ）或整合步骤会显著降低性能，证实了这两个组件对于平衡稳定性和可塑性的必要性。

5. 意义与主张

论文声称，ProCL 为 LoRA 参数化内的高效且鲁棒的持续学习提供了一种原则性机制。通过用程序级记忆构建低秩空间，ProCL 解决了现有方法的局限性，这些方法要么增加了架构复杂性，要么降低了可塑性。

作者断言 ProCL：

缓解灾难性遗忘：与最先进的持续 LoRA 策略相比，它显著降低了先前学习任务上的性能下降。
保持部署效率：它在实现这些增益的同时不引入额外的推理开销，使其适用于现实世界的部署。
有效扩展：它在不同模型大小和架构（从 3B 到 8B 参数）上表现出鲁棒性。

论文总结认为，通过程序记忆和整合来组织适应是 LLM 可扩展持续适应的一个有前景的方向，尽管它承认在高度相似的任务中存在路由崩溃的局限性，并且随着任务多样性的增加，存在固定容量约束的问题。