🤖 machine learning

Little by Little: Continual Learning via Incremental Mixture of Rank-1 Associative Memory Experts

本文介绍了 MoRAM，这是一个持续学习框架，它通过使用细粒度的、自激活的秩-1 联想记忆单元来取代粗粒度的基于 LoRA 的混合专家模型，从而消除路由歧义和干扰，进而显著改善塑性-稳定性权衡，并减少大型预训练模型中的灾难性遗忘。

原作者： Haodong Lu, Chongyang Zhao, Minhui Xue, Lina Yao, Kristen Moore, Dong Gong

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Haodong Lu, Chongyang Zhao, Minhui Xue, Lina Yao, Kristen Moore, Dong Gong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座规模宏大、极其聪明的图书馆（即大型预训练模型），它了解这个世界的一切。现在，你想教这座图书馆一些特定的新技能——比如如何识别某种特定的犬种，或者如何编写代码——而不让它忘记已经知道的其他知识。

这就是**持续学习（Continual Learning）**的问题。目前大多数方法就像是试图通过重写现有的书架来为这座图书馆添加新书。如果你为了给新书腾空间而用力过猛地重写旧书架，你就会不小心抹除掉旧的故事。这被称为“灾难性遗忘（catastrophic forgetting）”。

其他方法则尝试为每项新技能建立独立的隔离房间（称为“专家”）。但这些房间通常过于庞大且混乱。它们包含了太多的通用信息，导致系统在处理特定任务时会产生混淆，进而导致干扰和混乱。

本文提出了一种新的解决方案，称为 MoRAM（混合秩-1关联记忆，Mixture of Rank-1 Associative Memory）。以下是通过简单的类比对它的工作原理进行的解释：

1. 问题所在：“大盒子” vs. “单原子”

目前的方法使用“LoRA”（低秩自适应），这就像是为图书馆的每一项新任务都添加一个全新的、笨重的工具箱。

问题在于： 如果你需要修理一颗微小的螺丝，你必须把整个沉重的工具箱都拖出来。在这个工具箱里，有很多工具对于这项特定的工作来说是多余的，而且它们还会碍事。随着你添加的工具箱越来越多，图书馆会变得杂乱无章，而图书管理员（“路由/Router”）也会对该抓取哪个工具箱感到困惑。

2. 解决方案：MoRAM 的“原子记忆”

MoRAM 改变了这种理念。它不再添加巨大的工具箱，而是添加单个、微小的知识原子。

类比： 想象图书馆的知识不是存储在书籍中，而是存储在一个巨大的、无限的档案柜里，其中的每一张纸片都是一个“秩-1 专家（Rank-1 expert）”。
当你学习一项新任务时，MoRAM 并不构建一个新房间。它只是向档案柜中添加几张新的、特定的纸片。
核心特征： 每张纸片都如此之小且专业，以至于它只讨论一件极小的事情（比如“蓝天”或“飞机机翼”）。

3. 如何寻找正确的信息：“自我激活”

在旧系统中，你需要一名图书管理员（路由）来看你的问题，并决定打开哪一个大工具箱。随着图书馆的增长，这位图书管理员经常会犯错。

MoRAM 彻底取消了图书管理员。

类比： 档案柜中的每一张纸片都有一个磁性标签（“键/Key”）。当你提出一个问题（输入）时，问题本身就像一块磁铁。
只有那些带有匹配磁性标签的纸片会“粘”在问题上。其余的纸片则留在架子上。
这被称为内容可寻址检索（Content-Addressable Retrieval）。问题会自动找到自己的答案，而不需要中间人来做决定。这防止了混淆，并确保使用了正确的“记忆”。

4. “循序渐进”

标题中的“Little by Little（循序渐进）”指的是系统是如何增长的。

MoRAM 不是进行大规模的重构，而是增量式地添加知识。
它会冻结旧的“原子”（使其永远不会被抹除），并且只激活当前任务所需的少量新原子。
这就像是在一个庞大的结构中添加一个单独的乐高积木。结构变得更大了，但旧的积木依然完好如初，稳固如初。

5. 结果

作者在大型 AI 模型（如用于图像的 CLIP 和用于文本的 LLM）上测试了该方法。

更少的遗忘： 因为旧的知识被冻结在各自微小的、孤立的原子中，学习新事物不会覆盖旧事物。
更好的专业化： 由于每个“原子”都如此之小，它会成为某一特定领域的专家，而不是一个略懂皮毛的通才。
高效性： 系统仅“唤醒”特定任务所需的少量原子，从而节省了能量和计算资源。

总结： MoRAM 将学习视为向档案柜中添加微小的、可自我选择的记忆便签，而不是重写大脑。这些便签会根据你的提问自动找到自己的位置，确保图书馆在变得更加聪明的同时，永远不会忘记过去。

技术摘要：Little by Little: 通过增量式秩-1 关联记忆专家实现持续学习

1. 问题陈述

持续学习（Continual Learning, CL）旨在使模型能够从任务流中增量式地获取新知识，而不产生灾难性遗忘。虽然参数高效微调（PEFT）方法（如低秩自适应 LoRA）在适配大型预训练模型（PTM）方面非常流行，但标准的 LoRA 应用的是稠密更新，这不可避免地会扰动先前任务的表示空间，从而导致干扰和遗忘。

最近的方法采用了带有 LoRA 适配器的混合专家（MoE）框架（MoE-LoRA），通过冻结旧专家并添加新专家来隔离任务干扰。然而，本文指出这些现有的 MoE-LoRA 方法是在粗粒度层面运行的。由于将多秩 LoRA 适配器视为单一、不可分割的专家单元，它们面临三个关键问题：

干扰： 粗粒度专家编码的是低专业性信息，迫使无关的子空间在处理特定输入时被激活。
冗余： 新专家无法选择性地复用旧专家中的特定“原子”知识，导致容量使用效率低下，并需要重新学习整个模块。
路由/检索崩溃： 随着粗粒度专家数量的增加，外部路由器难以可靠地对不断扩大的池进行索引，导致路由歧义、漂移以及旧专家性能的最终崩溃。

2. 方法论：MoRAM

作者提出了 MoRAM（混合秩-1 关联记忆），该框架将持续学习重新定义为由原子级秩-1 单元组成的参数化记忆系统的增量式扩张。

核心概念转变

基于权重矩阵作为线性关联记忆（Kohonen, 1972）的观点，MoRAM 不将权重矩阵 $W$ 视为一个单块整体，而是将其视为 $m$ 个原子键值对 $\{(k_i, v_i)\}$ 的集合。

键值公式化： 一个秩为 $r$ 的更新被分解为 $r$ 个原子的秩-1 对。每个对由一个键（ $A_{:,i}$ ）和一个值（ $B_{:,i}$ ）组成。
内容可寻址检索： MoRAM 并非依靠外部路由器来学习将数据发送到“哪里”，而是通过内在的相关性得分，由输入 $x$ 自动触发相关的记忆原子： $s_i = A_{:,i}x$ 。输出是基于这些得分的值的加权和。

关键组件

细粒度秩-1 专家：
与其为每个任务添加一个完整的秩- $r$ 适配器，MoRAM 为每个任务引入 $r$ 个新的原子秩-1 对。这些原子充当细粒度的 MoE 专家。模型会冻结先前的原子并增量式地添加新原子（“一点一点地”）。
自激活机制：
MoRAM 消除了对外部可训练路由器网络的依赖。

相关性评分： 输入 $x$ 与原子键向量（ $A_{:,i}$ ）的点积直接计算第 $i$ 个记忆原子的相关性。
归一化： 在整个记忆集合上进行 $\ell_2$ 归一化以保证稳定性。
优势： 这消除了与训练辅助路由器网络相关的优化不稳定性和遗忘问题。

稀疏路由与专业化：
为了防止干扰和计算开销，MoRAM 采用了稀疏选择策略：

Top- $k$ 掩码： 对于给定输入，仅保留具有最高激活得分的 $k$ 个原子。
温度缩放： 对 Softmax 应用温度超参数 $\tau_{MoRAM}$ 以锐化分布，使梯度集中在最相关的“专家”原子上，从而加速其适配过程。
基于阈值的剪枝： 在推理阶段，激活得分低于阈值 $\delta$ 的原子会被剪枝，以进一步减少噪声和计算成本。

增量式扩张：
对于每个新任务，模型引入一组新的秩-1 对，冻结所有先前的原子，并允许自激活机制在旧记忆和新记忆的并集上进行路由。这使得模型能够复用共享语义（例如“蓝天”），同时为任务特定概念（例如“飞机”）专门化新的原子。

3. 主要贡献

MoRAM 框架： 一种新型 CL 框架，将学习视为秩-1 关联记忆原子的参数化记忆扩张，并将推理视为测试时记忆检索。这实现了细粒度的知识复用，并最大限度地减少了干扰。
自激活稀疏路由： 通过将更新分解为秩-1 记忆原子，模型自然地形成了一个细粒度的 MoE。所提出的自激活机制消除了外部路由器，实现了避免路由崩溃的基于内容的稀疏检索。
经验优越性： 在视觉语言（CLIP）和大型语言模型（LLM）基准测试上的广泛评估表明，MoRAM 显著优于现有方法，实现了更好的塑性-稳定性权衡，并保留了预训练的泛化能力。

4. 实验结果

论文在包括 X-TAIL（针对 CLIP）和 TRACE（针对 LLM）以及标准语言分类任务在内的多个基准测试上评估了 MoRAM。

视觉语言 (CLIP)： 在 X-TAIL 基准测试中，MoRAM 在“平均（Average）”和“最后（Last）”准确率指标上达到了最先进水平，超越了 MoE-Adapter、CoDyRA 和 RAIL-Primal 等方法。它有效地增强了表示，且无需外部领域 ID 或特征库。
大型语言模型 (LLMs)： 在使用 LLaMA 和 Gemma 模型的 TRACE 基准测试中，MoRAM 展示了稳健的性能，其向后迁移（Backward Transfer, BWT）分数显著低于 SeqLoRA、O-LoRA 和 TreeLoRA（这意味着更少的遗忘）。
泛化 vs. 遗忘： 在代码生成微调（CodeAlpaca）中，标准的稠密 LoRA 更新会降低在语义差异较大的主题（如世界宗教）上的性能。MoRAM 通过将新知识隔离在独立的秩-1 原子中，在提高领域内代码性能的同时，保留了域外泛化能力。
效率： MoRAM 使用大约标准秩-32 LoRA 三分之一的活跃参数即可实现卓越性能。它还保持了较低的 GPU 显存占用和与现有 PEFT 方法相当的推理延迟。

5. 重要性与主张

论文声称，高性能的持续学习并不需要复杂的外部路由器或僵化的结构扩张。相反，它主张一种范式转变，即转向对低秩原子记忆进行精确的内容可寻址检索。

缓解灾难性遗忘： 通过将更新视为独立的记忆原子而非纠缠的模块，MoRAM 防止了对无关概念的覆盖。
可扩展性： 自激活的稀疏混合机制允许模型在不产生粗粒度 MoE-LoRA 所面临的路由歧义的情况下，扩展到许多任务。
效率： 该方法降低了计算和内存需求，使大规模模型的持续适配在资源受限的环境下变得可行。

作者总结道，MoRAM 提供了一种“一点一点地”扩展记忆的方法，有效地平衡了塑性和稳定性，同时保留了预训练模型的泛化知识。未来的工作建议探索基于数据分布的自适应温度设置，并扩展其在更广泛 PTM 上的适用性。