🤖 machine learning

GLAM: Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging

GLAM 是一个高效的持续学习框架，它通过为每个任务训练带有重要性标量的轻量级 LoRA 适配器，随后将其进行剪枝、重缩放并合并为分组模块，从而在长任务序列上实现最先进的准确率，同时显著减少可训练参数量和训练时间。

原作者： Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个极其聪明、超级智能的机器人去识别世界上的万物，从你的宠物猫到一种稀有的鸟类，再到一种特定类型的汽车。这个机器人起步时就拥有一个庞大的、预装的“大脑”，它已经掌握了大量知识。但棘手的部分在于：每当你教它新东西时，它往往会变得有点“健忘”，不小心抹去了昨天学到的记忆。这在计算机科学中是一个著名的难题，被称为“灾难性遗忘”（catastrophic forgetting）。通常情况下，为了解决这个问题，你必须每次都从头开始重新训练机器人的整个大脑，这既耗时又极其耗电。科学家们一直试图寻找一种方法，让这些机器人学习新技能的同时不会忘记旧技能，希望以此构建出能够持续学习的机器，就像人类一样，而不需要每天都进行大规模的内存升级。

于是，GLAM 出现了，它像是一个为机器人大脑设计的聪明且有条理的图书管理员。GLAM 不会将每一堂新课都塞进一本笨重且占用无限书架空间的独立书籍里，而是教机器人为每一项新任务编写微小、轻量级的笔记（称为“适配器”，adapters）。但神奇之处在于：GLAM 不会保留成千上万条这样的笔记，它会将相似的笔记组合在一起，修剪掉杂乱、不重要的涂鸦，并将它们合并成一个整洁的摘要。这就像是拿着 50 本不同的旅行日志，通读一遍，然后将它们浓缩成一本完美的旅行指南，既包含了所有的精华建议，又不会显得厚重。

研究人员发现，这种方法效率极高。当他们在多达 50 个不同任务（例如识别 50 组不同的图像）的序列上测试 GLAM 时，它不仅学得很好，而且学得很快。事实上，它的训练速度比最优秀的竞争方法快了约三倍，且仅使用了其他方法约 20% 的“可训练脑力”（参数）。当其他方法随着任务数量增加而难以应对时，GLAM 依然保持敏锐，在所有测试中都取得了最高的准确率。它证明了你可以让机器人在长时间内不断学习新事物，而不会忘记过去，也不需要一台超级计算机来进行复杂的数学运算。

问题所在：机器人的短时记忆

把现代 AI 模型想象成一个巨大的、经过预训练的大脑，它已经阅读了整个互联网。它非常强大，但有一个缺陷：如果你试图教它一些新东西，比如如何识别某种特定的犬种，它往往会变得混乱，并忘记之前如何识别一只猫。这就是“遗忘”问题。

为了阻止这种情况，科学家通常尝试冻结大脑的核心部分，只允许一个微小的、特殊的区域来学习新内容。这被称为 LoRA（低秩自适应）。想象一下，大脑是一个巨大的图书馆，而 LoRA 就像是在特定的书架上贴一张小小的便利贴，而不是重写整本书。这种方法很高效，但如果你有 5 0 个不同的任务，你就会得到 50 张不同的便利贴。管理 50 张笔记会变得非常混乱，而且如果你试图同时阅读所有笔记，会减慢机器人的运行速度。

GLAM 的解决方案：分组游戏

GLAM（分组 LoRA 适配器合并）通过将这些便利贴编成小组来改变游戏规则。其步骤如下：

新课程： 当机器人学习一项新任务时，GLAM 会为该工作创建一个微小、轻量级的笔记（适配器）。它还会给这个笔记一个“重要性评分”，以说明其重要程度。
分组： GLAM 不会保留每条笔记的独立性，而是将新笔记随机分配到几个“小组”中的一个（就像把一本新书放到五个特定的书架之一）。
清理（剪枝）： 在将笔记加入小组之前，GLAM 会进行快速清理。它会检查笔记并丢弃其中微弱、不重要的部分（即“噪声”），只保留强有力、清晰的信息。这能防止笔记变得杂乱或相互干扰。
合并： 随后，清理后的新笔记会被温柔地融入到小组现有的摘要中。小组摘要会更新以包含新信息，但它始终保持为一个笔记。
最终结果： 最后，所有的组摘要会被合并成一个单一的、超高效的模块。机器人不再需要查看 50 条笔记，它只需要查看一个包含它所学一切内容的紧凑摘要。

为什么这意义重大

研究人员在三个图像数据集上进行了测试：CIFAR-100（100 种物体）、CUB-200（200 种鸟类）和 ImageNet-R（200 种艺术图像）。他们让机器人学习长达 50 个任务的序列，这比通常科学家使用的 10 个任务测试要长得多。

结果令人印象深刻：

速度： GLAM 的训练速度比表现最好的竞争方法（CL-LoRA）快了约 3 倍。
体积： 它仅使用了表现最好的基准方法中 16–19% 的可训练参数。
准确率： 它在所有三个数据集上都获得了最高分。例如，在 CUB-200 鸟类数据集上，它达到了 70.96% 的准确率，大幅领先于次优方法。
遗忘： 它的遗忘程度比其他方法更低。在相同的测试中，虽然有些方法遗忘了大约 33% 已学知识，但 GLAM 仅遗忘了约 20%。

论文指出，这种“分组与合并”策略是让 AI 实现持续学习而不至于陷入泥潭的关键。通过保持活跃笔记的数量处于较低水平并随之进行清理，GLAM 使机器人能够在不依赖于单独记忆每一个细节的情况下，高效地学习长序列的任务。这是迈向让机器能够像我们一样真正学习并不断成长的关键一步。

技术摘要：GLAM – 通过分组 LoRA 适配器合并实现高效的大规模持续学习

问题陈述

持续学习（Continual Learning, CL）旨在使模型能够从任务序列中增量学习，同时保留先前获得的知识，从而解决持续存在的灾难性遗忘问题。虽然大型预训练基础模型提供了丰富的表示能力，可以在一定程度上缓解遗忘，但它们在适应不断变化的数据分布时，往往难以在不产生高昂计算成本的情况下进行高效调整。

现有的参数高效微调（PEFT）方法，特别是低秩自适应（LoRA），通常是为静态的单任务场景设计的。将 LoRA 应用于持续学习面临三个关键挑战：

灾难性遗忘： 防止先前任务知识的丢失。
知识迁移： 实现相关任务之间的有效迁移。
可扩展性： 随着任务数量的增加，高效地分配参数。

目前的基于 LoRA 的持续学习方法通常为每个任务存储单独的适配器（需要在推理时使用任务标识符），或者采用复杂的隔离策略，这限制了知识迁移。此外，事后合并方法仅在训练后整合适配器，限制了学习阶段的迁移，且往往依赖于人工调优的、次优的系数。此外，许多现有方法将适配器视为独立的，无法支持共享学习或自适应复用，并且随着任务序列的增长，会产生高昂的训练成本。

方法论：GLAM

作者提出了 GLAM（Grouped LoRA Adapter Merging，分组 LoRA 适配器合并），这是一个旨在解决类增量持续学习的框架，它在无需访问先前任务样本的情况下，随着任务的展开动态地对适配器进行分组和合并。该方法通过一个三阶段流水线运行：

1. 任务特定 LoRA 训练

对于每个新任务 $T_i$ ，GLAM 训练一个轻量级的任务特定 LoRA 适配器 $\Delta W_i = B_i A_i$ 以及一个相关的重要性标量 $\alpha_i$ 。

优化： 适配器 $\Delta W_i$ 及其标量 $\alpha_i$ 在当前数据集 $D_i$ 上进行优化。
冻结： 预训练权重 $W_0$ 和先前学习到的组适配器 $\{\Delta W_{G_j}\}$ 保持冻结。
动态缩放： 在训练新任务期间，更新现有组适配器的缩放因子 $\{\alpha_{G_j}\}$ ，以维持平衡的相对重要性。
分类器掩码： 对当前任务之外的类别进行 Logit 掩码处理，以仅优化相关的分类器参数。

2. 适配器分组

为了防止参数无限制增长，GLAM 采用了动态分组策略，而不是为每个任务保留一个单独的模块。

组关联： 在完成任务 $T_i$ 的训练后，通过从一组可用组槽位（最高为 $G_{max}$ ）中进行随机采样，将新适配器分配给一个组 $G_j$ 。如果该槽位为空，则初始化一个新组；否则，该适配器加入现有组。
重要性聚合： 每个组维护一个单一的缩放因子 $\alpha_{G_j}$ ，该因子作为分配给该组的所有适配器重要性因子的运行平均值进行更新。
基于幅度的剪枝： 在合并之前，对输入的适配器进行基于幅度的剪枝。仅保留矩阵 $B_i$ 和 $A_i$ 中绝对值最大的前 $k\%$ 的权重。这一步减少了来自微弱或冗余组件的干扰，且不会带来像基于 Fisher 准则那样高的计算成本。
组内合并： 被剪枝后的适配器根据组大小进行加权平均，线性合并到当前的组适配器 $\Delta W_{G_j}$ 中。这通过将多个任务特定的更新整合为单个组级表示，实现了信息的合并。

3. 分类器对齐与最终拼接

分类器对齐： 为了减轻对近期学习类别的偏差，执行了一个分类器对齐阶段。从存储的已见任务类特征的高斯统计量（均值和方差）中采样合成特征。最终的线性分类器在这些合成特征上进行重训练，而特征提取器保持冻结。
最终拼接： 在推理时，所有组适配器被组合成一个统一的模块。这是通过将每个组适配器按其重要性因子 $\alpha_{G_j}$ 进行缩放，并沿秩维度进行拼接来实现的。生成的模型具有单个紧凑的适配器 $\Delta W_{final}$ ，确保了无论任务数量多少，计算成本都保持恒定。

核心贡献

可扩展的持续学习方法： 一种针对基础模型的新颖方法，利用 PEFT 技术，将任务特定适配与联合学习 LoRA 模块及其重要性系数的机制相结合。
渐进式合并流水线： 一种将任务特定适配器整合到有限组适配器集中的策略。这通过顺序分组和基于幅度的剪枝，控制了参数增长，并减轻了长任务序列中的合并干扰。
实证验证： 在多样化的基准测试（CIFAR-100, CUB-200, ImageNet-R）上进行了广泛实验，证明了在长任务序列（高达 50 个任务）的动态持续学习场景下，GLAM 达到了最先进的性能。

实验结果

作者在标准基准测试上评估了 GLAM，任务序列高达 50 个，这一设置比近期文献中典型的 10 任务协议更具挑战性。

准确率与遗忘： GLAM 在所有三个基准测试中均取得了最高的平均准确率。与表现最强的基线（根据数据集和指标不同而异，例如 CIFAR-100 上的 CL-LoRA，ImageNet-R 上的 SEMA）相比，GLAM 平均实现了 6% 的准确率提升和 8% 的遗忘减少。例如，在 CIFAR-100 上，GLAM (84.73%) 显著优于 CL-LoRA (77.56%)；在 CUB-200 上，GLAM (70.96%) 也超越了 CL-LoRA (61.49%)。
效率： GLAM 展示了卓越的计算效率。它实现了约 3 倍于最强基线的训练加速，同时仅使用了该基线 16–19% 的可训练参数（例如，CIFAR-100 上 GLAM 约为 3.6M 参数，而 CL-LoRA 约为 19.2M 参数）。
可扩展性： 随着任务数量从 10 增加到 50，GLAM 保持了稳健的性能且衰减极小，而竞争方法则表现出明显的准确率下降。
消融研究： 分析证实了顺序两阶段合并策略的有效性。研究发现，随机分组与更复杂的聚类策略同样有效，且基于幅度的剪枝在减少干扰方面表现出色。

重要性与主张

该论文将 GLAM 定位为基础模型迈向终身学习的重要一步。通过解决现有基于 PEFT 的持续学习方法的可扩展性瓶颈，GLAM 能够实现新知识的持续添加，而不会导致参数或计算成本的线性爆炸。

作者声称，GLAM 为现实世界场景提供了一个实用的解决方案，即在受限的时间和资源预算下，模型必须适应长任务序列。该方法成功平衡了稳定性-塑性权衡（stability-plasticity trade-off），在保留先前任务知识的同时，高效地整合新信息，并通过最终的适配器拼接保持了恒定的推理成本。这项工作表明，动态分组和合并，而非静态隔离或事后整合，是实现高效、大规模持续学习的一条可行路径。