🤖 AI

Shared LoRA Subspaces for almost Strict Continual Learning

本文提出了“Share”，一种新颖的参数高效型持续学习方法，该方法通过动态更新单个共享的低秩子空间来整合来自不同任务和模态的知识，且无需数据回放或多个适配器，在实现显著的内存和参数减少的同时防止了灾难性遗忘。

原作者： Prakhar Kaushik, Ankit Vaidya, Shravan Chaudhari, Rama Chellappa, Alan Yuille

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Prakhar Kaushik, Ankit Vaidya, Shravan Chaudhari, Rama Chellappa, Alan Yuille

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个庞大且极其聪明的图书馆（一个大型 AI 模型），它几乎了解关于一切的知识。现在，想象你需要每天教这个图书馆新的技能：首先是写诗，然后是诊断汽车故障，接着是模仿梵高的风格进行绘画。

旧的问题：“一门技能一本书”的混乱
传统上，当你教图书馆一项新技能时，你必须为它写一本全新的书（一套新的指令）。如果你教了 100 种技能，你最终会得到 100 本沉重的书。

成本： 存储 100 本书会占用大量的书架空间（内存），且管理成本极高。
遗忘问题： 如果你试图通过重写同一本书来添加新技能，图书馆往往会忘记旧的技能。这被称为“灾难性遗忘”。这就像试图通过抹除母语来学习一门新语言；结果是你两种语言都掌握不好。

“LoRA”的解决方法（及其局限性）
研究人员想出了一个聪明的技巧，叫做 LoRA。与其写一本全新的书，不如为每项新技能在现有的图书馆上贴一张小巧、薄薄的“便利贴”。这样可以节省空间。

缺陷： 如果你有 100 种技能，你仍然需要 100 张不同的便利贴。你仍然需要管理一堆 100 张独立的便签，而且图书馆无法轻易地在这些便签之间混合知识。

新的解决方案：“Share”
这篇论文介绍了一种名为 Share 的方法。请不要把 Share 看作是一堆便利贴，而要把它看作是 一本单一的、神奇的、可扩展的速写本。

以下是它的工作原理，使用一个简单的类比：

1. 共享子空间（“通用速写本”）

想象一下，你想要学习的所有技能（诗歌、汽车维修、绘画）实际上都共享一些基本的“构建模块”或“方向”来运作。

发现： 作者发现，如果你观察这些不同技能背后的数学逻辑，它们似乎都趋向于隐藏空间中的相同几个“方向”或“轴”。
类比： 把这些方向想象成三原色（红、蓝、黄）。你不需要为每一种你可能想制作的绿色或紫色都准备一支单独的颜料管。你只需要这三种原色以及一种混合它们的方法。

2. “Share”如何学习（过程）

它不是为每个任务创建一个新的适配器，而是这样做：

第一步：基础。 它首先创建一个小型的“基础速写本”（一个共享的低秩子空间）。它观察前几个任务，并找出描述这些任务所需的“原色”（主要的维度/方向）。
第二步：学习新技能。 当一个新任务到来时（例如，“学习烤面包”），系统不会写一本新书或一张新的便利贴。相反，它会询问：“我该如何混合速写本中现有的原色来制作‘面包’？”
- 它只学习一小组 混合系数（告诉它使用多少红、蓝、黄的数字）。
- 它不会大幅改变原色（基础）本身；它只是微调这些颜色的组合方式。
第三步：合并。 如果新技能需要一种当前速写本中没有的稍有不同的“颜色”，系统会温和地扩展速写本以包含这个新方向，然后重新计算如何将所有旧技能与这个新技能进行混合。

3. 为什么它是一个游戏规则改变者

一个模型，无限技能： 与其拥有 100 张单独的便利贴，你拥有的则是 一套单一的指令集（速写本），可以处理所有 100 种技能。
不再遗忘： 因为系统不断地重新混合用于包含新信息的“颜色”，所以它不会抹除旧的技能。事实上，论文声称它有时甚至能让旧技能变得更好（反向迁移），因为新的混合指令更加高效。
巨大的节省：
- 空间： 论文声称其参数量（用于编写指令的“墨水”）比传统方法少 100 倍，内存占用减少了 281 倍。
- 现实世界的影响： 单个 “Share” 模型可以取代数百个特定任务的适配器。这就像是用一个智能平板电脑取代了 500 本书组成的图书馆，它可以瞬间生成那 500 个故事中的任何一个。

4. 他们测试了什么

作者证明了这种方法适用于 AI 所说的各种“语言”：

阅读理解： 理解不同类型的文本问题。
图像分类： 识别不同类型的花卉、食物和物体。
3D 姿态估计： 推断 3D 物体是如何旋转的，即使它们被部分遮挡（occluded）。
艺术生成： 学习不同的艺术风格（如“苏联宣传画”或“鲍勃·罗斯”）进行文本生成图像。
扩展性： 他们甚至测试了 50 个 LoRA 适配器逐一到达的情况，展示了该系统如何将它们全部合并为一个高效的模型。

核心总结

Share 就像是在教一位顶级大厨烹饪 1,000 道不同的菜肴，不是通过给他们 1,000 本不同的食谱，而是通过教授他们烹饪的基础化学原理，以及如何用新的方式混合几种核心食材。它节省了空间，防止了大厨在学习第一千道菜时忘记第一道菜的做法，并且允许大厨在不需要更大的厨房的情况下持续学习。

技术摘要：用于近乎严格持续学习的共享 LoRA 子空间

问题陈述

将大型预训练模型（如 LLM、VLM、扩散模型）持续适配到新任务面临两个主要挑战：灾难性遗忘以及重训的高计算/内存成本。虽然参数高效微调方法（如 LoRA）减少了可训练参数的数量，但标准的 LoRA 实现通常需要为每个任务准备独立的适配器。这种方法阻碍了跨任务知识共享，无法支持严格持续学习（即在不进行数据回放、不增加额外模型或不增加模型规模的情况下进行学习），并且随着任务数量的增加，会导致资源使用效率低下。现有方法通常依赖于正交子空间或混合专家系统，但这些方法仍然违反了严格持续学习的约束，因为它们需要多个模型实例或增长的参数集。

方法论：Share

作者提出了 Share，一种全新的参数高效持续微调（PaCT）框架，它通过学习并动态更新一个单一的、共享的低秩子空间来适配多种任务和模态。

核心假设

Share 基于以下假设：针对相似任务和模态的 LoRA 适配器共享一个共同的低秩子空间。通过识别该子空间的主成分基向量，新的适配器可以表示为这些基向量的线性组合，从而消除了对独立任务特定适配器的需求。

算法工作流

该方法针对预训练模型的每一层分为三个阶段运行：

初始化：
- 基础子空间（主成分基向量）使用 $t \ge 1$ 个现有的 LoRA 适配器进行初始化。
- 将来自先前任务的 LoRA 矩阵（ $A$ 和 $B$ ）进行堆叠、中心化，并进行奇异值分解（SVD）。
- 选择前 $k$ 个主成分基向量（ $\alpha, \beta$ ）以构成可重用的共享子空间。
- 仅训练随机初始化的任务特定系数（ $\epsilon$ ），而基向量保持冻结。该过程是无需数据且无需梯度的。
持续适配：
- 在接收到新数据或新的 LoRA 适配器时，系统通过引入 $\phi$ 个临时基向量及其系数来临时扩展子空间。
- 这些临时组件被优化以捕捉新信息，同时保留基础子空间。
合并与微调：
- 将临时基向量与现有的基础子空间进行合并。
- 通过对堆叠的重建适配器进行 SVD，计算新的共享基向量。
  � * 使用矩阵投影和 Moore-Penrose 伪逆对任务特定系数进行解析重算，以最小化重建误差。
  * 这一过程允许将数百个适配器压缩为单个因子集，且无需进行数据回放。

理论分析

论文提供了关于重建误差和经验风险最小化的理论界限。研究表明，如果新任务很大程度上位于共享的主成分子空间内，则 Share 近似值的误差界限比全秩适配更紧凑。该方法动态地近似“通用权重子空间”，而非预先提取。

核心贡献

无回放持续学习： 为大型预训练模型引入了一种无需数据回放、无需额外模型或参数增长的方法，接近“严格持续学习”的条件。
混合流集成： 支持从原始数据和预训练 LoRA 适配器的混合流中进行持续学习，并将它们无缝合并到单个模型中。
极高的效率： 与传统的 LoRA 方法相比，实现了高达 100 倍的可训练参数减少和 281 倍的内存节省。
可扩展部署： 单个 Share 主成分因子集可以取代数百个任务特定的 LoRA 适配器，促进了异步和可扩展的模型推理服务。
广泛的适用性： 在包括图像分类、3D 物体位姿估计、自然语言理解和文本生成图像在内的多种模态上得到了验证。

实验结果

作者在多个基准测试中评估了 Share，并将其与非持续 LoRA（独立适配器）、联合 LoRA（上限）以及其他持续学习基准进行了比较。

自然语言理解 (GLUE 基准)：
- Share 仅使用 0.012M 参数 (0.29 MB) 实现了 83.44% 的平均性能。
- 这与需要 7.2M 参数 (81.6 MB) 处理六个适配器的非持续 LoRA (83.43%) 性能相当。
- 该方法展示了向后知识迁移现象，即学习后续任务提高了早期任务的性能（例如，CoLA 分数从 56.00 提高到 59.81）。
图像分类 (CIFAR-100, Food-101 等)：
- 在 CIFAR-100 上，Share 仅用 0.10M 参数 达到了 94.20% 的准确率，匹配了上限，并超越了需要近两倍参数的次优方法 (DAP)。
- Share 在所有测试方法中始终表现出最低的遗忘率。
3D 物体位姿估计：
- 使用 Pascal3D+，Share 在严格无回放条件下仅运行 1M 参数（对比基准为 25M）。
- 它在所有遮挡水平下均优于基于回放的方法（如 iNeMO），在 P3D 任务上达到了 81.80% 的准确率。
文本生成图像：
- 应用于 Flux 模型，Share 使用单套因子管理了四个持续艺术风格任务。
- 定性结果显示，其性能与单个 LoRA 相当，且在前四个任务中实现了 20 倍的模型尺寸缩减。
大规模异步学习：
- 在涉及 500 个 LoRA（其中 50 个是增量到达的）的实验中，Share 在分布内任务上保持了 90-99% 的原始性能。
- 在分布外 (OOD) 任务上，Share 实现了平均 Rouge-L 分数 55.89，显著优于非持续模型合并方法 (TIES)，并接近单个 LoRA 的性能 (73.75)。

重要性与声明

论文声称 Share 是最早提出适用于多样化且复杂模型的参数高效持续微调可行方案的工作之一。其重要性在于：

民主化访问： 通过大幅降低内存和计算需求，它允许资源有限的普通研究人员和用户持续微调大规模 AI 系统。
环境影响： 资源的减少有助于降低模型部署的环境足量。
实际可扩展性： 它为大规模系统中的终身学习提供了一个实用的解决方案，能够复用社区资源（LoRA 适配器），并支持可扩展的异步学习范式，而不会带来传统模型合并的计算负担。

作者指出，虽然目前的工作侧重于微调，但未来的工作旨在扩展 Share 以支持从零开始的学习。