💬 NLP

Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

本文提出了用于鲁棒模型合并的正交子空间（OSRM）方法，该方法通过在微调前约束 LoRA 子空间来减轻任务干扰，并显著提高合并多个经 LoRA 改编的语言模型时的性能与鲁棒性。

原作者： Haobo Zhang, Jiayu Zhou

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Haobo Zhang, Jiayu Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对论文《Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging》进行的解释。

核心问题：“厨师太多”的场景

想象你有一位才华横溢、全能的厨师（大语言模型），他几乎无所不能。然而，为了让他精通特定的菜肴，你聘请了不同的副厨来教他特定的食谱。

副厨 A 教会了厨师如何做出完美的意式面食。
副厨 B 教会了厨师如何做出完美的日式寿司。
副厨 C 教会了厨师如何做出完美的法式甜点。

在 AI 世界中，这些“课程”被称为 LoRA（低秩自适应）。它们是高效的小型插件，可以在不重写整个记忆的情况下，微调主厨的大脑。

问题在于：
通常，如果你想要一个既会做面食又会做寿司和甜点的厨师，你必须同时开启三个独立的厨房（三个独立的模型）。这既昂贵又占用空间。

因此，研究人员尝试了一个新想法：模型合并（Model Merging）。他们试图将“面食大脑”、“寿司大脑”和“甜点大脑”砸在一起，融合成一个单一的“超级厨师”。

灾难发生了：
当他们把这些大脑砸在一起时，结果变得一团糟。超级厨师在做面食时，竟然不小心加了酱油（来自寿司课程）；他在做寿司时，却加了太多的黄油（来自甜点课程）。性能大幅下降，因为这些课程之间产生了干扰。

论文的解决方案：“隔音房间”

作者 Haobo Zhang 和 Jiayu Zhou 意识到，问题不仅仅在于他们如何混合大脑，更在于这些课程最初被存储在何处。

他们提出了一种名为 OSRM（用于鲁棒模型合并的正交子空间）的新方法。

类比：知识图书馆
想象一下，厨师的大脑是一个巨大的图书馆，上面有很多书架。

旧方法： 当副厨 A（面食）教厨师时，他们在“书架 1”上写笔记。当副厨 B（寿司）教厨师时，他们也把笔记写在“书架 1”上，就在面食笔记旁边。当你稍后阅读图书馆时，笔记就混杂在一起了。你无法分辨一条笔记是在讲面条还是在讲米饭。
OSRM 的方法： 在厨师开始学习之前，OSRM 就像一位图书管理员，负责分配隔音房间（正交子空间）。
- 面食厨师被告知：“你只能在书架 1 上写字。”
- 寿司厨师被告知：“你只能在书架 2 上写字。”
- 甜点厨师被告知：“你只能在书架 3 上写字。”

至关重要的一点是，论文解释说，这些“书架”是根据数据（食材）来选择的。图书管理员观察面食的食材并说：“好吧，书架 1 是唯一一个面食笔记不会意外与寿司笔记混淆的地方。”

通过在学习开始之前，强制让课程发生在这些独立的、互不重叠的“房间”里，最终的“超级厨师”就可以获取所有知识，而不会导致笔记冲突。

它是如何运作的（“魔术技巧”）

先观察数据： 在 AI 开始学习新任务之前，该方法会查看该任务的一些示例（比如几句关于意大利面食的食谱）。
寻找“安静区”： 它计算出一个特殊的数学方向（子空间），在这个方向上，新课程碰撞到旧课程的可能性最小。你可以把它想象成在嘈杂的房间里寻找一个安静的角落。
锁上门： 它强制 AI 仅在该安静的角落里学习新任务。
轻松合并： 当需要组合模型时，由于每个人都在自己的安静角落里学习，笔记就不会发生冲突。你可以直接将它们相加，而“超级厨师”依然表现完美。

论文的研究发现

作者在八种不同类型的语言任务（如理解语法、情感分析或回答问题）上测试了这些方法，并使用了各种 AI 模型（从小型模型到像 Llama 这样的大型模型）。

更好的合并效果： 当使用 OSRM 时，与以往的方法相比，“超级厨师”在同时处理所有任务时表现得更好。“面食里加酱油”的问题几乎消失了。
单项任务依然出色： 尽管他们将课程限制在特定的角落，但厨师在执行其各自工作（面食、寿司或甜点）时的表现，与之前相比依然同样出色。
鲁棒性： 即使稍微改变设置，该方法依然有效。它不需要完美的微调就能奏效；它非常可靠。

总结

这篇论文解决了合并 AI 模型时出现的“课程冲突”问题。与其在模型合并之后再去修复混乱，不如通过为每个任务分配大脑中专属的“隔音房间”，在混乱发生之前就将其预防。

这使我们能够拥有一个单一且强大的 AI 模型，能够胜任许多不同的工作，而无需为每一项工作都存储一个单独的模型。

技术摘要：揭示 LoRA 干扰：用于鲁棒模型合并的正交子空间

问题陈述
虽然针对特定任务对大型语言模型（LMs）进行微调可以获得强大的性能，但为每个任务维护独立的模型在存储和部署方面成本过高。模型合并提供了一种解决方案，即在不进行额外训练的情况下，将多个特定任务的模型组合成一个多任务模型。然而，现有的合并方法在应用于使用低秩自适应（LoRA）微调的模型时，往往会导致显著的性能退化。

作者认为，这种退化源于由参数与数据分布之间的相互作用驱动的参数干扰。具体而言，当合并 LoRA 模块（例如， $W_m = W_0 + B_1A_1 + B_2A_2$ ）时，来自一个任务的更新项（ $B_2A_2$ ）会对另一个任务（ $T_1$ ）的潜在特征（ $h_1$ ）产生非预期的“扰动”，使输出偏离预期的响应。现有的仅关注任务向量正交性或对齐性的无数据（data-free）方法，往往忽略了这种潜在特征与参数更新之间至关重要的相互作用。

方法论：OSRM
本文提出了用于鲁棒模型合并的正交子空间（Orthogonal Subspaces for Robust model Merging, OSRM），该方法在微调之前约束 LoRA 子空间，以最小化对非目标任务数据分布的干扰。

核心目标： 该方法旨在通过最小化 Frobenius 范数 $\|A_2 H_1^\top\|_F$ 来减少干扰项 $\|B_2A_2 h_1\|$ ，其中 $H_1$ 代表来自不同任务（ $T_1$ ）的样本的潜在特征矩阵。
解析解： 为了避免平凡解（例如 $A_2=0$ ）并保持表示能力，作者施加了一个约束，即 $A_2$ 必须具有正交行（ $A_2 A_2^\top = I$ ）。在此约束下，利用样本协方差矩阵 $S = \frac{1}{k-1}H^\top H$ 的特征分解，可以解析地推导出 $A_2$ 的最优初始化方式。具体而言， $A_2$ 使用对应于 $S$ 的最小特征值的特征向量进行初始化。这使得 LoRA 子空间处于非目标数据方差极小的方向上。
实际扩展：
- 微调期间的松弛： 虽然理论解建议冻结 $A_2$ ，但作者发现这会降低单任务准确率。因此，他们仅将解析解用作 $A_2$ 的初始化，允许其在微调过程中进行更新。实验结果显示，其与初始正交状态的偏差很小（约 14%），从而保证了该方法的有效性。
- 可扩展性与隐私性： 对于合并 $N$ 个任务，该方法聚合了除目标任务 $T_t$ 之外的所有任务的潜在特征。为了减少内存使用并解决隐私问题，作者建议在拼接前对样本级潜在特征进行平均处理。
- 事后应用（Post-Hoc Application）： 该方法可以扩展到现有的 LoRA 模块，通过使用 OSRM 推导出的基底对已学习的权重进行分解，尽管这可能会带来一些性能损失。

核心贡献

识别数据-参数相互作用： 本文强调，LoRA 合并中的参数干扰不仅是权重冲突的问题，还与参数如何与特定数据分布相互作用密切相关。
微调前的约束： 不同于以往在合并期间或之后进行操作的工作，OSRM 通过将 LoRA 子空间初始化为与无关数据分布正交，在微调之前进行干预。
即插即用集成： 该方法旨在与现有的合并算法（如 Task Arithmetic, Fisher Merging, TIES, RegMean, EMR）无缝集成，无需修改合并逻辑本身。
鲁棒性： 该方法展示了对超参数（如缩放系数、样本量和任务数量）较低的敏感性。

实验结果
作者在 GLUE 基准测试的八个数据集上，使用 三种广泛使用的语言模型（RoBERTa-large, T5-large, Llama3.2-1B）以及 两个更大的语言模型（Llama3.2-3B, Llama3-8B）对 OSRM 进行了评估。

性能提升： 在所有测试的模型和合并技术中，OSRM 始终优于现有的合并基线。
- 在 RoBERTa-large 上，OSRM 相比基线显著提升了平均性能（例如，在 Task Arithmetic 中 CoLA 提升了 +13%，在 Fisher Merging 中 MNLI 提升了 +21%）。
- 在 T5-large 上，它在 RegMean（平均 +3.76%）和 Fisher（平均 +7.9%）上大幅超越了基线。
- 在 Llama3.2-1B 和 3B 上，OSRM 在 TA, RegMean, TIES 和 EMR 上均超过了基线，单任务提升最高达 12.78%。
单任务保留： 该方法对单任务准确率的影响极小（平均差距 <1%），且通常能超越基线的单任务性能。
鲁棒性：
- 缩放系数： OSRM 在广泛的缩放系数范围（ $\lambda \in [0.1, 1.3]$ ）内保持了卓越的性能，而基线模型则表现出更高的敏感性。
- 样本量： 该方法在仅有 100 个样本进行初始化的情况下依然表现良好。
- 任务数量： 随着合并任务数量（ $N > 5$ ）的增加，性能优势变得更加显著。

意义与主张
本文声称 OSRM 提供了一种可泛化的策略，通过显式处理数据与参数的相互作用，更有效地组合 LoRA 模型。作者强调，其方法提供了一种即插即用的解决方案，在增强合并性能的同时保留了单任务准确率。他们认为，考虑数据-参数的相互作用对于实现鲁棒的模型合并至关重要，这超越了单纯关注权重对齐的无数据策略。结果表明，在微调前约束 LoRA 子空间是减轻目前困扰 LoRA 模型合并的非预期输出偏移的关键步骤。

核心问题：“厨师太多”的场景

论文的解决方案：“隔音房间”

它是如何运作的（“魔术技巧”）

论文的研究发现

总结

技术摘要：揭示 LoRA 干扰：用于鲁棒模型合并的正交子空间

类似论文