🤖 machine learning

Beyond LoRA: Is Sparsity-Induced Adaptation Better?

本文提出并评估了稀疏、参数高效的 LoRA 变体（cLA 和 ${c}^3$ LA），这些变体尽管存在理论和经验上的泛化误差界限，但在多种模型和数据集上均实现了具有竞争力的性能，同时与标准方法相比减少了训练时间和 GPU 显存占用。

原作者： Elijah Cadenhead, Cristian McGee, Xin Li, El Houcine Bergou, Aritra Dutta

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Elijah Cadenhead, Cristian McGee, Xin Li, El Houcine Bergou, Aritra Dutta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：调教一个庞大的管弦乐团

想象你拥有一个规模宏大、世界级的管弦乐团（预训练模型），他们几乎能演奏任何曲目。然而，你需要他们为一个小镇节日演奏一段非常特定的新乐曲（下游任务）。

全量微调 (Full Fine-Tuning, FFT)： 这就像是雇佣一位新的指挥家，为乐团中的每一件乐器重新编写乐谱。听起来效果很棒，但成本极高，耗时极长，而且需要一个巨大的排练厅（GPU 显存）。
LoRA (低秩自适应)： 这是目前流行的方法。你不需要重写所有内容，而是给乐团一个小型、便携的“适配器”盒。你只需要调整这个盒子内部的设置，就能让乐团的声音契合新乐曲。它既便宜又快速。
问题所在： 尽管 LoRA 更便宜，但研究人员在想：我们是不是太浪费了？ 我们真的需要调节那个适配器盒子里每一个旋钮吗？或者，我们是否可以通过只调节其中几个特定的旋钮，就获得同样出色的音效？

新思路：“廉价 LoRA” (cLA)

作者提出了一种新的调教乐团的方法，称为稀疏诱导自适应 (Splicity-Induced Adaptation)。你可以将其视为 “廉价 LoRA” (cLA)。

想象适配器盒子上有一个带有 1,000 个旋钮的面板。标准的 LoRA 允许你转动所有的旋钮。作者说：“让我们用胶带把其中 90% 的旋钮封起来，让它们无法移动。”

诀窍： 他们只允许适配器的“可训练”部分接触一组特定的、具有结构性的列（比如只接触前 10% 的旋钮）。
结果： 你是在迫使模型使用一个更小、更受限的“子空间”来进行学习。这就像是尝试仅用有限的调色板来创作一幅杰作。令人惊讶的是，这幅画作的效果往往同样出色，但你使用的颜料更少，花费的时间也更短。

他们还创建了一个“链式”版本 (c3LA)。想象一下，如果你无法同时触及所有的旋钮，那么你可以先画前 10%，然后移动胶带，再画接下来的 10%，以此类推，直到随着时间的推移覆盖整个面板。这确保了你最终还是能触及所有部分，但每次都是以高效的小块进行。

研究发现 (实验部分)

团队在 10 个不同的“乐团”（AI 模型）和 14 种不同的“乐曲”（如编写代码、识别图像或回答逻辑问题等任务）上测试了这个想法。

性能： 在许多情况下，这些“廉价”方法的表现与标准的、昂贵的 LoRA 方法一样好。有时甚至更好。
效率： 由于忽略了许多旋钮，训练速度快了 10%，且使用了少 15% 的计算机内存。
“秩” (Rank) 的因素： 他们发现，如果你限制得太过分（旋钮太少），模型会表现挣扎。但如果你给予适度的自由（较高的“秩”），它就会运作得非常完美。这是一种在限制与自由之间的平衡。

理论依据：为什么有效

作者不仅仅是在猜测；他们进行了数学推导。他们创建了一个理论上的“安全网”（泛化界限/Generalization Bounds），以证明将模型限制在这些特定列中并不会导致模型“忘记”已学到的知识，也不会导致过拟合（即过度死记硬背训练数据）。

他们从数学上证明，这些稀疏方法与全量方法相比，拥有相同的“理论天花板”。这就像是证明了一辆发动机较小的汽车，只要驾驶员技术足够高超，依然可以在平坦的道路上达到同样的最高时速。

“损失平面”之谜

论文还研究了所谓的损失平面 (Loss Landscape)。想象训练过程就像一名徒步旅行者试图寻找山谷中的最低点（即最佳解决方案）。

旧观点： 曾有人认为“尖锐”的山谷（非常陡峭、狭窄的底部）是坏事，因为这意味着模型过于敏感，且泛化能力较差。
惊喜之处： 作者发现，即使他们的“廉价 LoRA”方法创造了尖锐的山谷，模型仍然表现出了良好的泛化能力（表现出色）。这表明，关于“尖锐 = 坏”的旧规则可能并不总是适用于这类特定的 AI 微调。

与 “PaCA” 的联系

还有一种名为 PaCA（部分连接自适应/Partial Connection Adaptation）的方法，它也试图通过只触及模型的某些部分来节省内存。作者意识到，他们的“廉价 LoRA”实际上是标准 LoRA 方法与 PaCA 之间的一座桥梁。他们展示了其方法的数学逻辑和结果可以应用于 PaCA，从而帮助这两类方法共同进步。

总结

该论文认为，我们不需要微调 AI 适配器的每一个部分就能获得出色的结果。通过使用结构化稀疏性（有意识地让某些部分保持不动或以特定的模式移动），我们可以：

更快地训练模型。
使用更少的内存。
获得与当前标准方法相当甚至更好的结果。

这是一种向“以少胜多”迈进的尝试，证明了有时，适度的限制实际上是实现高效的“超能力”。

技术摘要：超越 LoRA：稀疏诱导适配是否更优？

问题陈述

虽然低秩自适应（LoRA）及其变体已成为预训练模型进行全参数微调（FFT）之外的高效内存与计算替代方案，但关于其比较泛化能力以及结构化低秩更新的极限仍存在重大疑问。现有文献缺乏对极端稀疏性和结构化低中秩约束如何影响不同任务和模型性能的清晰理解。此外，现有的基准测试往往得出模棱两可的结果，且理论工具（如损失平面锐度与入侵维度）有时会与经验泛化指标相矛盾。随着模型规模的增长和硬件约束的收紧——特别是在边缘计算和物联网部署领域——探索能够在不牺牲性能的前提下诱导稀疏性的参数高效微调（PEFT）方法具有实际的紧迫性。

方法论

作者提出了一个微调的历史框架，从过去（FFT 和原始 LoRA）到现状（各种 Lo LoRA 变体，如 CoLA、Asymmetric LoRA 和 RAC-LoRA），再到提出的“未来”——以通过稀疏性诱导实现极高效率为特征。

提出的变体

本文引入了四种更简单、更廉价且参数高效的现有 SOTA LoRA 变体扩展，通过在适配过程中诱导稀疏性来实现：

廉价 LoRA (cLA)： Asymmetric LoRA 的一种结构化实例，其中一个低秩因子（ $A$ ）被确定性地固定为单位矩阵与零矩阵的拼接（ $A = [I_r | 0]$ ）。这限制了学习过程仅限于预训练权重的一个特定的 $r$ 列子空间。只有矩阵 $B$ 是可训练的。
随机化 cLA (r-cLA)： cLA 的随机化变体，其中固定的矩阵 $A$ 使用随机排列的列进行初始化。
链式循环廉价 LoRA (c3LA)： cLA 的一种扩展，利用了带有结构化偏移的链式结构（类似于 CoLA）。固定矩阵 $A$ 中的单位块在每个后续链步骤中通过 $r$ 列进行偏移，从而确保在足够的 epoch 和链长度下，预训练权重的所有元素都能得到更新。
随机化 c3LA (r-c3LA)： 链式循环方法的随机化版本。

理论框架

作者推导了这些变体的信息论泛化误差界限。他们将 cLA 视为全参数微调的一种受控列子空间限制。通过分析训练数据集与参数更新之间的互信息，他们建立了关于泛化误差（ $G(W)$ ）的上界，该上界将结构性限制（适配器秩、链长度、层维度）与过拟合风险联系起来。研究表明，这些界限与它们的非稀疏对应物相比，在某些情况下甚至更为紧致。

实验评估

本研究在以下领域进行了全面的定量评估：

11 种微调方法： 包括 FFT、标准 LoRA、CoLA、Asymmetric LoRA、RAC-LoRA、LoRA+ 以及提出的稀疏变体（cLA、c3LA、r-cLA、r-c3LA）。
10 个预训练模型： 涵盖 NLP（DeBERTa、RoBERTa、Llama 3、TinyLlama、GPT2）、视觉（ViT-Tiny、ViT-Base）和编程（DeepSeekCoder）。
14 个数据集： 覆盖 NLP（MRPC、CoLA、PAWS、TREC-50 等）、图像分类（OfficeHome、CIFAR-10）、代码生成（DJANGO）和逻辑推理（OpenBookQA、FOLIO、LogiQA、CLUTRR）。

评估指标包括测试准确率、经验泛化误差（通过损失间隙近似）、3D 损失平面、入侵维度、吞吐量、运行时间以及峰值 GPU 显存。

关键结果

性能与泛化

具有竞争力的准确率： 稀疏诱导变体（cLA、c3LA）在多种任务中与参数匹配的基准模型（如 Asymmetric LoRA、RAC-LoRA）保持了竞争力的水平。在许多情况下，它们能匹配甚至略微超过标准 LoRA 和 FFT，特别是在像 Llama 3 这样的大型模型上。
秩敏感性： 虽然稀疏变体在极低秩（例如针对 DeepSeekCoder 代码生成任务的 $r=16$ ）时可能表现较差，但随着秩的增加（例如 $r=64$ ），其性能差距显著缩小，并在特定场景下最终超越了非稀疏衍生方法。
泛化能力： 稀疏变体的经验泛化误差（ $G(W)$ ）通常与理论上界一致。值得注意的是，论文观察到 cLA 和 PaCA 的理论界限是相同的，且实验结果证实了相似的泛化行为。

效率与资源使用

训练时间： 尽管使用了未经优化的朴素稀疏实现，所提出的方法仍减少了约 5–10% 的训练时间。
显存占用： 与标准 LoRA 相比，峰值 GPU 显存使用量减少了高达 15%。
与 PaCA 的比较： 研究强调，所提出的稀疏 LoRA 变体充当了 LoRA（家族 A）与 PaCA（家族 B）之间的桥梁。虽然 PaCA 通过完全避免通过适配器的前向传播而获得了更高的吞吐量，但稀疏 LoRA 变体在保持在 LoRA 参数化框架内的同时，实现了相当的显存节省和泛化趋势。

诊断工具分析

论文批判性地评估了损失平面和入侵维度等工具。研究发现，这些工具并不总能与经验泛化误差或测试准确率保持一致。例如，FFT 往往产生最“尖锐”的损失平面（传统上与泛化能力差相关），但在特定设置下却表现出最低的泛化误差。这表明当前的诊断工具可能会产生假阳性，并且结合测试准确率和经验泛化误差是一种更可靠的选择标准。

意义与主张

本文声称通过结合理论泛化界限与经验评估，提供了一种更具原则性和一致性的 PEFT 方法选择方式。其主要贡献如下：

连接两个家族： 它建立了基于 LoRA 的重参数化与基于 PaCA 的部分连接适配之间的理论与经验联系，表明稀疏诱导的 LoRA 变体可以作为这两个家族之间的桥梁。
理论界限： 它提供了首个针对这些特定稀疏 LoRA 变体的信息论泛化误差界限，证明了将适配限制在稀疏、结构化的列空间内并不会本质上降低泛化能力。
实际效率： 它证明了简单的结构化稀疏性（cLA、c3LA）可以在不产生显著性能损失的前提下减少训练时间和显存需求，使其成为资源受限环境下的可行选择。
重新评估诊断工具： 它挑战了将损失平面锐度和入侵维度作为唯一泛化指标的做法，提倡采用包含经验泛化误差在内的更全面的视角。

作者得出结论，虽然没有哪种方法是对所有情况都最优的，但将 Lo-based PEFT 限制在稀疏、结构化的列空间中，提供了一种平衡了性能、泛化能力和计算效率的高性价比适配策略。他们强调，方法的选择应取决于具体的任务特征和用户约束，特别是可用的秩预算。