🤖 machine learning

Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation

该论文介绍了 PrunedLoRA，这是一个采用基于梯度的结构化剪枝来动态分配秩，并从过参数化空间中获取高表达力低秩适配器的创新框架，在理论上证明了其鲁棒性，并在经验上证明了其在多种微调任务中相比现有 LoRA 变体和剪枝方法具有更优越的性能。

原作者： Xin Yu, Cong Xie, Xunmei Liu, Tiantian Fan, Lingzhou Xue, Zhi Zhang

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xin Yu, Cong Xie, Xunmei Liu, Tiantian Fan, Lingzhou Xue, Zhi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个巨大的、超级聪明的机器人学习一种新语言或解决某种特定类型的谜题。这个机器人已经知识渊博，但它非常巨大——如此之大，以至于通过重写它的整个大脑来教它一个新技巧将耗费永恒的时间，并且需要一台像仓库一样大的计算机。这就是“大语言模型”的世界，科学家们一直在寻找方法，在不破坏预算或计算机的前提下，教这些巨头掌握新技能。

为了解决这个问题，研究人员发明了一个聪明的技巧，叫做 LoRA（低秩自适应）。把 LoRA 想象成一个巧妙的笔记本，它被添加到了这个巨大的图书馆旁边。你不需要重写图书馆里的每一本书来教它一项新技能，你只需要训练这个小巧、轻量级的笔记本。当你需要机器人回答问题时，它会同时阅读主图书馆和这个小笔记本。这既快速又便宜，而且高效。然而，这里有一个陷阱：因为笔记本太小了，它有时会错过完整重写大脑所能捕捉到的细微差别和细节。这就像尝试用仅仅三张便利贴来解释一部复杂的电影剧情；你能明白大概意思，但失去了其中的神韵。

现在，这里有一个大问题：我们能否从一个更大、更具表现力的笔记本开始，以完美地学习细节，然后在学习完成后将其缩小到极小的尺寸，且不丢失那份神韵？这正是来自字节跳动 Seed 和宾夕法尼亚州立大学的一篇新论文所探讨的内容。他们提出了一种名为 PrunedLoRA 的方法。与其在训练的第一秒就强迫笔记本保持微小，不如让它先变大并自由学习。然后在训练过程中，我们扮演一名大师级的编辑，仔细地剪掉笔记本中不必要的部分，直到它重新变得紧凑。结果如何？一个极其微小、高效的适配器，它记住的内容几乎与重写整个巨大大脑一样多，却无需付出巨大的代价。

“先长后剪”策略的故事

研究人员注意到了一些有趣现象：如果你给 LoRA 笔记本更高的秩（基本上就是更多的页面），它会变得更聪明。事实上，如果你把它做得足够大，它的表现几乎能与重写整个机器人大脑的表现相媲美。但我们不能永远让它保持很大，因为我们需要它在最终产品中是微小的。所以，他们提出了一个问题：如果我们从大开始，然后变小呢？

于是有了 ProwedLoRA。想象一下，你正在雕刻一座雕像。旧的方法（标准 LoRA）就像是试图立即从一小块粘土中雕刻出最终的雕像。你受限于拥有的粘土量。新方法（PrunedLoRA）则像是从一块巨大的大理石开始。你在进行细节处理的同时，不断雕琢掉多余的石料，在创作过程中不断精炼形状。当你完成时，你拥有了一座完美的、紧凑的雕像，但在使用大理石块工作期间，你拥有了探索所有复杂细节的自由。

它是如何运作的：“智能剪刀”

PrunedLoRA 的魔力在于它如何裁剪笔记本。决定剪掉什么的办法主要有两种：

“激活”法（Activation Method）： 这观察笔记本中某个部分目前被使用的频率。如果一个页面很少被阅读，就剪掉它。
“梯度”法（Gradient Method，论文的选择）： 这观察一个部分对机器人学习的帮助程度。它会问：“如果我移除这一页，机器对整个故事的理解会遭受多大的损失？”

该论文认为第二种方法要稳健得多。他们在关于机器人如何关注事物（称为“自注意力机制”）的简化模型上进行了模拟，发现“梯度”法在处理错误时表现更好。如果你不小心扰动了权重（笔记本内部的数字），“激活”法可能会破坏整个故事，但“梯度”法能保持故事的完整。这就像是根据看起来松动就剪断一根线（激活法），与因为你知道它并不支撑结构而剪断一根线（梯度法）之间的区别。后者要安全得多。

结果：以微小的足迹赢得巨大胜利

团队在一些最难的 AI 任务上测试了该方法：解决数学问题、编写代码以及理解人类语言。他们将这种“先长后剪”的方法与标准的微型笔记本、其他花哨的微型笔记本版本，甚至是大规模的“重写整个大脑”的方法进行了对比。

以下是他们的发现：

即使起始规模适中： 如果他们从比最终目标大两倍的笔记本开始（例如，从 64 页开始并修剪到 8 页），PrunedLoRA 仍然击败了标准的微型笔记本。它在数学测试 (GSM8K) 和编程挑战 (HumanEval) 中获得了更高的分数。
拥有大预算时： 如果允许他们使用一个巨大的笔记本（高达 512 页）并将其修剪到 64 页，结果令人惊叹。PrunedLoRA 模型的数学得分达到了 74.88，编程得分达到了 48.31。这些数字与“全参数微调”（即重写整个大脑）的得分 73.48 和 48.28 极其接近。
成本： 最棒的部分是？尽管他们从更大的笔记本开始，但训练所需的内存仍然远低于重写整个大脑。例如，训练一个秩为 64 的标准 LoRA 大约需要 2 小时 28 分钟。PrunedLoRA，即使起始秩很高，也仅需大约 2 小时 29 分钟 到 3 小时 23 分钟（取决于起始大小）。“修剪”过程带来的额外时间微乎其微——仅需几分钟。

为什么这很重要

该论文表明，我们不必在“笨拙但微小”的适配器和“聪明但巨大”的适配器之间做选择。通过使用一种由机器人学习数学逻辑（梯度）引导的结构化剪枝策略，我们可以在一个宽敞的、过度参数化的世界中进行训练，然后将其压缩成一个精简、高效的工具。

对于任何想要在自己的设备上运行 AI，或者需要为数千个不同任务提供服务的公司来说，这都是一件大事。PrunedLoRA 表明，只要你愿意从宏大开始，并用正确的剪刀剪掉赘肉，你就可以既拥有“蛋糕”（高性能），又“吃掉蛋糕”（低内存成本）。作者展示了这种方法在不同的“稀疏度”（即你剪掉了多少）水平下都能奏效，并且始终优于其他尝试剪枝模型的方案。这提醒我们，有时为了获得最好的微小结果，你需要有勇气从宏大开始。

技术摘要：PrunedLoRA —— 用于紧凑低秩自适应的结构化压缩

1. 问题陈述

低秩自适应（LoRA）已成为通过在预训练权重中注入可训练低秩矩阵来高效微调大语言模型（LLMs）的标准范式。然而，由于受到低秩约束的限制，LoRA 的表示能力有限，导致其表现往往逊于全参数微调（FFT）。

现有的弥补这一差距的方法主要分为两类：

严格的低秩约束： 在固定的、较小的参数空间内运行的方法往往无法捕捉到 FFT 所具备的丰富表示能力。
过度参数化学习： 通过投影（例如梯度压缩）来学习全量参数并进行压缩的方法虽然提升了性能，但会导致每个任务都产生一个全尺寸的模型，从而抵消了 LoRA 在内存和推理效率方面的优势。

本文解决的核心挑战是：如何从过度参数化的设置中识别出具有高代表性的低秩适配器，从而在保持紧凑适配器部署效率的同时，实现接近全参数微调（FFT）的性能？

2. 方法论：PrunedLoRA

作者提出了 PrunedLoRA，这是一个结构化剪枝框架，它在过度参数化的低秩适配器空间中进行训练，并将其动态压缩为紧凑的最终适配器。

核心动机

更高的秩带来更好的性能： 实证观察表明，增加 LoRA 的秩可以提高性能，并逐渐向 FFT 靠拢。这表明，使用较大的初始秩可以提供足够的表示能力。
分解剪枝： 在 LoRA 中，更新量为 $\Delta W = BA$ ，其中 $B \in \mathbb{R}^{m \times r}$ 且 $A \in \mathbb{R}^{r \times n}$ 。 $B$ 的列和 $A$ 的行分别对应于更新的列空间和行空间。直接对这些子模块进行剪枝比对完整的权重矩阵进行剪枝更高效且更自然。

算法框架

与以往（如 AdaLoRA）采用固定秩预算或从预定义的小集合中进行选择的方法不同，PrunedLoRA 从一个较大的初始秩开始，并在微调过程中逐步对其进行剪枝。该过程包括：

基于梯度的结构化剪枝： 该方法将剪枝建模为一个优化问题，旨在最小化由权重扰动引起的损失。它利用了损失函数的二阶泰勒展开：
$L(W + \delta) \approx L(W) + \langle \nabla_W L, \delta \rangle + \frac{1}{2}\text{tr}(\delta^\top \hat{H} \delta)$
其中 $\hat{H}$ 是海森矩阵（Hessian）的一个近似值（例如经验费雪信息矩阵/empirical Fisher）。
最优更新与掩码选择： 算法通过求解最优剪枝掩码（ $M_s$ $M_{s}$ ）和权重更新量（ $\delta$ $δ$ ）来最小化扰动误差。该解涉及一个二阶牛顿步（Newton step）和一个投影修正，以确保剪枝后的权重保持为零。
- 剪枝指标被推导为一个基于在海森加权二次度量下更新后权重值的“显著性”（saliency）项。
A 和 B 的联合剪枝： 掩码 $M_s$ 同时控制 $B$ 的列稀疏性和 $A$ 的行稀疏性。通过计算海森估计值 $\hat{H}_A$ 和 $\hat{H}_B$ ，分别捕捉行向和列向的相关性。
迭代过程： 该过程循环执行搜索、更新和标准微调步骤，直到达到目标秩。

理论分析

论文通过一个程式化的自注意力模型，对权重扰动下的结构化剪枝的鲁棒性进行了理论分析。

命题 1： 它确立了基于梯度的剪枝在针对整体损失的权重扰动方面，比基于激活的剪枝更具鲁棒性。
推理： 基于激活的方法优化的是重构目标，并依赖于模块的大小，这可能会引入更高的敏感性。而基于梯度的方法能更忠实地保留全局相关性，从而在扰动下导致更稳定的损失行为。

3. 核心贡献

PrunedLoRA 框架： 一种通过从过度参数化初始化中进行结构化剪枝来识别代表性低秩适配器的新方法。它将低秩约束推迟到训练结束，从而实现了灵活且自适应的秩分配。
理论鲁棒性分析： 首次对基于梯度和基于激活的结构化剪枝进行理论对比分析的论文之一。它证明了在程式化设定下，基于梯度的方法在整体损失的权重扰动方面更具鲁棒性。
细粒度剪枝解释： 作者对二阶方法的剪枝指标（显著性）提供了明确的解释，将其与在海森加权度量下最小化更新后权重的重要性联系起来。
实证优越性： 大量实验表明，PrunedLoRA 在多种任务（数学推理、代码生成、NLU）中缩小了 LoRA 与 FFT 之间的差距，并且在各种稀疏水平下均优于现有的结构化剪枝方法。

4. 实验结果

作者在 Llama-3-8B 和 T5-base 模型上，针对对话生成、数学推理（GSM8K）、代码生成（HumanEval）和自然语言理解（GLUE）进行了评估。

性能对比基准：
- 内存受限阶段： 在中等初始化规模下（例如初始秩 64，目标秩 8），PrunedLoRA 显著优于标准的 LoRA 和 DoRA。例如，在 GSM8K 上，PrredLoRA (init 64 $\to$ 8) 达到了 69.02，而 LoRA 为 65.27。
- 高预算阶段： 在较大的初始化规模下（例如初始秩 512，目标秩 64），PrunedLoRA 接近全参数微调的性能。在 GSM8K 上，它达到了 74.88，非常接近 FFT 的 73.48（注：论文指出 FFT 为 73.48，PrunedLoRA 为 74.88，略高于 FFT，这可能是由于特定的种子或配置，但趋势是趋同的）。
- 变体对比： 它在不同的目标秩下始终优于 AdaLoRA 及其他结构化剪枝基准（如 SparseGPT、LLM-Pruner）。
效率：
- 内存： 即使使用高初始秩（如 512），峰值内存成本仍远低于全参数微调。
- 时间： 剪枝过程仅增加了轻微的开销。例如，在 GSM8K 上，使用 512 初始秩进行剪枝仅为总训练时间增加了约 23 分钟。
- 部署： 最终输出是一个紧凑的适配器，保留了推理效率。

5. 重要性与主张

本文声称，PrunedLoRA 提供了一种原则性的方法，通过利用过度参数化空间的表示能力，在不牺牲部署效率的前提下获得紧凑且高性能的适配器。

实际影响： 该方法在实际的内存受限场景（在相同部署秩下优于标准 LoRA）以及可以使用更高训练预算的场景（缩小与 FFT 的差距）中均表现出色。
理论洞察： 它为为什么基于梯度的剪枝在损失鲁棒性方面优于基于激活的剪枝提供了坚实的理解，为未来的结构化剪枝研究提供了理论基础。
多租户价值： 作者强调，在多租户服务环境中，许多特定任务适配器的长期推理占用使得紧凑适配器的质量变得至关重要，这证明了为了获得更好的最终适配器而承担略高的训练成本是值得的。

作者对理论范围保持了谦逊的态度，承认其鲁棒性分析是在程式化假设下得出的，将这些保证扩展到现实的大规模训练动态中仍是一个开放的方向。