💬 NLP

LoRA-FA: Efficient and Effective Low Rank Representation Fine-tuning

该论文提出了一种名为 LoRA-FA 的高效微调方法，通过冻结 LoRA 中的投影下矩阵 A 并引入闭式梯度修正，在显著降低显存占用和计算负载的同时，实现了与全参数微调及现有 PEFT 方法相当的性能。

原作者： Longteng Zhang, Lin Zhang, Shaohuai Shi, Xiaowen Chu, Bo Li

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Longteng Zhang, Lin Zhang, Shaohuai Shi, Xiaowen Chu, Bo Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 LoRA-FA 的新方法，它能让大型人工智能模型（LLM）变得更聪明、更省钱、更省内存。

为了让你轻松理解，我们可以把训练大模型想象成装修一栋巨大的摩天大楼。

1. 背景：为什么我们需要“装修”？

全量微调（Full-FT）： 就像要把整栋大楼的每一块砖、每一根钢筋都重新打磨一遍。虽然效果最好，但这需要巨大的工程队（算力）和仓库（显存），普通公司根本玩不起，甚至会把大楼压垮（显存爆炸）。
LoRA（现有方法）： 为了省钱，工程师们想出了个妙招：不动大楼主体，只在墙上贴一些轻便的“装饰贴纸”（低秩适配器）。训练时只动这些贴纸，不动大楼。这大大节省了成本。
- 问题： 这种“贴纸法”虽然便宜，但有时候效果不如“全量打磨”好。而且，贴贴纸的过程本身也很占地方，因为你需要同时记住“怎么贴”和“贴上去的样子”（需要存储中间激活值），导致内存还是不够用。

2. 核心发现：LoRA 的秘密不对称性

作者发现，LoRA 的“贴纸”其实是由两部分组成的：

A 矩阵（向下投影）： 像是一个压缩器，把大楼原本巨大的信息压缩成一小段。
B 矩阵（向上投影）： 像是一个扩展器，把压缩后的小段信息还原并贴回墙上。

LoRA-FA 的惊人发现：
作者发现，只要把压缩器（A） 固定住，不再动它，只训练扩展器（B），效果竟然和两个都动差不多！

比喻： 想象你在做一道菜。以前你觉得必须同时调整“切菜刀法”（A）和“炒菜火候”（B）才能好吃。但作者发现，只要刀法固定不变，只疯狂优化火候，做出来的菜味道一样好，甚至更好！

3. LoRA-FA 是怎么工作的？（三大优势）

优势一：更省内存（像把行李塞进小背包）

传统 LoRA： 在训练时，你需要同时记住“压缩过程”和“还原过程”的中间状态，就像背着一个巨大的登山包，里面塞满了各种工具。
LoRA-FA： 既然“压缩器（A）”是固定的，我们就不需要记住它产生的中间数据了。
比喻： 这就像你不再需要背着沉重的登山包，而是把里面的工具都扔了，只背一个小腰包。结果就是，原本需要 80GB 显存才能跑的任务，现在52GB 就能跑，甚至能在普通的消费级显卡上运行。

优势二：更聪明（用数学公式“作弊”）

虽然只训练一半的参数（只动 B），但作者发现，只要给 B 的梯度（学习方向）加一个数学修正公式，就能完美模拟出“全量打磨”的效果。
比喻： 就像你只有一只手在画画，但通过一种特殊的“透视技巧”（数学修正），画出来的画看起来和用两只手画的一样完美。

优势三：跑得更快

因为少算了一部分东西（不需要算 A 的前向和反向传播），而且内存小了，可以一次处理更多的数据（Batch Size 更大）。
比喻： 以前因为背包太重，你只能慢慢走；现在背包轻了，你不仅能跑起来，还能一次多带几个客人（更大的批量），效率翻倍。

4. 实验结果：真的好用吗？

作者在各种测试中（比如做数学题、写代码、聊天对话）都验证了 LoRA-FA：

效果： 它的表现完全媲美甚至超过了那些昂贵的“全量打磨”方法，也吊打现有的各种“贴纸法”。
兼容性： 它不仅能用在普通模型上，还能用在那些超大的、复杂的模型（如 MoE 架构）上。
硬件友好： 它是目前唯一能在普通显卡（如 RTX 4090）上处理超长文本序列的方法，而传统方法直接会“内存溢出”（OOM）。

总结

LoRA-FA 就像是给大模型装修行业带来了一场革命：
它告诉我们，不需要把整栋大楼拆了重盖，也不需要背着沉重的工具包。 只要固定住压缩工具，只优化扩展工具，并加一点数学魔法，就能用一半的内存和更快的速度，达到最好的装修效果。

这对于那些没有超级计算机、只有普通显卡的研究者和开发者来说，简直是一个巨大的福音。

LoRA-FA 技术总结

1. 研究背景与问题 (Problem)

背景：
大型语言模型（LLM）的微调对于提升其在下游任务中的表现至关重要。然而，全参数微调（Full-FT）需要巨大的计算资源和显存（例如微调 Llama3-70B 需要超过 1TB 显存），这使得其难以普及。参数高效微调（PEFT）方法，特别是低秩适应（LoRA），通过仅优化少量参数解决了显存瓶颈，并已成为主流。

核心问题：
尽管 LoRA 效率高，但在某些场景下其性能仍低于全参数微调（Full-FT）。现有研究试图通过改进初始化或近似梯度来缩小这一差距，但往往忽略了 LoRA 中两个低秩矩阵 $A$ （降维投影）和 $B$ （升维投影）在更新权重 $W$ 时的非对称性（Asymmetry）。
具体而言，LoRA 的更新公式为 $\Delta W = \frac{\alpha}{r} AB$ 。现有的梯度近似方法通常同时更新 $A$ 和 $B$ ，导致需要存储 $A$ 和 $B$ 的前向激活值，这在长序列或大 Batch 场景下构成了显存和计算的主要开销。此外，LoRA 的低秩梯度子空间限制了其表达能力，导致与 Full-FT 存在性能差距。

2. 方法论 (Methodology)

本文提出了 LoRA-FA (LoRA by Fixing A)，一种高效且有效的微调方法。其核心思想基于以下理论洞察：

2.1 理论洞察：非对称性与坍缩结构

作者发现 LoRA 的更新过程具有**非对称且可坍缩（Collapsible）**的结构：

定理 3.1 证明：在 LoRA 优化过程中，如果 $A$ 和 $B$ 都是满秩矩阵，那么 $W$ 的低秩更新 $\Delta W = A^*B^*$ 可以等价地表示为仅训练一侧适配器（例如固定 $A$ ，仅训练 $B$ ）的单层线性回归。
这意味着 LoRA 的表达能力并不依赖于同时训练 $A$ 和 $B$ ，固定其中一方（如 $A$ ）不会牺牲模型的表达能力。

2.2 核心方法：LoRA-FA

基于上述洞察，LoRA-FA 采取以下策略：

冻结矩阵 A：在微调过程中，固定投影矩阵 $A$ （通常随机初始化），仅训练投影矩阵 $B$ 。
梯度修正（Gradient Correction）：
- 由于仅训练 $B$ ，其诱导的低秩梯度 $\hat{g}_{LoRA-FA} = \frac{\alpha}{r} A g_B$ 与全参数梯度 $g$ 存在差异。
- 作者推导出了**闭式解（Closed-form solution）**来修正 $B$ 的梯度，以最小化低秩梯度与全梯度的差异：
  $g_B = \left(\frac{r}{\alpha}\right)^2 (A^\top A)^{-1} g_B^{LoRA-FA}$
- 该修正项 $(A^\top A)^{-1}$ 可以在训练前预计算（因为 $A$ 固定），且 $A^\top A$ 的维度仅为 $r \times r$ （ $r$ 很小），计算开销极低。
LoRA-FB：同理，也可以冻结 $B$ 仅训练 $A$ ，但 LoRA-FA 在系统效率上更优（见下文）。

2.3 系统效率优势

显存优化：在标准 LoRA 中，反向传播需要存储 $X$ （输入）和 $XA$（中间激活）。在 LoRA-FA 中，由于 $A$ 固定，前向传播只需计算 $XA $，且反向传播仅需存储较小的中间激活$ XA $（维度$ b \times s \times r $），而无需存储完整的输入激活$ X $（维度$ b \times s \times d $）。由于$ r \ll d$，这显著降低了激活显存。
计算优化：由于 $A$ 固定， $(A^\top A)^{-1}$ 可预计算，且梯度计算图简化，便于算子融合（Operator Fusion），提升了计算效率。

3. 主要贡献 (Key Contributions)

理论发现：首次揭示了 LoRA 中 $A$ 和 $B$ 在更新 $W$ 时的非对称性，证明了低秩更新可以坍缩为单层线性回归，即仅需训练一侧适配器即可保持表达能力。
提出 LoRA-FA：提出了一种冻结 $A$ 仅训练 $B$ 并配合闭式梯度修正的新方法。该方法不仅保持了与 Full-FT 相当的性能，还显著降低了显存和计算开销。
广泛的实验验证：在 GLUE、GSM8K、MT-Bench、HumanEval 等多个基准测试上，LoRA-FA 在多种模型（RoBERTa, Llama2/3, Qwen, DeepSeek）上均取得了与 Full-FT 及其他先进 PEFT 方法（如 LoRA-Pro, LoRA-GA）相当甚至更优的性能。
系统效率突破：实验表明，LoRA-FA 显著减少了激活显存消耗，使得在显存受限的 GPU（如 24GB 的 RTX 4090）上微调长序列 LLM 成为可能，且模型 FLOPs 利用率（MFU）优于其他 PEFT 方法。

4. 实验结果 (Results)

4.1 性能表现

GLUE 基准：在 RoBERTa-base/large 上，LoRA-FA 的平均得分（87.5% / 90.0%）超过了 Full-FT（87.3% / 89.8%），并显著优于标准 LoRA。
领域特定任务：
- 数学推理 (GSM8K)：在 Llama2-7B 上，LoRA-FA (rank 64) 达到 57.0%，接近 Full-FT (59.5%)，远超标准 LoRA (42.9%)。
- 代码生成 (HumanEval)：LoRA-FA (rank 128) 在 Llama2-7B 上达到 33.9%，显著优于标准 LoRA (14.8%)。
- 对话能力 (MT-Bench)：LoRA-FA 表现与 LoRA-Pro 和 LoRA-GA 相当，甚至在某些配置下更优。
大模型扩展性：在 Qwen3-8B 和 DeepSeek-v2-lite 上，LoRA-FA 的表现与 LoRA-Pro 持平，证明了其在大规模模型上的有效性。

4.2 系统效率

显存占用：在微调 Llama2-7B 时，LoRA-FA 的显存占用仅为 52.2 GB，而标准 LoRA 和其他方法（如 LoRA-Pro, QLoRA）在相同设置下均因显存不足（OOM）而失败（需 >80GB）。LoRA-FA 比标准 LoRA 节省了超过 27.8 GB 的显存。
Batch Size 扩展：得益于显存节省，LoRA-FA 支持更大的 Batch Size（从 8 扩展到 12），进一步提升了训练吞吐量。
MFU (模型 FLOPs 利用率)：LoRA-FA 的 MFU 与标准 LoRA 相当或更高，且显著优于 LoRA-Pro（后者因复杂的梯度近似导致 MFU 极低）。

4.3 初始化分析

实验表明，虽然 $A$ 被冻结，但其初始化分布会影响性能。研究发现， $A$ 在训练后倾向于呈现高斯分布。因此，使用高斯分布初始化 $A$ （特别是 Down-projection 层）能获得最佳性能。

5. 意义与影响 (Significance)

打破性能与效率的权衡：LoRA-FA 证明了通过简单的结构修改（冻结一侧）和数学修正（梯度闭式解），可以在不牺牲微调性能的前提下，大幅降低资源需求。
推动长序列与大规模模型微调：通过显著降低激活显存，LoRA-FA 使得在消费级显卡（如 RTX 4090）上微调长上下文（Long-context）的大语言模型成为可能，降低了 AI 研究的门槛。
理论指导实践：该工作揭示了 LoRA 内部结构的非对称性，为未来设计更高效的 PEFT 方法提供了新的理论视角（即利用结构坍缩特性）。
兼容性：LoRA-FA 可以与现有的优化技术（如 QLoRA 量化、ZeRO 分片、FlashAttention）无缝结合，进一步释放潜力。

总结：LoRA-FA 是一种“少即是多”的优雅解决方案，它通过冻结 $A$ 矩阵并利用闭式梯度修正，在保持甚至超越全参数微调性能的同时，实现了系统效率的质的飞跃，是 LLM 微调领域的一项重要进展。