🤖 machine learning

AdaPreLoRA: Adafactor Preconditioned Low-Rank Adaptation

AdaPreLoRA 是一种新颖的 LoRA 优化器，它通过在权重空间采用基于 Adafactor 的对角 Kronecker 预条件器来解决因子空间预条件器的奇异性问题，并选择一种最小化 $H_t$ 加权不平衡的闭式因子更新，从而在保持低内存开销的同时，在多种模型和任务上实现具有竞争力的性能。

原作者： Ziyun Liu, Fengmiao Bian, Jian-Feng Cai

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziyun Liu, Fengmiao Bian, Jian-Feng Cai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文AdaPreLoRA的解释。

宏观图景：调优一座巨型图书馆

想象你拥有一座庞大且极其聪明的图书馆（即像 GPT 或 Mistral 这样的大型语言模型），它几乎已经阅读了世界上所有的书籍。你想要教会它一项新的、特定的技能，比如写诗或解决数学问题。

过去的方法是重写整座图书馆的目录，并重新整理每一本书。这种方法既缓慢又昂贵，还需要巨大的仓库（GPU 显存）。

LoRA（低秩自适应） 是一种更聪明的方法。与其重写整座图书馆，你只需在书籍上添加一套小巧便携的“便利贴”系统。你只训练这些便利贴（即两个小矩阵 $A$ 和 $B$ ），而保持原始图书馆完好无损。这节省了大量的空间和资金。

问题所在：“坏掉的指南针”

该论文指出了我们在更新这些便利贴时存在的一个具体问题。

想象你正试图利用一张地图来驾驶一艘船（模型）。

地图（ $W$ ）： 图书馆的全部权重。
方向盘（ $A$ 和 $B$ ）： 你实际正在转动的微小便利贴。

问题在于，方向盘与船只航向之间的连接是断裂的，或者说“秩亏”的。存在许多种转动方向盘的方式，却会导致船只产生完全相同的移动。这就像是一个螺丝松动的方向盘；你可以左右晃动它，但船只毫不在意。

由于这种“松动”，用于寻找最佳转向方向的标准数学工具（称为预条件子）会失效。它们无法告诉你唯一的最佳转向方式，因为存在无限种方法能达到相同的结果。现有的方法要么：

完全忽略地图，只是盲目猜测（Vanilla LoRA）。
试图通过进行巨大且昂贵的计算来修复断裂的连接，这需要再次存储整座图书馆（LoRA-Pro）。

解决方案：AdaPreLoRA

作者提出了AdaPreLoRA，这是一种无需额外仓库空间即可修复这种断裂连接的新方法。

其工作原理分步如下：

1. “智能指南针”（Adafactor 预条件子）

大多数方法使用一张简单平坦的地图（如基本指南针）来指导更新。而 AdaPreLoRA 使用了一个智能指南针（基于 Adafactor）。

类比： 想象你正在穿越一片森林。一张平坦的地图只会告诉你“向北走”。但一个智能指南针了解地形：“向北走，但因为有沼泽要减速，因为路径畅通所以要加速。”
这个指南针会观察图书馆的“地形”（梯度统计信息）来决定最佳方向。关键在于，它使用了一种“秩 -1 克罗内克”（rank-1 Kronecker）技巧，这是一种数学捷径，能将显存占用保持在极小水平。

2. “平衡团队”（Ht-Balance 准则）

还记得那个“松动螺丝”的问题吗？因为有无限种转动方向盘的方式能达到相同结果，数学计算会给你一整套解族。你需要从中挑选出唯一的一个。

现有方法要么随机选择一个解，要么通过简单的方式最小化“距离”。而 AdaPreLoRA 则基于平衡来选择解。

类比： 想象两个人（矩阵 A 和矩阵 B）一起推一辆沉重的推车。
- 如果 A 用 100% 的力气推，而 B 什么都不做，推车虽然会动，但团队是不平衡的。
- 如果 A 推 50%，B 也推 50%，团队就是平衡的。
- AdaPreLoRA 计算出“智能指南针”的方向，然后找到 A 和 B 具体的推法，使双方的努力程度完美平衡。它确保没有任何一个因子在承担所有重担，而另一个只是随波逐流。

为何更优

该论文声称，通过结合智能指南针（理解地形）与平衡团队策略（选择最高效的分工），AdaPreLoRA 实现了：

更好的性能： 与其他的 LoRA 方法相比，它学习得更快，在写作、推理和数学等任务上获得更高的分数。
相同的低成本： 与其他需要双倍显存（会导致计算机崩溃）的高级方法不同，AdaPreLoRA 保持在与基础方法相同的低显存“预算”内。它不需要存储整座图书馆，只需要那些微小的便利贴。

实验结果

作者在以下模型上测试了该方法：

GPT-2： 一个较小的语言模型。
Mistral-7B 和 Qwen2-7B： 拥有 70 亿参数的大型模型。
扩散模型： 生成图像的 AI（如 Stable Diffusion）。

在每一项测试中，AdaPreLoRA 要么表现最佳，要么并列最佳，经常击败那些使用了更多计算机显存的方法。它证明了：你不需要花费更多资金（显存）就能获得更好的结果；你只需要一种更聪明的驾驶船只的方法。

总结

AdaPreLoRA 是一种教授 AI 模型新技能的新方法。它通过利用“智能地图”来理解地形，并利用“平衡秤”来确保学习过程均匀分担，从而修复了当前更新这些模型时存在的数学缺陷。其结果是，无需昂贵的硬件，就能以更智能、更快速、更高效的方式定制 AI。

技术摘要：AdaPreLoRA

1. 问题陈述

低秩适应（LoRA）是一种标准的参数高效微调（PEFT）方法，它利用低秩因子 $B \in \mathbb{R}^{m \times r}$ 和 $A \in \mathbb{R}^{r \times n}$ 对权重更新 $W = BA $进行重参数化，将可训练参数从$ O(mn) $减少至$ O((m+n)r) $。然而，直接在因子空间$ [B, A] $中进行优化会引入一个根本性的几何障碍：由于规范冗余（即对于任意可逆矩阵$ C $，$ (B, A) \to (BC, C^{-1}A) $保持不变），将因子映射为权重的生成器映射的雅可比矩阵$ J_G$ 是秩亏的。

因此，在因子空间中由链式法则导出的自然预条件器 $J_G^* F_t J_G$ （其中 $F_t$ 是权重空间 $W$ 中基于梯度统计的预条件器）是奇异的。这种奇异性阻碍了将预条件后的权重空间方向唯一地映射回因子空间更新所需的逆运算。现有的 LoRA 优化器通过以下方式解决此问题：

忽略梯度统计：使用简单的对角近似或单位矩阵（例如 Vanilla LoRA、LoRA+），从而丢弃了 $F_t$ 中可用的曲率信息。
增加内存成本：维护完整的权重空间动量或使用需要 $O(mn)$ 内存的伪逆（例如 LoRA-Pro AdamW），这对于大语言模型（LLM）而言是难以承受的。
黎曼方法：在流形上采取步骤并进行回缩，但这通常缺乏针对特定预条件方向的闭式解。

目前仍缺乏一种优化器，它既能利用非平凡且感知梯度统计的预条件器 $F_t$ ，又能保持标准 LoRA 的 $O((m+n)r)$ 内存预算。

2. 方法论：AdaPreLoRA

作者提出了 AdaPreLoRA（Adafactor 预条件低秩适应），该算法在一个由两个选择定义的统一框架内运行：(i) 权重空间预条件器 $F_t$ ，以及 (ii) 从奇异线性系统的仿射解集中选择特定元素的规则。

A. 统一框架

优化问题被表述为求解一致的线性系统：
$J_G^* F_t J_G [\Delta B_t, \Delta A_t] = J_G^*(G_t)$
其中 $G_t$ 是权重空间中的梯度。由于 $J_G^* F_t J_G$ 是奇异的，解集是一个维度为 $r^2$ 的仿射子空间。挑战在于选择一个唯一的更新 $[\Delta B_t, \Delta A_t]$ ，使其尊重预条件器的度量。

B. 预条件器的选择 ( $F_t$ )

AdaPreLoRA 采用 Adafactor 对角克罗内克预条件器作为 $F_t$ ：
$F_t = L_t \otimes R_t$
其中 $L_t$ 和 $R_t$ 是存储平方梯度（ $G_t \odot G_t$ ）行和列统计信息的对角矩阵。选择这一预条件器的动机在于其能够捕捉梯度统计信息，同时仅需 $O(m+n)$ 的内存，使其成为最廉价的非平凡预条件器。算子平方根定义为 $H_t = F_t^{1/2}$ ，其作用为 $H_t Y = L_t^{1/2} Y R_t^{1/2}$ 。

C. 选择规则（ $H_t$ -平衡准则）

为了解决解集中 $r^2$ 维的歧义性，作者提出了一种特定的选择规则。虽然仿射集中的所有解都会产生相同的权重更新（即 $H_t^{-1}G_t$ 在切空间 $T_t$ 上的 $H_t$ -正交投影），但它们追踪的因子轨迹各不相同。

AdaPreLoRA 选择那个最小化权重更新中两个因子贡献之间 $H_t$ -不平衡 的唯一元素：
$\min_{X_t} \|\Delta B_t A_t - B_t \Delta A_t\|_{H_t}^2$
该准则在预条件器度量下平衡了来自 $B$ 和 $A$ 的更新幅度，类似于低秩矩阵恢复中的正则化技术。

D. 闭式解

通过将 Adafactor 预条件器与 $H_t$ -平衡准则相结合，作者推导出了 闭式因子更新（定理 3.2）。该更新仅依赖于低秩因子梯度和 Adafactor 统计信息，确保优化器状态保持在 $O((m+n)r)$ 。由此产生的权重更新是在 $H_t$ -加权范数下，切空间 $T_t$ 中距离 Adafactor 预条件方向 $H_t^{-1}G_t$ 最近的点。

3. 主要贡献

统一框架：本文将现有的 LoRA 优化器重新表述为一致线性系统 $J_G^* F_t J_G [\Delta B, \Delta A] = J_G^*(G_t)$ 的实例，该系统由 $F_t$ 的选择和仿射解集的选择规则参数化。
AdaPreLoRA 算法：一种新的优化器，将 Adafactor 对角克罗内克预条件器与闭式、 $H_t$ -平衡的因子更新相结合。它在保持 $O((m+n)r)$ 内存的同时，实现了理论保证，即该更新是预条件权重空间方向的最接近 LoRA 近似。
实证验证：广泛的实验表明，AdaPreLoRA 在各种规模和任务中均具有与最先进 LoRA 优化器相当或更优的性能，且无需承担全权重预条件带来的内存开销。

4. 实验结果

作者在不同设计家族的代表（Vanilla LoRA、LoRA+、LoRA-Pro、SOAP、黎曼方法）之间评估了 AdaPreLoRA，评估维度包括模型规模、任务家族和资源成本。

GPT-2（小/中型）在 E2E 上：对于 SGD 和 AdamW 变体，AdaPreLoRA 在所有指标（BLEU、NIST、METEOR、ROUGE-L、CIDEr）上均取得了最佳或并列最佳的分数。它优于 Vanilla LoRA 和 LoRA-Pro，特别是在基于 SGD 的设置中，因为此时梯度统计最为关键。
7B 规模 LLM（Mistral-7B、Qwen2-7B）：在 GLUE（RTE、CoLA、MRPC）、ARC 和 GSM8K 上，AdaPreLoRA 在七种设置中的六种取得了最佳准确率。值得注意的是，其峰值内存占用与 Vanilla AdamW 相当（约 26 GB），而 LoRA-Pro AdamW 由于需要存储完整的权重动量，内存占用约为两倍（50.4 GB）。
扩散模型个性化（Mix-of-Show）：在 Stable Diffusion 微调中，AdaPreLoRA 在所有缩放因子下均取得了最低的 FID（分布相似性），并在缩放因子为 1.0 时取得了最佳的 CLIP 分数，证实了该方法向图像生成领域的可迁移性。

5. 意义与主张

本文主张 AdaPreLoRA 填补了 PEFT 中的一个关键设计空白：将非平凡且感知梯度统计的预条件器与 LoRA 的严格内存预算相结合。

理论意义：它以与权重空间预条件器几何一致的方式解决了因子更新的不唯一性问题，提供了更新是 $H_t$ -加权范数下最优近似的保证。
实践意义：它证明了高性能微调不需要全矩阵预条件器（如 LoRA-Pro AdamW 或 Shampoo）的 $O(mn)$ 内存开销。通过利用 Adafactor 结构，AdaPreLoRA 能够高效扩展到 70 亿参数模型和扩散模型，同时保持具有竞争力或更优越的性能。
谦逊声明：作者指出，虽然当前的框架使用了 Adafactor，但双轴设计空间（ $F_t$ 的选择和选择规则）仍对其他预条件器开放。他们还承认，扩展到量化骨干网络（QLoRA）或 Diffusion Transformers 等复杂架构需要进一步的调整。