💬 NLP

PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer

PoLoRA 是一种针对低秩自适应（LoRA）的新型优化器，它结合了乘积感知谱更新、曲率预处理和幅度控制规则，与标准 Adam 相比，在实现更快速收敛、学习率稳定性和降低对秩选择敏感度的同时，保持了极低的计算开销。

原作者： Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个巨大的、超级聪明的机器人去做一项特定的新工作，比如编写 Python 代码或解决高级数学问题。这个机器人非常庞大，如果为了每项新工作都从头开始重新训练它的整个大脑，那将耗时极长且成本极其高昂。因此，科学家们发明了一个巧妙的技巧，叫做“低秩自适应”（Low-Rank Adaptation，简称 LoRA）。把机器人的大脑想象成一座巨大的、冻结着的图书馆。与其重写所有的书，不如在书架上增加一套微小的、可粘贴的便签系统。这些便签是小巧、可调节的层，可以快速训练以教会机器人这项新技能，而原始的图书馆则保持原样，不受变动。

通常情况下，当科学家们训练这些便签时，会使用一种标准且可靠的方法，叫做“Adam”。它就像一个谨慎的徒步旅行者，在每个方向都迈出小而稳健的步伐，并在移动前先检查地面。这种方法虽然有效，但有时会因为便签复杂的形状而感到困惑，且速度较慢。最近，一些研究人员尝试使用一种更具“矩阵感知力”的徒步旅行者（即理解便签是网格而非仅仅是一串数字的旅行者）来加速进程，但效果并未始终优于那位谨慎的徒步旅行者。这篇论文探讨的是：我们能否为这些便签构建一个更优秀的徒步旅行者，使其更快速、更聪明且更易于使用？

作者引入了一种新的优化器，称为 PoLoRA（预处理正交化 LoRA）。他们发现，仅仅将便签视为一串平铺的数字（如 Adam 所做的那样），或者仅仅使用标准的矩阵感知型徒步旅行者，都是不够的。相反，PoLoRA 采用了三部分策略来更高效地在训练景观中导航。首先，它理解便签的两个部分是如何作为一个乘积共同工作的，因此它会将它们作为一个整体进行调整，而不是分别调整。其次，它使用一张“曲率图”来观察针对特定数据时坡度有多陡，从而允许它采取更明智的步伐。第三，它对每一步的大小有着严格的规则，确保机器人不会踉跄或越界。

当研究人员在参数量从 10 亿到 80 亿不等的模型上测试 PoLoRA 时，结果令人期待。在涉及数学和编程的任务中，PoLoRA 达到与表现最好的 Adam 优化器同等水平所需的步骤数减少了 1.2 到 1.7 倍。换句话说，它更快地完成了比赛。例如，在某项特定的数学任务中，它到达终点所需的步骤数减少了 1.63 倍。尽管取得了这些速度上的提升，但每一步所需的额外计算能力微乎其微，最多仅增加了每步时间的 3%。

论文还发现，PoLoRA 比标准方法更具包容性。虽然 Adam 需要非常精确地调整其“学习率”（即步长的大小），且该速率会随着便签大小的变化而变化，但 PoLoRA 的最佳学习率在不同规模下都能保持稳定。这使得研究人员在使用时更加容易，无需花费数周时间去猜测正确的设置。

然而，作者也谨慎地指出，这并非解决所有问题的灵丹妙药。他们明确发现，直接将现有的“矩阵感知”优化器（如 Muon）应用于便签，并不能始终比 Adam 提高性能。正是由于结合了理解乘积结构、控制每个样本的损失以及管理步长大小，才使得 PoLoRA 发挥了作用。该方法依赖于近似计算来保持快速，例如将“曲率图”简化为对角形式，且其结果是基于在留存测试数据上对语言模型进行微调得出的。虽然在这些实验中速度提升很明显，但作者建议，还需要在更长的训练过程或不同类型的适配器上进行进一步测试，以观察这些收益是否能普遍适用。

简而言之，PoLoRA 提供了一种更高效的新方法，通过对大型 AI 模型中那些微小的、可调节的部分进行一定的几何学考量，从而教会它们新的技能；这证明了有时，前进的最佳方式是理解你所行之路的形状。

技术摘要：PoLoRA

问题陈述

低秩自适应（LoRA）是一种通过冻结基权重 $W_0$ 并训练低秩更新 $\Delta W = \frac{\alpha}{r} BA$ 来高效微调大语言模型（LLM）的标准技术，其中 $B \in \mathbb{R}^{d_{out} \times r}$ 且 $A \in \mathbb{R}^{r \times d_{in}}$ 。标准的优化方法对因子 $A$ 和 $B$ 分别应用 Adam，将参数视为平坦向量，忽略了底层的矩阵及其乘积结构。

虽然像 Muon 这样具有矩阵感知能力的优化器在预训练全权重矩阵方面表现出了优于 Adam 的性能，但将 Muon 朴素地应用于 LoRA 因子却无法获得一致的收益。此外，试图考虑乘积结构 $BA$ 的并发“乘积感知”变体（例如 iMuon）也未能持续超越 Adam。核心挑战在于，模型观察到的是合并后的乘积 $BA $，而优化器作用于单个因子$ A $和$ B$。现有方法要么忽略了乘积结构，要么无法有效控制生成的合并更新的幅度。

方法论

作者引入了 PoLoRA（预处理正交化 LoRA），这是一种源自约束最速下降法的优化器。该方法基于三个关键要素：

1. 乘积感知谱更新方向

PoLoRA 不再将 $A$ 和 $B$ 视为独立的矩阵，而是基于合并权重 $\Delta W \approx B\Delta A + \Delta B A$ 的线性化变化来制定更新方向。

推导： 作者定义了一个线性最小化算子（LMO），该算子在满足针对单样本损失变化的约束下最小化线性化损失，而非仅仅是对权重矩阵进行简单的谱范数约束。
外梯度集： 为了在不存储单样本梯度的情况下使该过程变得可处理，他们基于克罗内克因子化的梯度协方差近似构造了一个中心对称的外梯度集 $\mathcal{G}$ 。
结果： 这产生了一个更新方向，其更新由曲率估计（ $P$ 和 $Q$ ）进行预处理，并涉及对预处理后的梯度应用矩阵符号函数（极分解）。这产生了一个尊重 $BA$ 结构的“乘积 Muon”方向。

2. 曲率预处理

PoLoRA 结合了曲率信息来缩放更新方向。

近似： 预处理器 $P$ 和 $Q$ 被近似为对角矩阵，这些矩阵源自因子梯度的二阶矩（类似于 Adafactor 和 KL-Shampoo）。
机制： 这些预处理器自适应地缩放梯度方向，以解释不同方向如何改变损失，从而在乘积感知的度量下有效地对梯度空间进行白化。

3. 幅度控制

PoLoRA 的一个关键组成部分是用于控制更新大小的显式规则。

问题： 乘积感知方向（如 Product Muon）控制的是合并线性化更新的谱范数，但却让单个因子的步长 $\|\Delta A\|$ 和 $\|\Delta B\|$ 处于失控状态。如果其中一个因子具有较小的奇异值，这可能导致不稳定。
解决方案： PoLoRA 引入了一个幅度规则，设定因子更新的谱范数 $\|\Delta A\|_2 = \|\Delta B\|_2 = \rho$ ，其中 $\rho = \frac{\eta}{\|A\|_2 + \|B\|_2}$ 。这确保了合并更新 $\|\Delta W\|_2$ 被学习率 $\eta$ 所限制，在保持合并乘积谱界限的同时防止了失稳。

核心贡献

PoLoRA 优化器： 一种结合了乘积感知谱方向、曲率预处理和显式幅度控制的新型优化器。
理论推导： 从单样本损失控制约束出发推导出的更新方向，从而实现了针对 LoRA 因子的预处理正交化更新。
幅度规则： 识别并实现了一种特定的 LoRA 因子缩放规则，该规则确保了稳定性和一致的性能，使其区别于先前的乘积感知方法。
实证验证： 全面的评估表明，在各种模型规模（1B 到 8B）、数据集（代码、数学、低资源语言）和秩（rank）下，PoLoRA 一致地优于 Adam 及其他矩阵感知基准（Muon, iMuon, LoRA-RITE）。

实验结果

作者在涵盖 1B 到 8B 参数规模（OLMo-2-1B, Llama-3.2-1B, Qwen2.5-1.5B, Llama-3-8B）的模型上，针对代码和数学的指令微调数据集对 PoLoRA 进行了评估。

步骤效率： PoLoRA 达到 Adam 微调后的最终持有验证损失所需的步数减少了 1.2–1.7 倍。例如，在 Llama-3.2-1B 上进行数学微调时，它仅用 1.63 倍更少的步数即可达到目标损失。
墙钟时间效率： 由于采用了轻量级的对角预处理器和高效的数值子程序（幂迭代、Gram Newton–Schulz），每步的额外开销与 Adam 相比最多仅为 3%。因此，墙钟时间的加速比紧密贴合了步骤加速比。
消融研究： 移除曲率预处理或幅度控制中的任何一个，都会使 PoLoRA 退化为 Product Muon，而后者并不比 Adam 快。作者声称，每个组件（曲率和幅度）各贡献了约一半的总加速差距。
超参数稳定性： PoLoRA 对学习率的敏感度低于 Adam。值得注意的是，其最优学习率在不同的 LoRA 秩（ $r \in \{32, 64, 128, 256\}$ ）下保持稳定，而 Adam 的最优学习率会随秩的变化发生显著偏移。
分布偏移： 与微调代码等代表性领域相比，当在与预训练数据分布显著不同的数据（如孟加拉语等低资源语言）上进行微调时，PoLoRA 相比 Adam 的加速效果更为明显。

意义与主张

论文声称 PoLoRA 为 LoRA 微调提供了一致的相对于 Adam 的加速，这是此前的矩阵感知和乘积感知优化器未能可靠实现的。其意义在于从将 LoRA 因子视为独立向量转向将其视为受控幅度的耦合乘积进行优化。

作者强调，他们的方法并不依赖于复杂的超参数重缩放（如 LoRA+ 或 Rank-stabilized LoRA），而是改变了更新规则本身。他们承认了局限性，指出该方法依赖于线性化近似（忽略了诸如 $\Delta B \Delta A$ 之类的更高阶项），并使用了对角预处理器以保证效率。然而，他们认为，从单样本损失控制的角度出发以及幅度规则的设计，为优化低秩乘积提供了一个鲁棒的框架，这可能适用于 LoRA 之外的其他映射组合或预训练场景。