🤖 machine learning

LoCO: Low-rank Compositional Rotation Fine-tuning

LoCO 是一种新颖的参数高效微调方法，它利用低秩斜对称矩阵和复合旋转链构建正交变换，在保持预训练表示的几何结构的同时，实现跨不同领域的高效并行计算。

原作者： An Nguyen, Jaesik Choi, Anh Tong

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： An Nguyen, Jaesik Choi, Anh Tong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大且极其聪明的机器人，它已经学会了说每一种语言、识别每一种物体，并能绘制出美丽的图画。这个机器人就像人工智能中的“基础模型”。它如此庞大且强大，以至于从头训练它需要超级计算机运行数年。

现在，假设你想教这个机器人一项特定的新技巧，比如用莎士比亚的风格写诗，或者修复模糊的照片。过去的方法是“微调”整个机器人——本质上就是重写它的大脑。这就像试图教一个由 1000 人组成的合唱团跳一支新舞，却要求每个人都学习新的舞步。这种方法既昂贵又缓慢，而且存在让合唱团忘记如何演唱原有歌曲的风险。

当前“智能”技巧的问题
为了节省时间，科学家们开发了“参数高效微调”（PEFT）。他们不是重写整个大脑，而是添加一个微小的、轻量级的“适配器”层。这就像给合唱团提供一套新的乐谱，让他们在演唱时手持这些乐谱。

然而，大多数现有的适配器是通过添加新音符来工作的。论文指出，这种做法有些笨拙。如果你只是添加音符，可能会无意中改变原曲的音量或节奏，从而扭曲机器人原本的理解。

一些较新的方法尝试旋转音符，而不是添加它们。想象一下将合唱团的队形旋转 90 度。这样可以保持每位歌手之间的距离完全不变，从而保留原曲的完美和声。这被称为“正交微调”。

瓶颈：“旋转”问题
这里的难点在于：旋转一个巨大的合唱团（或高维 AI 模型）在数学上非常沉重。要完成完美的旋转，通常必须解决一个庞大而复杂的谜题，这需要耗费大量时间和内存。这就像试图在一个狭小的房间里旋转一个 1000 人的合唱团；你需要巨大的空间和时间，才能让每个人移动而不互相碰撞。

现有方法试图通过将合唱团分成几个独立的小组（块对角）或使用复杂的、逐步的舞蹈编排（蝴蝶分解）来解决这个问题。但这些方法要么限制了舞蹈的创意空间，要么仍然太慢，因为舞者必须等待前面的人先移动。

解决方案：LoCO（低秩组合正交微调）
本文的作者引入了LoCO，这是一种教机器人的新方法，就像一种“魔法旋转技巧”。

低秩捷径：LoCO 意识到，你不需要一次性旋转整个巨大的合唱团，只需移动少数关键人物就能改变整个队形的方向。他们使用了一种数学技巧（称为 Sherman-Morrison-Woodbury 恒等式），使得他们只需为极少数人进行计算，就能算出整个合唱团的旋转。这就像只需追踪几颗恒星，就能计算出整个星系的旋转。
并行舞蹈：通常，要创建复杂的旋转，你必须逐步进行（先向左旋转，再向上旋转，然后向右旋转）。LoCO 使用了一种巧妙的近似方法，使他们能够同时执行所有这些旋转。这就像告诉整个合唱团同时向不同方向旋转，而不是等待一排人传递接力棒。这使得整个过程极其快速且高效。
温度旋钮：LoCO 最酷的功能之一是一个“温度”设置。想象一下你已经教会了合唱团一支新舞。有时你希望他们完全按照教导的方式表演；有时你希望他们融入一点原有的风格。LoCO 有一个简单的旋钮（温度参数），可以让你在“原始机器人”和“新训练的机器人”之间平滑过渡，而无需重新训练模型。这就像是一个控制新技能使用程度的音量旋钮。

他们的发现
团队在三种不同类型的 AI 机器人上测试了 LoCO：

语言模型：教它们理解语法并解决数学问题。
扩散变换器：教它们根据文本或草图生成图像。
视觉变换器：教它们识别照片中的物体。

在每一项测试中，LoCO 的表现都等于或优于现有方法。它的训练速度更快，使用的计算机内存更少，并且没有扭曲机器人原本的知识。

简而言之
LoCO 是一种新颖且高效的方法，用于教巨型 AI 模型掌握新技能。它不是重写它们的大脑，也不是笨拙地添加新部件，而是利用一种快速、并行的数学捷径，温和地“旋转”它们现有的知识。它在保留机器人原有智能的同时，使其能够快速学习新任务，甚至提供了一个旋钮，让你精确控制新技能的使用程度。

技术摘要：LoCO - 低秩组合旋转微调

问题陈述

参数高效微调（PEFT）已成为将大规模基础模型（例如大语言模型、视觉 Transformer、扩散 Transformer）适配到下游任务的关键，它避免了全量微调所带来的高昂计算成本及灾难性遗忘风险。尽管现有的低秩自适应（LoRA）等方法通过加法低秩更新实现了高效性，但它们并未内在保留预训练表示的几何结构。

正交微调方法通过施加限制在特殊正交群（$SO(d) $）上的乘法变换来解决这一问题，这些变换能够保持特征间的成对角度关系及超球能量结构。然而，这些方法面临一个根本性的计算瓶颈：构建和应用一般正交矩阵通常由于矩阵求逆或指数运算而需要$ O(d^3)$ 的复杂度。先前的解决方案，如块对角矩阵（OFT）或蝴蝶分解（BOFT），施加了结构约束，限制了表达能力，或在现代硬件上导致低效的内存访问模式。此外，基于序列组合的方法（例如 Householder 反射）阻碍了并行化，限制了训练吞吐量。

方法论

作者提出了LoCO（低秩组合正交微调），这是一种利用低秩反对称矩阵和组合旋转链构建正交变换的方法，并针对并行计算进行了优化。

1. 低秩反对称参数化

LoCO 利用了特殊正交群 $SO(d) $的切空间由反对称矩阵（$ A^T = -A$）组成的数学性质。LoCO 不使用完整的 $d \times d$ 反对称矩阵进行学习，而是采用低秩外积形式对其进行参数化：
$A = UV^T - VU^T$
其中 $U, V \in \mathbb{R}^{d \times r}$ 且 $r \ll d$ 。通过引入辅助矩阵 $X = [U | -V]$ 和 $Y = [V | U]$ ，该式可重写为 $A = XY^T$ 。

2. 基于凯莱变换和伍德伯里恒等式的高效计算

为了从反对称矩阵 $A$ 生成旋转矩阵 $R \in SO(d)$ ，LoCO 采用凯莱变换：
$R = (I - A)^{-1}(I + A)$
直接对 $d \times d$ 矩阵 $(I-A)$ 求逆计算成本高昂。LoCO 利用Sherman-Morrison-Woodbury 恒等式来降低求逆复杂度。通过代入 $A = XY^T$ ，将 $d \times d$ 矩阵的求逆转化为一个小得多的 $2r \times 2r$ 矩阵的求逆：
$R = I + 2X(I - Y^T X)^{-1}Y^T$
这将计算复杂度从 $O(d^3)$ 降低到 $O(dr^2 + r^3)$ ，鉴于 $r \ll d$ ，可简化为 $O(dr^2)$ 。

3. 组合旋转链与并行近似

为了增强表达能力，LoCO 组合多个旋转分量： $R = R_1 R_2 \dots R_n$ 。虽然精确组合需要顺序矩阵乘法，但 LoCO 引入了一种一阶近似，实现了完全并行计算：
$R \approx I + \sum_{i=1}^n 2X_i(I - Y_i^T X_i)^{-1}Y_i^T$
理论分析证实，在微调场景中（参数更新较小，接近零初始化），高阶误差项可忽略不计（ $O(\epsilon^4)$ 及以上）。该近似允许所有旋转分量并行计算并求和，充分利用 GPU 并行性，避免了 BOFT 或 HRA 等方法中的顺序瓶颈。

4. 测试时温度缩放

LoCO 引入一个标量温度参数 $t$ ，在推理过程中应用于反对称矩阵 $A$ （ $R = (I - At)^{-1}(I + At)$ ）。这允许在预训练行为（ $t=0$ ）和完全适配行为（ $t=1$ ）之间进行平滑插值，从而在不重新训练的情况下提供可控制的适配强度。

主要贡献

新颖的 PEFT 架构：提出了 LoCO，通过低秩反对称矩阵构建正交变换，实现了高维空间中的高效适配。
可并行化的近似：引入了针对组合旋转链的一阶近似方案。这使得多个旋转分量的并行计算成为可能，同时在有界近似误差下保持正交性，这是先前顺序正交方法所缺乏的特性。
可控的推理：开发了测试时温度缩放机制，允许灵活控制适配强度，为先前正交方法中昂贵的正则化方案提供了一种替代方案。
实证验证：在多样化的基准测试（GLUE、GSM8K、MATH、VTAB-1k 及可控扩散生成）中展示了最先进或具有竞争力的性能，同时与 OFT、BOFT 和 HRA 相比，保持了更低的内存占用和更高的训练效率。

实验结果

作者在三个领域评估了 LoCO：

大语言模型（NLU 与推理）：在 GLUE 基准测试中，LoCO 取得了最高的平均分（87.75），优于 HRA（85.64）和 OFT（87.63），同时使用了更少的参数。在数学推理（LLaMA-2-7B 在 GSM8K/MATH 上）中，LoCO 取得了最佳的 GSM8K 分数（50.19%）和具有竞争力的 MATH 结果，超越了基于块对角和 Householder 的基线。
扩散 Transformer：在使用 FLUX.1 进行的条件生成任务（如边缘到图像、深度到图像）中，与 LoRA 和 BOFT 相比，LoCO 展示了更优越的对齐保真度（CLIP 图像分数）和具有竞争力的图像质量指标（FID、SSIM）。值得注意的是，温度缩放机制允许在不同适配强度下保持稳健的生成质量，而 LoRA 则表现出脆弱的缩放特性。
视觉 Transformer（VTAB-1k）：LoCO 在自然、专用和结构化任务组中均取得了具有竞争力的准确率。它在结构化任务上显著优于其他正交方法（平均准确率为 63.4%），并显示出向医学图像（Patch Camelyon：88.1%）的强大迁移能力。

效率：LoCO 达到了稀疏 OFT 的训练效率，同时在步长时间和内存使用方面显著优于稠密方法（HRA、BOFT）。HRA 和 BOFT 由于稠密矩阵实例化或顺序依赖而产生了大量的内存开销，而 LoCO 的并行、以输入为中心的设计保持了稳定的吞吐量。

意义与主张

本文声称，LoCO 成功弥合了正交微调的几何优势与现代高维模型所需的计算效率之间的差距。通过利用切空间的低秩结构并使用可并行化的一阶近似，LoCO 避免了现有正交方法的立方复杂度和顺序瓶颈。

作者强调，他们的方法保留了预训练表示的角度结构——对于语义信息编码在角度而非幅值中的任务而言，这是一个关键属性——同时提供了可控制的推理强度和卓越的扩展性等实际优势。结果表明，与块对角或 Householder 反射结构相比，低秩反对称参数化是捕捉推理模式和语义对齐的更有效策略。

本文结论较为谦逊，指出虽然 LoCO 解决了典型场景下的可扩展性问题，但未来的工作可以探索针对最优旋转分解的理论优化，以及向多模态模型的扩展。