技术摘要：CORA：基于 SVD 的低秩自适应中的逐切片相干正交旋转

1. 问题陈述

参数高效微调（PEFT）对于在不进行高昂全量微调成本的情况下，使大语言模型（LLMs）适应下游任务至关重要。虽然低秩自适应（LoRA）是主流方法，但它通过一个单一的低秩矩阵学习加性更新 $\Delta W = BA$，将几何自由度（基底旋转和谱偏移）捆绑在一起。近期的基于 SVD 的方法（例如 PiASS、MiLoRA）利用预训练权重（$W_0 = U_0 \Sigma_0 V_0^\top$）的奇异值分解进行初始化或子空间选择，但并未显式地保留左侧（$U_0$）与右侧（$V_0$）奇异基底之间的耦合几何关系。

近期的理论研究 [8] 表明，稳定的微调遵循一种“相干 SVD 旋转”形式，即一个单一的正交矩阵 $Q$ 同时作用于左侧和右侧奇异基底，并伴随奇异值的对角偏移（$\Delta \Sigma$）。现有方法仅部分实现了这一点：加性 LoRA 式方法将旋转与频谱纠缠在一起，而正交微调方法虽然强制执行了旋转，但往往缺乏频谱灵活性。此外，全局相干旋转定理并未规定如何在实际适配器（adapter）的结构化、低秩约束内高效实现该过程。

2. 方法论：CORA

作者提出了 CORA（相干正交旋转自适应），该方法将全局相干旋转定理扩展到了**逐切片（per-slice）**的粒度。

2.1 理论基础

论文证明了相干旋转定理的逐切片类比形式（定理 2）。通过将权重矩阵 $W_0$ 划分为行切片 $W_i \in \mathbb{R}^{r \times k}$，作者表明在温和的正规性假设下，每个切片的最优微调形式为：
$$W_i^* = U_i Q_i (\Sigma_i + \Delta \Sigma_i) Q_i^\top V_i^\top$$
其中 $Q_i$ 是作用于切片左基底 $U_i$ 和右基底 $V_i$ 的单一正交矩阵。这确立了左侧和右侧的基内旋转必须是恒等的（$Q_{U,i} = Q_{V,i} = Q_i$），以最小化 Frobenius 扰动。

2.2 参数化与实现

为了在不使用昂贵的流形约束的情况下高效实现这一形式，CORA 采用了特定的重参数化方法：

1. 源矩阵： 该方法作用于预训练权重的秩-$r$ SVD 截断值 $W_{lr} = U_{0,r} \Sigma_{0,r} V_{0,r}^\top$，并冻结残差 $W_0 - W_{lr}$。
2. 切片划分： 将 $W_{lr}$ 划分为 $s = m/r$ 个行切片。
3. 旋转学习： CORA 并非直接在正交流形上学习 $Q_i$，而是为每个切片学习一个单一的无约束正交矩阵 $R_i$，并将旋转定义为 $Q_i = U_i^\top R_i U_i$。这种相似变换确保了相干旋转条件（$Q_{U,i} = Q_{V,i}$）作为代数恒等式被满足，无需在训练期间进行显式的约束或惩罚。
4. 频谱缩放： 对奇异值应用可选的逐层对角缩放向量 $\delta$（即 $\Sigma_i \to \Sigma_i \text{diag}(1+\delta)$）。
5. Cayley 映射： 为了确保 $R_i$ 保持正交，它通过可学习反对称矩阵的闭式 Cayley 映射进行参数化，从而避免了收敛半径的限制。

2.3 参数效率

每个线性层使用 $\frac{1}{2}m(r-1)$ 个可训练参数（外加用于 $\delta$ 的可选 $r$ 个标量）。这比相同秩 $r$ 下的 LoRA（使用 $r(m+k)$）大约少 4 倍参数，且在比较性能等效配置时，比 LoRA 大约少 8 倍。

3. 核心贡献

1. 理论扩展： 证明了相干旋转定理适用于权重矩阵的单个行切片，将全局理论扩展到了实际适配器的粒度。
2. 新颖参数化： 引入了一种重参数化方法（$Q_i = U_i^\top R_i U_i$），它将相干旋转条件（$Q_{U,i} = Q_{V,i}$）强制作为代数恒等式，消除了优化过程中的正交性约束。
3. 高效适配器设计： 将 CORA 实现为一种紧凑的适配器，使用逐切片正交旋转和逐层对角缩放，以显著少于现有 SVD 基方法和通用 PEFT 方法的参数量实现了高性能。

4. 实验结果

CORA 在 LLaMA-2-7B、LLaMA-3-8B 和 Mistral-7B 上针对三个任务族进行了评估。

• 常识推理： 在 LLaMA-2-7B 上，秩 $r=16$（6.6M 参数）的 CORA 实现了 82.16% 的平均准确率。这分别超过了 PiSSA 和 MiLoRA（两者均为 $r=32$，约 56M 参数）8.4 和 3.0 个百分点，并超过了 DoRA（$r=32$）2.5 个百分点。
• 代码生成： 在 LLaMA-3-8B 上，CORA（$r=16$，10.3M 参数）实现了 48.2 的 HumanEval Pass@1，大幅超过了 DiaBlo（$N=64$，121M 参数）和 LoRI（$r=32$，45M 参数）。在 Mistral-7B 上，CORA 仅用 10.3M 参数就保持了强劲性能（40.2 Pass@1）。
• 数学推理： CORA 在 GSM8K 上表现具有竞争力，但在 MATH 任务上落后于 MiLoRA。作者将其归因于数学知识的频谱局部性；MiLoRA 专注于次要分量（残差方向）的做法似乎更适合那些主成分编码较少任务相关结构的场景。
• 消融实验：
  • 共享缩放 ($\delta$)： 启用共享频谱缩放至关重要，它将性能提高了 0.8–2.4 个百分点，并防止了在低秩（$r=8$）时的崩溃。
  • 双侧旋转： 移除 $V$ 侧旋转（仅保留 $U$ 侧）导致性能显著下降（高达 9.8 个百分点），证实了相干旋转形式的必要性。
  • 源矩阵： 使用完整的 $W_0$ 而非截断的 $W_{lr}$ 提升了 MATH 的表现，验证了尾部奇异方向包含数学特定信号的假设。

5. 重要性与主张

论文声称 CORA 成功地将加性 SVD 初始化方法与正交旋转族统一在单一的、有理论依据的形式之下。通过显式强制执行源自最小扰动理论的相干旋转条件，CORA 实现了卓越的参数-准确度权衡。

作者指出，CORA 在常识推理和代码生成方面达到了最先进的结果，且其参数量约为竞争方法（如 LoRA、DoRA、PiASS 和 MiLoRA）的 1/8。这项工作证明，显式的几何约束可以通过代数重参数化高效实现，为尊重预训练权重底层几何结构的参数高效自适应提供了一个新方向。

作者注明的局限性：

• 需要在训练前进行离线 SVD 计算并缓存逐切片因子。
• 与标准 LoRA 相比，在前向传播过程中引入了额外的矩阵乘法。
• 目前仅评估到 8B 参数规模的模型；尚未验证其在 30B+ 模型上的可扩展性。
• 在数学任务上的性能对源频谱（主成分 vs 残差成分）的选择较为敏感。