💬 NLP

Learning Adapter Rank via Symmetry Breaking

本文介绍了低秩变分丢弃（LRVD），这是一种贝叶斯框架，它通过变分推断打破 LoRA 的旋转对称性，从而以最小的参数开销自动确定有效的适配器秩和预测不确定性。

原作者： Cooper Doyle, Andy Hu, Rebecca Chan, Anna Leontjeva

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Cooper Doyle, Andy Hu, Rebecca Chan, Anna Leontjeva

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一座巨大且极其复杂的图书馆（即大型语言模型），它几乎知晓一切。你想教它一项特定的新技能，比如讲笑话或诊断疾病。你不想重建整座图书馆，只想添加一个小型、高效的“适配器”模块，帮助它学习这项新任务。

问题：“旋转椅”困境
现有方法（称为 LoRA）通过向图书馆添加一个小型、低维度的“适配器”来工作。可以将这个适配器想象成房间里的一组 $r$ 把椅子。模型学习如何坐在这些椅子上以解决问题。

然而，存在一个奇怪的故障：这些椅子是完全相同的，并且可以旋转。
如果你有一支 5 人的团队坐在 5 把椅子上，无论他们互换座位还是整个团队旋转，团队解决问题的方式完全不变。用数学术语来说，模型无法分辨哪一把特定的椅子在发挥作用。这被称为“不可识别性”。正因如此，很难判断你是否真的需要全部 5 把椅子，还是 3 把就足够了。这就像试图解雇最不有用的员工，但每个人都长得一模一样，做着完全相同的工作。

此外，这些模型往往过于自信。即使完全错误，它们也可能说：“我 100% 确定这个笑话很好笑。”

解决方案：打破对称性
本文作者“通过打破对称性学习适配器秩”提出了一种巧妙的修复方案。他们引入了一种名为BayesLoRA的新方法（基于称为LRVD的框架）。

以下是类比：
想象你在每把椅子上都施加了独特的、略有不同的“噪声”或“杂音”。现在，椅子不再完全相同。

如果一把椅子在做重要工作，模型会学习保持“杂音”较低（信号清晰）。
如果一把椅子毫无用处，模型会学习将“杂音”调高，直到该椅子实际上消失（高噪声）。

通过添加这种特定类型的噪声，模型打破了对称性。突然间，椅子不再可以互换。模型现在可以说：“第 1 号椅子表现优异，但第 4 号椅子只是在制造噪声，所以让我们把第 4 号椅子踢出去。”

这实现了什么

自动秩选择：你无需猜测需要多少把椅子（秩），模型会自动确定。它会剪除无用的椅子，只保留必要的部分。这使得系统更小、更高效。
诚实的不确定性：由于模型知道哪些椅子是“嘈杂”的，哪些是“清晰”的，它也能告诉你它有多大的把握。如果剩余的椅子都有些不稳定，模型会说“我不确定这个答案”，而不是自信地猜测。
无需额外重负：与其他试图通过添加大量额外数据或复杂计算来解决这些问题的方法不同，BayesLoRA 仅增加极少量的额外数学运算（每把椅子只需几个数字）。这是一种轻量级解决方案。

结果
作者在多种语言任务（如理解句子或回答问题）上测试了该方法。他们发现：

效果与现有方法相当（或更好）：现有方法试图猜测正确的椅子数量，而该方法表现相当或更优。
更加诚实：模型的置信度分数与现实情况的匹配度远优于标准模型。
发现“真实”结构：当他们观察模型保留的椅子时，发现它们与任务所需的最重要数学方向完全一致。模型并非随机挑选椅子，而是找到了正确的椅子。

总结
本文提出了一种通过给 AI 模型提供“噪声过滤器”来教授新技能的方法，迫使它们识别并仅保留学习工具中最重要的部分。这使得 AI 更小、更智能，并且对其所知与所不知的内容更加诚实。

技术摘要：通过对称性破缺学习适配器秩

1. 问题陈述

低秩适应（LoRA）已成为大型语言模型高效微调的标准方法，其依赖于任务相关更新位于低维子空间这一经验观察。然而，仍有两个关键挑战未得到解决：

秩选择：选择最优秩并非易事。固定秩方法可能面临资源浪费或能力不足的风险，而启发式秩分配策略（如 AdaLoRA）则引入了额外的调优负担。
不可识别性与规范对称性：在标准 LoRA 中，秩方向是不可识别的。对于任意可逆矩阵 $R \in \mathbb{R}^{r \times r}$ ，分解 $BA = (BR)(R^{-1}A)$ 会产生相同的权重更新。因此，单个秩索引缺乏内在身份，若不首先打破这种旋转规范对称性，就无法为特定方向附加不确定性或相关性评分。
校准：微调后的大型语言模型（LLM）往往存在过度自信问题。现有的针对参数高效微调（PEFT）模块的不确定性量化方法，通常将秩选择与不确定性视为独立问题，在环境权重空间中操作或使用事后近似，这增加了架构复杂度和参数量。

2. 方法论：低秩变分丢弃（LRVD）

作者提出了低秩变分丢弃（LRVD），这是一个贝叶斯框架，直接在潜在秩空间而非环境权重空间中进行推断。该框架的核心实现是BayesLoRA。

关键机制：

秩绑定后验：LRVD 不是对单个权重放置独立后验，而是对适配器因子（ $A$ 和 $B$ ）放置一个因子化高斯后验，其中属于特定秩 $i$ 的所有参数共享单个噪声 - 信号比 $\alpha_i$ 。
$q(A, B) = \prod_{i,j} \mathcal{N}(A_{ij}; \mu_{A,ij}, \alpha_i \mu_{A,ij}^2) \prod_{k,i} \mathcal{N}(B_{ki}; \mu_{B,ki}, \alpha_i \mu_{B,ki}^2)$
对称性破缺：该后验的对角结构（其中方差按秩绑定）打破了 LoRA 的 $GL(r)$ 旋转规范对称性。变分目标在秩空间中选择一个优选基，从而实现了对秩方向的自动相关性确定（ARD）。
理论保证（定理 1）：作者证明，虽然完整的规范对称性被打破，但残余对称性依然存在。具体而言，变换矩阵 $R$ 必须是正交的，且如果秩协方差的对角元素互不相同，则 $R$ 被限制为带符号的置换矩阵。这确保了学习到的秩排序是有意义的，并且在符号和置换范围内是可识别的。
变分目标：训练过程最大化证据下界（ELBO）。源自稀疏变分丢弃的 KL 散度项随 $\log \alpha_i$ 单调递增。这会对具有高噪声 - 信号比的方向施加惩罚，逐步抑制它们以实现连续的自动秩选择。
推断：在测试时，模型使用蒙特卡洛采样（通常 $T \in [4, 16]$ 个样本）对适配器子空间进行边缘化，而预训练骨干网络保持确定性。

3. 主要贡献

LRVD 的形式化：一个在秩空间中进行贝叶斯推断的通用框架，通过学习的噪声 - 信号比诱导结构化稀疏性。
BayesLoRA：一种具体实现，能够同时学习有效适配器秩和预测不确定性，仅需 $O(r)$ 个额外的标量参数，无需辅助优化器、事后曲率估计或 KL 退火计划。
不可识别性的解决：本文证明了 LoRA 的不可识别性可以转化为一种有用的归纳偏置。通过对角后验打破规范对称性，该方法产生了一种稳定的、可识别的秩排序，与学习更新的内在结构保持一致。

4. 实验结果

作者在 GLUE 基准（使用 DeBERTa-V3-base）和推理基准（使用 LLaMA-2-7B）上评估了 BayesLoRA。

秩选择与准确率：
- BayesLoRA 在所有 GLUE 任务上的表现均匹配或优于 AdaLoRA，且训练成本相当。
- 它诱导了稳定的秩结构，这些结构与学习更新的主导奇异方向保持一致。
- 压缩比率与内在任务结构成正比（例如，CoLA 压缩至约 63%，无论初始秩如何），而不是初始基大小的产物。
- 在许多情况下，BayesLoRA 将整个适配器模块坍缩为零有效秩，其作用更像模块级稀疏性，而非平滑的预算分配。
不确定性与校准：
- 与经典基线相比：尽管参数少于 BBB，BayesLoRA 在期望校准误差（ECE）和对数似然负值（NLL）方面显著优于 MC Dropout、深度集成和 Bayes by Backprop（BBB）。
- 与专注于校准的方法相比：在与BloB（使用带辅助优化器的完整变分后验）进行的匹配预算比较中，BayesLoRA 在几乎所有任务上实现了更高的准确率。虽然 BloB 在校准指标（ECE/NLL）上仍保持微弱优势，但 BayesLoRA 在不引入单独优化器或复杂曲率估计的计算开销的情况下，显著缩小了这一差距。

5. 意义与主张

本文主张，BayesLoRA 为现有的 PEFT 不确定性方法提供了一种简单而强大的替代方案。通过在秩空间直接操作，它避免了权重空间变分推断的高昂成本，同时解决了秩不可识别性的根本问题。

效率：它以最小的参数开销（ $O(r)$ 个标量）实现了自动秩选择和不确定性量化。
稳定性：学习到的秩排序不仅仅是剪枝启发式方法，而是反映了任务更新的内在奇异结构。
权衡：作者承认，虽然 BayesLoRA 改进了相对于标准基线的校准效果，但在秩空间与权重空间后验差异最显著的 tasks 中，它仍落后于具有更丰富变分机制的方法（如 BloB）。他们将此归因于使用了带有不当对数均匀先验的变分丢弃代理。

总之，这项工作确立了通过对角变分后验打破 LoRA 规范对称性，可以实现有效秩与不确定性的联合学习，为低秩适应提供了一种可扩展的贝叶斯方法。