🤖 machine learning

BaLoRA: Bayesian Low-Rank Adaptation of Large Scale Models

BaLoRA 为低秩自适应（LoRA）引入了一种贝叶斯扩展，该扩展采用输入自适应参数化方法，在同时提升预测精度并提供良好校准的不确定性估计的同时，有效缩小了与全量微调的性能差距，并使得在关键应用中能够进行可靠的误差估计。

原作者： Dario Coscia, Sindy Löwe, Max Welling

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Dario Coscia, Sindy Löwe, Max Welling

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一部巨大且极其聪明的百科全书（即“大型预训练模型”），它略知万事万物。你希望教会它一项非常具体的新技能，比如解谜或识别稀有花卉。

旧方法（全量微调）：
传统上，若要教会这部百科全书一项新技能，你需要重写书中的每一页。这就像为每个新主题雇佣一支编辑团队来重写整个图书馆。这种方式极其昂贵、缓慢，并且最终你会为每一项任务都得到一本不同且厚重的图书馆副本。

标准捷径（LoRA）：
为了节省时间，研究人员发明了LoRA（低秩自适应）。与其重写整部图书馆，你只需在相关页面上添加一张小巧的便签插入件。这张插入件体积微小，制作成本低廉。

问题： 标准的 LoRA 插入件就像一张僵硬的、预先写好的便签。它只能给出一个固定的答案。如果问题棘手或数据稀缺，这张便签并不知道它自己“有多确定”。它只是给出一个答案，即便那是在猜测。此外，它也无法像重写整本书那样表达复杂的概念。

新方案（BaLoRA）：
本文介绍了BaLoRA（贝叶斯低秩自适应）。不妨将 BaLoRA 视为将这些便签从静态纸张升级为智能、鲜活的全息图。

以下是 BaLoRA 的工作原理，通过简单的类比来说明：

1. “颤抖的手”类比（不确定性）

在标准 LoRA 中，便签上写着：“答案绝对是 X。”
在 BaLoRA 中，便签上写着：“答案很可能是 X，但我有点拿不准，因为这个问题看起来有点像陷阱。”

BaLoRA 将便签中的数字视为随机变量，而非固定事实。想象一下，写便签的人手有点抖。

如果问题简单且熟悉，他们的手很稳，便签清晰明了。
如果问题怪异或令人困惑，他们的手抖得更厉害，便签变得“模糊”。
这种“模糊”就是不确定性。它告诉你：“我在这里不是 100% 确定，所以要小心。”这对于需要知道模型何时在猜测的安全关键型任务至关重要。

2. “智能摇动器”（输入自适应噪声）

本文声称 BaLoRA 之所以特殊，是因为这种“摇动”并非随机，而是智能的。

标准 LoRA： 只是向所有内容添加固定量的噪声（静态干扰）。
BaLoRA： 摇动的程度取决于输入。
- 类比： 想象一位音乐家在演奏乐曲。如果旋律简单，他们演奏得完美无缺。如果旋律变得复杂且棘手，他们会刻意加入一点“爵士乐”或即兴发挥（噪声），以探索不同的可能性。
- 在 BaLoRA 中，当模型遇到困难的输入时，它会专门向便签中活跃的部分注入更多“噪声”（不确定性）。这迫使模型更稳健地学习，就像学生在遇到困惑的问题时会更加努力地练习一样。这实际上使模型更聪明、更准确，而不仅仅是更谨慎。

3. “低秩”魔法（效率）

你可能会担心，添加“摇动”和“不确定性”会让便签变得巨大且缓慢。

本文主张： BaLoRA 使用了一个巧妙的数学技巧（“低秩局部重参数化技巧”）。
类比： 与其计算百科全书中每一个单词的晃动（这会非常缓慢），BaLoRA 是在一个微小的、压缩的“后台”区域计算晃动，然后将其投射到页面上。
结果： 它几乎不增加额外的权重或速度成本。你可以像使用旧版 LoRA 一样使用它，但额外获得了知道模型“有多确定”的好处。

他们证明了什么？

作者在三个截然不同的领域测试了这种“智能便签”：

语言（谜题）： 他们在 Llama 模型（AI 聊天机器人）解决常识性谜题上进行了测试。
- 结果： BaLoRA 的得分优于标准 LoRA，甚至击败了其他先进方法。正是由于不确定性训练，它更好地学习了任务。
视觉（照片）： 他们在识别照片中的花卉和宠物上进行了测试。
- 结果： 它的准确率与重写整部图书馆（全量微调）相当，但仅使用了极少量的内存。此外，它提供了更好的“置信度分数”（它知道何时不确定）。
科学（材料）： 他们在预测金属有机框架（MOFs）的“带隙”（一种能量存储材料的属性）上进行了测试。
- 结果： 这是一项高难度的科学任务。BaLoRA 不仅预测了数值，其“不确定性估计”在预测“何时会出错”方面，表现优于一个由多个标准 LoRA 模型组成的团队。而且，它仅通过一次训练运行就做到了这一点，而该团队则需要多次。

核心结论

BaLoRA 是一种快速且廉价地教会大型 AI 模型新技能的方法，但它拥有一项超能力：它知道何时自己不知道。

它将一张僵硬的“我认为这是答案”的便签，转变为一张灵活的“我认为这是答案，但这是我对该答案的信任程度”的便签。令人惊讶的是，通过教导模型诚实地面对其不确定性，它实际上变得比那些假装 100% 确定的模型更擅长该任务。

技术摘要：BaLoRA（贝叶斯低秩适应）

1. 问题陈述

低秩适应（LoRA）已成为大型预训练模型参数高效微调（PEFT）的标准，它通过将更新约束在低秩结构中，降低了计算成本。然而，该论文指出了标准 LoRA 及相关确定性 PEFT 方法的三个关键局限性：

表达能力有限：低秩的点估计更新通常与全量微调（FT）相比存在持续的精度差距。
缺乏不确定性量化：标准 LoRA 没有提供内置机制来估计预测不确定性，这一缺陷阻碍了其在安全关键和数据稀缺领域（如材料科学、天气预报）的应用。
灵活性不足：现有方法无法在训练过程中自然地编码不确定性，通常需要模型集成（这会增加内存和计算量）来近似不确定性。

2. 方法论：BaLoRA

BaLoRA 引入了 LoRA 的贝叶斯扩展，将降维矩阵视为随机变量而非固定参数。其核心创新是对 LoRA 降维矩阵（ $\theta_A$ ）提出了一种新颖的输入自适应贝叶斯重参数化。

2.1 输入自适应贝叶斯重参数化

BaLoRA 不再采用确定性更新 $y = \theta_0 x + \theta_B \theta_A x$ ，而是用输入依赖的高斯噪声扰动降维矩阵 $\theta_A$ 的条目：
$\omega_{A;ij} = \theta_{A;ij} + \sqrt{\alpha(x)\theta_{A;ij}^2} \epsilon_{ij}, \quad \epsilon_{ij} \sim \mathcal{N}(0, 1)$
其中， $\alpha(x)$ 是一个轻量级推理网络，根据输入 $x$ 调节方差尺度。该公式意味着幅度较大的权重携带成比例更多的不确定性，且不确定性随输入激活值缩放。

2.2 训练目标

模型通过最大化证据下界（ELBO）进行训练，该目标平衡了数据拟合与模型复杂度（后验分布与弱信息先验之间的 KL 散度）。KL 散度具有闭式解，仅依赖于标量 $\alpha(x)$ 和 dropout 率超参数 $p$ ，因此计算评估成本低廉。

2.3 低秩局部重参数化技巧

贝叶斯采样的朴素应用需要实例化大小为 $O(k^2)$ 的完整输出协方差矩阵，这在计算上是不可行的。BaLoRA 利用 LoRA 更新的低秩结构，推导出了高效的采样过程。

噪声在低维潜在空间（ $\mathbb{R}^r$ ）而非高维输出空间中进行采样。
精确的后验预测样本计算如下：
$y = \theta_0 x + \theta_B \theta_A x + \theta_B (\sqrt{d(x)} \odot \epsilon_d)$
其中 $d(x) = \alpha(x) \theta_A^2 x^2$ 且 $\epsilon_d \sim \mathcal{N}(0, I_r)$ 。
该方法保持了标准 LoRA 的计算扩展性（$O(Bkr)$），并避免了实例化完整的协方差矩阵。

2.4 推理模式

BaLoRA 支持两种部署模式：

确定性模式：适配器权重与预训练权重合并（ $\theta = \theta_0 + \theta_B \theta_A$ ），与标准 LoRA 相比零额外延迟。
随机（贝叶斯）模式：使用采样权重执行多次前向传播，通过蒙特卡洛采样估计预测不确定性（均值和方差）。

3. 主要贡献

具有隐式正则化的随机 PEFT：BaLoRA 提出了一种方法，其中输入依赖的噪声注入充当隐式正则化器。通过将扰动集中在高激活方向，它抑制了过度自信的更新，从而改善了优化和任务性能。
高效的低秩采样：作者推导了一种局部重参数化技巧，允许在低维潜在空间中精确采样后验预测分布，其计算效率与标准 LoRA 相当。
统一的精度与不确定性：该方法在常识推理和图像分类方面实现了最先进（SOTA）的性能，同时提供校准的不确定性估计，所有这一切均在单次微调运行中完成（不同于集成方法）。

4. 实验结果

该论文在三个领域评估了 BaLoRA：

4.1 常识推理（NLP）

模型：Llama-2-7B 和 Llama-3-8B。
基准：8 项任务，包括 BoolQ、PIQA、ARC-c 和 WinoG。
结果：BaLoRA 在 Llama-2 上平均比标准 LoRA 高出约 2.9%，在 Llama-3 上高出约 5%。它在 Llama-3-8B 的 8 个基准中有 6 个、Llama-2-7B 的 8 个基准中有 5 个达到了 SOTA 精度，超越了 DoRA、MoRA 和 HiRA 等确定性竞争对手。
鲁棒性：性能在广泛的前验概率超参数（ $p$ ）范围内保持稳定。

4.2 视觉感知（计算机视觉）

模型：在 ImageNet-21K 上预训练的 ViT-L/16。
基准：CIFAR-10、CIFAR-100、Oxford-IIIT Pets、Oxford Flowers-102。
结果：BaLoRA 在 PEFT 方法中 consistently 排名第一。值得注意的是，它在 Oxford Flowers-102 上达到了与全量微调相当的精度（99.61%），并在 CIFAR-100 上超越了全量微调。
校准：BaLoRA 在 4 个数据集中的 2 个上实现了最低的期望校准误差（ECE），在其余数据集中排名第二，且无需事后校准即可超越 LoRA 和 DoRA。

4.3 材料属性预测（科学应用）

任务：使用 QMOF 数据集和 MOFTransformer 预测金属有机框架（MOFs）的带隙。
对比：BaLoRA 与 LoRA 模型集成（需要多次训练运行）的对比。
结果：BaLoRA 实现了 0.266 eV 的平均绝对误差（MAE），缩小了与全量微调（0.224 eV）的差距，同时仅使用了 6.75% 的可训练参数。
不确定性：BaLoRA 产生的零样本不确定性估计与模型误差的相关性更强（Spearman 相关系数 0.346），优于训练有素的 LoRA 模型集成（0.309），尽管仅需单次微调运行。不确定性估计随着测试时蒙特卡洛步数的增加而单调改善。

5. 意义与主张

该论文声称，BaLoRA 解决了 PEFT 中表达能力和不确定性量化的双重挑战。通过将贝叶斯归纳偏置整合到低秩适配器的几何结构中，该方法提供了相对于纯确定性方法的互补和叠加优势。

主要主张包括：

效率：BaLoRA 匹配标准 LoRA 的计算扩展性，且在确定性模式下不产生推理延迟。
性能：贝叶斯扩展提高了预测精度，在 NLP 和视觉任务中缩小了与全量微调的差距，这归因于基于原则的不确定性建模，而非模型容量的增加。
科学效用：在材料科学中，BaLoRA 提供了与误差相关的可靠不确定性估计，这一特性对安全关键应用至关重要，其表现优于集成基线，且计算开销显著更低。
通用性：该方法并非特定于领域，在自然语言推理、视觉感知和科学回归任务中均表现出有效性。

作者总结认为，BaLoRA 鼓励在可靠预测与准确预测同等重要的场景中，更广泛地采用具有不确定性感知能力的 PEFT。