🤖 machine learning

Bayesian Fine-tuning in Projected Subspaces

本文提出了一种新颖的参数高效贝叶斯微调框架，通过将权重空间的不确定性投影到极低维子空间，实现了有效的不确定性量化和模型校准的改进，从而克服了现有贝叶斯 LoRA 方法的高参数成本和训练不稳定性。

原作者： Viktar Dubovik, Patryk Marszałek, Jacek Tabor, Tomasz Kuśmierczyk

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Viktar Dubovik, Patryk Marszałek, Jacek Tabor, Tomasz Kuśmierczyk

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《投影子空间中的贝叶斯微调》的通俗解释，辅以日常类比。

核心难题：“过度自信”的 AI

想象你拥有一本巨大且极其聪明的百科全书（大型语言模型），它几乎无所不知。它非常棒，但体积庞大，更新成本高昂。

为了教它新事物，我们通常使用一种名为LoRA（低秩适应）的方法。可以把 LoRA 想象成给百科全书贴上一层便利贴。你无需重写整本书，只需在页面上写几条新笔记。这种方法既便宜又快捷。

然而，有个陷阱：标准的 LoRA 就像一个把笔记背得滚瓜烂熟、却完全不知道自己何时会出错的学生。它会变得过度自信。如果你问它一个它不知道的问题，即使答案错误，它也会以 100% 的确定性进行猜测。在现实世界中，我们需要 AI 知道何时不确定（不确定性量化）。

为了解决这个问题，科学家们尝试了贝叶斯 LoRA。这就像给学生配备了一个“置信度计”，让他们可以说：“我有 80% 的把握。”但是，又出现了新问题：为了构建这个置信度计，学生需要随身携带一个装满额外数据的巨大背包。这导致该方法再次变得缓慢且昂贵，违背了使用廉价“便利贴”的初衷。

解决方案：“小房间”策略

本文作者提出了一个巧妙的技巧。他们问道：我们真的需要整个背包来测量置信度吗？或者，我们能否在一个微小且有序的房间内完成？

他们引入了一个新框架，不再只是给整本书添加笔记。相反，他们：

投影问题：他们将更新 AI 的巨大复杂任务，压缩到一个非常小的低维“房间”（子空间）中。
冻结墙壁：他们利用原始百科全书的结构来构建这个房间的墙壁。这些墙壁是固定的，不会移动。
布置房间：他们只学习如何在这个小房间内布置家具（核心参数）。

类比：
想象你试图重新布置一个巨大且混乱的仓库（AI 的大脑）。

标准 LoRA 就像雇佣一队人移动几个箱子。这很快，但他们不知道箱子是否易碎。
旧版贝叶斯 LoRA 就像雇佣一队人，为每个箱子配备全套安全检查员、蓝图和传感器。这很安全，但太昂贵且缓慢。
本文的方法 就像在仓库内部建造一个小型的专用“重新布置舱”。你将仓库的其余部分锁定在原地，只移动这个小舱内的家具。因为这个舱非常小且有序，你可以轻松精确地测量家具可能晃动的程度（不确定性），而无需庞大的检查员团队。

如何构建“房间”（投影）

论文测试了四种不同的构建这个小房间墙壁的方法，以观察哪种效果最好：

SVD（“主成分”方法）：他们查看原始百科全书，找出最重要的方向（如主要通道），并沿这些方向构建房间。这种方法效果非常好。
白化 SVD（“数据感知”方法）：他们查看想要回答的具体问题，并据此构建房间。这就像为特定类型的客户定制房间。它通常效果最佳。
DCT（“模式”方法）：他们使用数学模式（如波形）来组织房间。这有点像使用标准网格。效果尚可，但不如定制方法好。
随机投影（“散弹枪”方法）：他们随机选择方向来构建房间。这通常会失败，因为房间最终会建在一个奇怪的位置，导致家具无法安放。

发现：“主成分”和“数据感知”方法（SVD 变体）是获胜者。它们创造了一个房间，AI 可以在其中高效学习，同时仍能知道自己何时不确定。

结果：小体积，大置信度

作者在两种类型的 AI 上测试了该方法：中等规模的（RoBERTa）和巨型的（LLaMA-7B）。

校准：他们的方法使 AI 在知道自己何时不确定方面表现更好。当 AI 犯错时，它不再自信地猜测。
效率：与之前的贝叶斯方法相比，他们使用少 5 到 15 倍的参数（更少的内存和存储空间）就实现了高水平的“置信度感知”。
分布外检测：当 AI 被问及从未见过的问题（如陷阱题）时，与那些只是自信猜测的标准方法相比，该方法更能说出“我不知道”。

结论

这篇论文证明，你不需要庞大且昂贵的系统就能让 AI 变得谦逊并意识到自身的不确定性。通过将学习过程压缩到一个设计精良的微小“子空间”（低维房间）中，你可以兼得两者： 快速、廉价的训练以及明智、谨慎的决策。

他们表明，即使使用非常小的“秩”（一个小房间），只要房间构建的方向正确，AI 仍然能够捕捉其知识之间复杂的相互关系。

技术摘要：投影子空间中的贝叶斯微调

问题陈述

大型语言模型（LLMs）及其他深度神经网络在微调时，尤其是在数据有限的情况下，往往存在过度自信及校准不佳的问题。虽然低秩自适应（LoRA）通过将权重更新分解为低秩矩阵，提供了一种参数高效的微调方案，但标准 LoRA 缺乏不确定性量化的机制。

为了解决这一问题，人们提出了 LoRA 的贝叶斯变体（Bayesian LoRA），旨在学习参数的后验分布。然而，这些方法面临一个关键权衡：建模后验协方差矩阵（对于认知不确定性而言是必要的）通常所需的参数数量会随着可训练权重的数量呈二次方增长。这显著增加了存储和计算成本，部分抵消了 LoRA 的效率优势。此外，训练这些高维贝叶斯模型可能不稳定且难以收敛。

方法论

作者提出了一种新颖的框架，将参数高效微调与贝叶斯推断相结合，并在投影低维子空间内进行。其核心思想是将贝叶斯后验的学习限制在压缩流形上，而非完整的参数空间。

1. 投影子空间参数化

与标准 LoRA 中学习完整的低秩更新 $\Delta W = AB$ （其中 $A$ 和 $B$ 均为可训练参数）不同，所提出的方法冻结基矩阵 $A$ 和 $B$ ，仅学习一个小的方形“核心”矩阵 $R$ 。权重更新定义为：
$\Delta W = ARB$
其中， $A \in \mathbb{R}^{n \times r}$ 和 $B \in \mathbb{R}^{r \times m}$ 是从预训练权重 $W_0$ 导出的预计算投影矩阵，而 $R \in \mathbb{R}^{r \times r}$ 是可学习参数。这将可训练参数的数量从 $r(n+m)$ 减少到 $r^2$ ，创建了一个高度压缩的参数空间。

2. 投影策略

本文评估了四种计算冻结投影矩阵 $A$ 和 $B$ 的不同方法：

截断 SVD：使投影与原始权重矩阵 $W_0$ 的主方向对齐。
截断白化 SVD (W-SVD)：考虑输入数据统计量（协方差 $\Sigma_{xx}$ ），以最小化激活误差而非权重重构误差。
二维离散余弦变换 (DCT)：使用固定的通用余弦波基，并在权重之前进行确定性排列以诱导空间相关性。
随机投影：使用 Haar 分布的高斯正交矩阵，不对权重结构做任何假设。

3. 子空间中的贝叶斯推断

该框架在核心矩阵 $R$ 上而非完整权重更新上进行贝叶斯推断。采用了两种近似贝叶斯方法：

SWAG（随机权重平均 - 高斯）：利用随机梯度下降（SGD）的轨迹，构建具有低秩加对角协方差的高斯后验。
拉普拉斯近似：在最大后验（MAP）解附近近似后验。作者针对海森矩阵/费雪信息矩阵实现了**对角（DIAG）和克罗内克分解（KRON）**近似，以平衡表达能力和内存效率。

关键在于，权重更新 $\Delta W$ 的完整协方差从未被显式化。相反，协方差通过投影子空间的克罗内克结构隐式定义，从而实现了高效的采样和不确定性估计。

主要贡献

参数高效的贝叶斯框架：本文提出了一种方法，能够在极低维参数空间（每层 $r^2$ 个参数）中实现有效的不确定性量化，同时不牺牲 LoRA 的效率优势。
广义投影策略：与主要依赖 SVD 的先前工作不同，本文引入并评估了一个广义框架，包括数据感知（白化 SVD）和结构无关（DCT、随机）的投影。
低秩协方差的实证验证：作者证明，在这些投影子空间中的权重协方差表现出低秩特性，这意味着即使是极低秩的协方差近似（例如秩 $k=2$ ）通常也足以有效建模不确定性。
可扩展性：该方法在 RoBERTa-large 和 LLaMA2-7B 上均得到了验证，表明该方法可扩展至更大模型，同时保持计算可行性。

实验结果

实验在 GLUE 任务（RTE、MRPC、CoLA、SST-2）上使用 RoBERTa-large 进行，并在常识推理任务（OBQA、ARC-E、ARC-C）上使用 LLaMA2-7B 进行。

校准与不确定性：所提出的方法（B-LoRA-XS 和 L-LoRA-XS）在期望校准误差（ECE）和对数似然负值（NLL）方面始终优于标准 LoRA 和 LoRA-XS。它们实现了与完整贝叶斯 LoRA 基线（如 LoRA-SWAG）相当或更好的校准效果，同时使用的参数数量减少了 5 到 15 倍。
投影性能：白化 SVD (W-SVD) 和标准 SVD 投影始终表现出最佳性能。数据无关的方法（如随机投影和 DCT）表现显著较差，特别是在较低秩的情况下，这突显了使子空间与权重结构对齐的重要性。
协方差秩：即使使用极低秩的协方差近似，模型仍保持稳健。例如，B-LoRA-XS 在协方差秩低至 $k=2$ 或 $k=5$ 时实现了最佳校准，而标准贝叶斯 LoRA 方法随着秩的降低性能显著下降。
分布外（OOD）检测：与确定性基线相比，贝叶斯变体展现了更优越的区分分布内（ID）与分布外（OOD）数据的能力，所提出的子空间方法在预测熵中显示出强烈的分离性。
LLaMA2-7B 结果：在更大模型上，压缩变体（例如 $r=64$ 的 L-LoRA-XS）在参数预算不到拉普拉斯 LoRA 基线三分之一的情况下，实现了显著的校准改进，同时保持了有竞争力的准确率。

意义与主张

本文主张，有效的不确定性量化并不需要高维参数空间。通过将权重更新投影到精心选择的低维流形上，作者证明了：

不确定性可以高效建模：权重之间的相关性可以在低维子空间中有效捕捉，从而允许使用低秩协方差矩阵，大幅降低内存和计算成本。
稳定性得到提升：在缩减的参数空间中操作稳定了优化过程，从而在有限的计算预算下实现了更好的收敛和校准。
协同权衡：该方法提供了一种协同权衡，即在保持或提升预测性能的同时显著增强校准，且仅使用现有贝叶斯 LoRA 方法所需参数的一小部分。

作者总结道，他们的框架代表了将贝叶斯推断应用于压缩子空间的概念创新，为资源受限环境下大型模型的不确定性感知微调提供了实用解决方案。