🤖 machine learning

Quantifying the Uncertainty of Foundation Models with Singular Value Ensembles

该论文提出了奇异值集成（Singular Value Ensemble, SVE），这是一种参数高效的方法，通过在共享的奇异向量基底内仅训练奇异值，来量化基础模型的认知不确定性，从而以不到 1% 的参数量增加，实现了与标准集成方法相当的校准度。

原作者： Mehmet Ozgur Turkoglu, Dominik J. Mühlematter, Alexander Becker, Konrad Schindler, Helge Aasen

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mehmet Ozgur Turkoglu, Dominik J. Mühlematter, Alexander Becker, Konrad Schindler, Helge Aasen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：过度自信的专家

想象一下，你有一位才华横溢、世界级的专家（基础模型），他几乎读遍了图书馆里的每一本书。他在回答问题方面非常出色。然而，有一个陷阱：这位专家表现得极其过度自信。

如果你问一个他知道答案的问题，他会百分之百确定。但如果你问一个完全虚构或超出其训练范围的问题（比如“一个不存在的星球的首都是哪里？”），他仍然会以 100% 的信心来回答，尽管他的答案完全是错的。

在现实世界中，这是非常危险的。如果医生的 AI 说：“我 100% 确定这颗心脏是健康的”，但实际上它已经生病了，患者可能就无法得到治疗。我们需要一种方法来知道专家什么时候其实并不知情。

旧方案：委员会（集成学习）

解决这个问题的标准方法是聘请一个专家委员会，而不是仅仅依靠一个专家。

运作方式： 你从头开始训练 5 个或 10 个不同的专家。当他们意见一致时，你就相信这个答案。当他们产生分歧时，你就知道这个答案是不确定的。
问题所在： 这极其昂贵。训练一个巨大的专家需要大量的资金和电力。训练 10 个这样的专家意味着要花 10 倍的钱。对于那些最庞大、最强大的 AI 模型来说，为普通人或小公司提供一个专家委员会通常是不可能的。

新思路：“奇异值集成”（Singular Value Ensemble, SVE）

作者提出了一种聪明的技巧，叫做奇异值集成 (Sviular Value Ensemble, SVE)。他们并没有去雇佣 10 个不同的专家，而是通过一种数学上的捷径，将一个专家转化成了 10 个略有不同的“人格”。

以下是其运作原理，分为三个步骤：

1. 知识的图书馆（奇异向量）

想象专家的脑海中有一个巨大的图书馆。在里面，书本（知识）被组织在书架上。

奇异向量 (Singular Vectors) 就是这些书架。它们代表了专家在预训练期间学到的基本、有意义的知识方向（例如，“如何谈论猫”、“如何做数学题”）。
奇异值 (Singular Values) 是这些书架上的音量旋钮。它们决定了每项特定知识的响度或重要程度。

论文指出，**书架（向量）**是完美的，不应该被触动。它们包含了核心智慧。但是，**音量旋钮（数值）**可以通过微调来改变专家的思考方式。

2. “音量旋钮”戏法

SVE 并没有训练 10 个新专家，而是拿出了一个现有的专家并创建了 10 个副本。

规则： 这 10 个副本共享完全相同的书架（冻结的知识）。
转折点： 每个副本都可以根据自己的意愿，稍微不同地调高或调低自己的音量旋钮。
- 副本 A 可能会调高“数学”知识的音量，并调低“诗歌”知识的音量。
- 副本 B 可能会反其道而行之。

因为他们在以不同的方式调整相同知识的音量，所以他们会对同一个问题给出略微不同的答案。这种分歧告诉我们：“嘿，我们对这个答案不太确定！”

3. 为什么它是效率的奇迹

这是最神奇的部分。

旧方法（委员会）： 要获得 10 个专家，你需要 10 倍的脑力（计算能力）和内存。
SVE 方法： 你只需要一个大脑。你只需为每个副本添加一个微小的数字列表（即音量旋钮）。
结果： 论文显示，这种方法增加的计算机内存占用不到 1%。这就像是聘请了一个由 10 名专家组成的委员会，但你只需要支付一名专家的薪水，再加上给其他成员的一点小费。

论文的研究发现

作者在许多任务上测试了该方法，从识别花卉和宠物到回答复杂的推理问题。

有效性： “音量旋钮”方法在识别不确定性方面，表现得与聘请一个完整的 10 人专家委员会一样出色。
准确性： 这些专家不仅没有变得混乱，而且与仅使用单个专家相比，他们回答问题的正确率实际上变得更高了。
可扩展性： 该方法在小型模型和大型模型（如 70 亿参数的 LLaMA-2）上都表现良好。
速度快： 因为不需要训练 10 个独立的巨大大脑，所以它节省了大量的时间和能源。

核心总结

这篇论文介绍了一种让强大的 AI 模型变得“谦逊”的方法。与其让它们过度自信，这种方法可以让它们在遇到新事物时能够说：“我不确定”。它通过创建一个拥有不同音量设置的“单人专家委员会”来实现这一点，在保持 AI 安全可靠的同时，节省了巨额的资金和计算资源。

技术摘要：通过奇异值集成量化基础模型的确定性

1. 问题陈述

基础模型通过大规模预训练在多种任务中取得了卓越的表现，但它们经常产生过度自信且未校准的预测。在医疗诊断、自动驾驶和农业决策支持等高风险领域，模型识别自身无知（认知不确定性）的能力与预测准确性同样至关重要。过度自信的误诊或错误的风险评估可能会导致严重后果。

量化认知不确定性的标准方法是训练多个独立初始化的模型集成（深度集成，Deep Ensembles）。虽然这种方法很有效，但其计算和内存成本随集成成员数量 ( $M$ ) 线性增加。对于拥有数十亿参数的基础模型，即使是一个规模较小的集成（例如 $M=4$ ）也会变得在计算上难以承受，使得原则性的不确定性估计对于资源有限的从业者或依赖参数高效微调（PEFT）的用户而言变得遥不可及。

现有的隐式集成方法（如 MC-Dropout、BatchEnsemble、LoRA-Ensemble）试图降低开销，但往往难以达到显式集成集的校准性能，或者仍需要为每个成员学习大量的额外参数。

2. 方法论：奇异值集成 (SVE)

作者提出了 奇异值集成 (Singular Value Ensemble, SVE)，这是一种基于以下洞察的参数高效型隐式集成方法：基础模型中的知识是沿着由权重矩阵奇异向量定义的线性子空间组织的。

核心假设

该方法依赖于这样一个假设：预训练权重矩阵的奇异向量 ( $U$ 和 $V$ ) 对应于表示空间中具有意义的、正交的“知识方向”。奇异值 ( $\Sigma$ ) 则编码了这些方向的相对重要性或强度。因此，可以通过保留共享的知识基底（奇异向量），同时通过成员特有的奇异值来调节每个方向的贡献，从而构建一个集成。

技术实现

SVD 分解： 对于预训练模型中的每个目标权重矩阵 $W \in \mathbb{R}^{m \times n}$ ，计算其奇异值分解： $W = U\Sigma V^\top$ 。
参数冻结： 冻结奇异向量 $U$ 和 $V$ ，以保留预训练的知识基底。
成员特有学习： 该方法不是学习新的权重矩阵，而是为每个集成成员 $m$ 训练 $M$ 个副本的奇异值，记作 $\{\Sigma^{(m)}\}_{m=1}^M$ 。此外，还会训练一个每成员对应的偏置向量 $b^{(m)}$ 。
重构： 在推理期间，成员 $m$ 的权重矩阵重构为 $W^{(m)} = U\Sigma^{(m)}V^\top$ 。
多样性与初始化： 为了在不破坏预训练结构的情况下确保成员间的多样性，奇异值使用乘性扰动进行初始化： $\Sigma^{(m)} = \Sigma \odot (1 + \epsilon^{(m)})$ ，其中 $\epsilon^{(m)} \sim \mathcal{N}(0, \sigma_{init}^2 I)$ 。在联合训练期间，随机小批量采样进一步驱动各成员收敛到共享子空间的截然不同的组合中。

参数效率

对于隐藏层维度为 $d$ 的 Transformer，SVE 每层每个成员仅增加 $6d$ 个奇异值和 $9d$ 个偏置项（针对注意力机制和 MLP 投影）。相对于基础模型的总参数开销约为：
$\text{Overhead} \approx \frac{5(M-1)}{4d}$
对于 $d=768$ 且 $M=8$ 的情况，这导致开销 $<1\%$ 。对于像 LLaMA-2-7B ( $d=4096$ ) 这样更大的模型，开销降至 $\approx 0.2\%$ 。这显著比 LoRA-Ensemble（添加秩为 $r$ 的矩阵）更高效，且比深度集成高出数个数量级。

3. 核心贡献

引入 SVE： 一种新型的参数高效型隐式集成方法，通过学习每成员特有的奇异值并共享预训练的奇异向量，从而创建多样化的集成成员。
不确定性的新基准： 将 SVE 确立为基础模型不确定性量化的强力基准，在保持预测准确性的同时实现了最先进的校准性能。
广泛验证： 在涵盖 22M 到 7B 参数（BERT、LLaMA-2-7B、DINOv1/v2）的骨干网络上，通过自然语言处理 (NLP) 和视觉任务进行了验证。结果证明了该方法在模型规模和任务类型上的泛化能力。

4. 实验结果

作者在 NLP 任务（ARC-Easy, SST-2）和视觉任务（Flowers102, CIFAR-100, DTD, Oxford Pets, OOD 检测以及 CIFAR-100-C 损坏数据集）上评估了 SVE。

校准： SVE 始终比深度集成、LoRA-Ensemble 和贝叶斯方法（如 Bayes-LoRA, BLoB）获得更优或具有竞争力的期望校准误差 (ECE)。值得注意的是，在 ARC-Easy 任务中使用 LLaMA-2-7B 时，SVE ( $M=16$ ) 实现了 3.8% 的 ECE，显著优于深度集成 (9.9%) 和 LoRA-Ensemble (9.0%)，接近贝叶斯方法的校准水平，且实现起来更简单。
准确率： SVE 保持了与显式集成和其他隐式方法相当的预测准确率。在 CIFAR-100 上，它达到了 85.6% 的准确率，超过了深度集成 (85.4%) 和单模型。
鲁棒性： 在分布偏移（CIFAR-100-C）和分布外 (OOD) 检测（CIFAR-100 $\to$ CIFAR-10）下，尽管使用了更少的参数，SVE 在 AUROC 和 AUPRC 方面表现出强大的鲁棒性，匹配或超过了 LoRA-Ensemble 和深度集成的性能。
骨干网络依赖性： SVE 的收益随预训练表示质量的提升而增加。在随机初始化的模型上，SVE 表现不佳；然而，在具有强力骨干网络（DINOv2）的模型上，它超越了所有基准，验证了“有意义的奇异向量基底对该方法成功至关重要”的假设。
计算成本： 与 LoRA-Ensemble 相比，SVE 将参数和内存开销降低了 10 倍；与深度集成相比，降低了 700 倍。推理时间与 LoRA-Ensemble 相当，且明显快于贝叶斯采样方法。

5. 重要性与主张

本文声称 SVE 使资源受限环境下的原则性不确定性估计变得民主化。通过利用基础模型的线性子空间结构，SVE 能够以极低的参数开销（ $<1\%$ ）创建多样化的集成。

作者将 SVE 定位为一种平衡的方法，它：

达到与 LoRA-Ensemble 相当的准确率。
达到与复杂贝叶斯方法相当的校准性能。
具备参数高效型微调的计算效率。

这项工作表明，随着基础模型的改进，其奇异向量中所编码的“知识基底”将变得越来越有价值。SVE 通过保留这些表示并引入轻量化调整来引入多样性，从而利用了这一点，使得可靠的不确定性估计对于传统集成难以实现的规模化模型而言变得触手可及。

承认局限性：
作者指出，推理仍然需要每个成员进行一次前向传播（与其它隐式集成类似），因此 FLOPs 仍与深度集成相当。由于需要在 SVD 之前进行反量化，与量化骨干网络的集成并非易事。此外，由于 SVE 保留了预训练的基底，它可能会继承骨干网络中存在的偏差或伪相关性。