🤖 machine learning

PVeRA: Probabilistic Vector-Based Random Matrix Adaptation

本文介绍了 PVeRA，这是一种 VeRA 适配器的概率扩展，通过修改其共享的低秩矩阵以更好地处理输入歧义，从而在 VTAB-1k 基准测试中实现了优于现有参数高效适配方法的性能。

原作者： Leo Fillioux, Enzo Ferrante, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Leo Fillioux, Enzo Ferrante, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一座庞大且极其聪明的知识库图书馆（即“基础模型”），它几乎读遍了世界上所有的书籍。这座图书馆才华横溢，但也体积巨大、笨重且难以移动。如果你想教它一项特定的新技能——比如识别稀有花卉或诊断某种特定疾病——通常需要对它进行“微调”。

问题所在： 传统的微调就像试图重写整部百科全书以适应你的新主题。这需要耗费大量的时间、金钱和计算能力。此外，如果你只有少量新主题的示例，图书馆可能会感到困惑并遗忘其旧有知识（即过拟合）。

当前的解决方案（适配器）： 为了解决这个问题，科学家们发明了“适配器”。你可以把它们想象成贴在图书馆书架上的小型、轻便的便签。你无需重写书籍，只需添加这些便签来指导图书馆如何处理你的新任务。其中一种流行的便签类型称为VeRA。它使用一对在整个图书馆中共享的“冻结”（不变）随机模式，并且只学习几个微小的数字（向量）来调整这些模式的使用方式。它效率很高，但略显僵化——它对每个输入都做出单一、固定的决定。

新想法：PVeRA
本文的作者提出了PVeRA（基于概率向量的随机矩阵适配器）。以下是他们所做工作的简要分解：

1. 从单一猜测到“可能性云”

想象你试图在一张雾蒙蒙的图片中识别一只动物。

旧方法（VeRA）： 模型看着雾气说：“我 100% 确定这是一头大象。”它基于固定规则做出一个僵硬的猜测。
新方法（PVeRA）： 模型看着雾气说：“这主要看起来像一头大象，但也有一小点可能是马，而且雾气让我有点不确定。”

PVeRA 改变了这些“便签”，使它们不再只包含一个数字，而是包含一个分布（即可能性的云团）。模型不再选择一个单一的固定调整，而是学习一系列可能的调整。在训练过程中，它从这个云团中随机采样，实际上是在用许多略有不同的自身版本进行练习。这帮助它更好地处理数据中的“雾气”（即歧义）。

2. 为何这就像一张“安全网”

论文声称，这种概率方法赋予了模型两项超能力：

置信区间（“你有多确定？”仪表）：
因为模型是从可能性云团中采样的，你可以让它对同一张图片观察 10 次。
- 如果它 10 次都说“大象”且置信度相同，你就知道它是确定的。
- 如果它 6 次说“大象”，3 次说“马”，1 次说“斑马”，你就知道它是不确定的。
  论文表明，PVeRA 可以自然地生成这些“置信区间”，而无需额外的复杂数学运算。这就像模型内置了一个诚实度仪表，能在它猜测时告诉你。
用更少的数据获得更好的性能：
作者在 19 个不同的数据集上测试了这种方法（涵盖自然照片、医学图像和结构化数据）。他们发现，PVeRA 的表现始终优于原始的 VeRA 和其他流行的适配器。它尤其擅长在不同类型的任务中保持稳定。

3. 合并的“魔力”

文中提到的一个最酷的特性是，尽管 PvERA 在训练期间使用“可能性云团”，但你仍然可以将其合并到主模型中以供实际应用。

类比： 想象你通过尝试 100 种不同的演讲版本来练习一场演讲。一旦练习得足够多，你就挑选出最好的那个版本并背下来。
结果： 当你真正发表演讲（推理）时，你不需要尝试 100 个版本。你只需交付那个经过打磨的版本。这意味着 PvERA 在实际使用时与旧方法一样快，但在训练期间它学得更聪明。

4. 识别“局外人”

论文还发现，由于 PvERA 学习的是分布，它更擅长识别它不知道的事物。

类比： 如果你向一个在猫和狗身上训练过的模型展示一张烤面包机的图片，一个僵硬的模型可能会自信地说“猫”（因为它看起来有点像猫）。然而，PvERA 模型可能会说：“我真的不确定；我内部的置信度非常混乱。”
作者表明，对于模型未曾见过的事物（分布外数据），其内部的“不确定性信号”要强烈得多，使其成为安全关键任务的更好工具，因为在这些任务中，你需要知道模型何时感到困惑。

总结

本文介绍了PVeRA，这是现有工具 VeRA 的一个更智能、更灵活的版本。通过教导模型以“概率”和“可能性范围”而非单一固定答案来思考，它：

在各种任务上表现更好。
知道何时自己不知道（更好的不确定性估计）。
保持快速，因为复杂的数学运算仅在训练期间使用，而在模型实际工作时并不需要。

这本质上是将模型的“便签”从僵硬的指令升级为灵活的概率指南，帮助模型在不确定性中自信地导航。

以下是论文《PVeRA：基于概率向量的随机矩阵自适应》的详细技术总结。

1. 问题陈述

大型基础模型（例如 Vision Transformers）已实现最先进性能，但微调需要巨大的计算资源和数据集。由于成本高昂以及在低数据 regime 下存在过拟合风险，传统的完整微调往往不可行。

参数高效微调（PEFT）： LoRA 和 VeRA 等方法通过冻结主干网络并仅训练少量参数（适配器）来解决这一问题。
现有方法的局限性： 虽然 VeRA（基于向量的随机矩阵自适应）通过使用跨层共享的冻结随机低秩矩阵实现了极高的效率，但它仍然是一种确定性方法。它仅产生权重适应的单一点估计，这限制了其以下能力：
1. 建模输入数据中固有的歧义性。
2. 量化预测的不确定性。
3. 为输出提供置信区间。

2. 方法论：PVeRA

作者提出了PVeRA，这是 VeRA 的概率扩展，将低秩适应矩阵视为从学习到的分布中抽取的随机变量，而非固定值。

核心机制

概率公式化： PVeRA 不再学习固定的缩放向量，而是学习潜在适应空间的多变量正态分布参数（ $\mu$ 和 $\sigma$ ）。
架构：
- 它利用与 VeRA 类似的冻结随机矩阵 $A$ 和 $B$ （跨层共享）。
- 它引入可训练向量 $d$ 和 $b$ 来生成分布的均值（ $\mu$ ）和标准差（ $\sigma$ ）。
- 重参数化技巧： 在训练期间，潜在变量 $z$ 被采样为 $z = \mu + \epsilon \cdot \sigma$ ，其中 $\epsilon \sim \mathcal{N}(0, 1)$ 。这使得梯度能够通过采样过程流动。
损失函数： 总损失结合了特定任务的分类损失与Kullback-Leibler (KL) 散度项。KL 项对学到的分布施加标准正态先验（ $\mathcal{N}(0, I)$ ），以防止过拟合并确保潜在空间保持正则化。
$\mathcal{L}_{total} = \mathcal{L}_{classification} + \beta \sum \mathcal{L}_{KL}$

推理策略

PVeRA 支持两种推理模式：

确定性： 仅使用均值（ $\mu$ ）进行适应。权重可以合并到主干网络中，从而实现零推理开销（与 VeRA/LoRA 相同）。
概率性（蒙特卡洛）： 在推理期间从学习到的分布中多次采样。这使得：
- 不确定性量化： 预测的高方差表明存在不确定性。
- 置信区间： 为预测生成统计置信区间。
- 分布外（OOD）检测： 分布外样本通常在潜在空间中表现出与分布内样本不同的分布特征。

3. 主要贡献

提出 PVeRA： 一种新型适配器，学习权重适应的分布，引入归纳偏置以处理特征空间歧义。
性能优越性： 证明 PVeRA 在平均表现上优于原始 VeRA 及其他最先进适配器（LoRA, DoRA, IA3, Bottleneck）。
不确定性与校准：
- PVeRA 保持了出色的模型校准能力（预测准确的置信分数）。
- 它能够在不重新训练主干网络的情况下生成置信区间和进行不确定性估计。
效率： 保留了 VeRA 的极高参数效率（参数数量比标准适配器少几个数量级），并允许权重合并以消除推理延迟。
开源： 提供了训练和基准测试 PVeRA 及其他适配器的代码。

4. 实验结果

作者在VTAB-1k 基准（涵盖自然、专业和结构化类别的 19 个数据集）上评估了 PVeRA，使用了冻结的DINOv2 (ViT-B/14) 主干网络。

准确率： PVeRA 在所有 19 个数据集上实现了最高的平均准确率（71.4%），优于 VeRA（69.9%）、LoRA（70.5%）和 DoRA（71.0%）。它在不同领域表现出特别稳定的性能。
参数效率： PVeRA 保持极低的参数量（与 VeRA 相当），显著低于 Bottleneck、AdaptFormer 和 DoRA。
校准： 使用自适应校准误差（ACE）指标，PVeRA（连同 LoRA 和 VeRA）显示出优于其他适配器的校准能力，意味着其置信分数能更好地反映实际准确率。
不确定性估计：
- 实验表明，在使用概率推理时，分类错误的样本其 softmax 分数的标准差显著高于分类正确的样本。
- 置信区间： 分类正确的样本具有更窄的置信区间（0.085），而错误分类的样本则较宽（0.225）。
分布外（OOD）检测： 适配器层中均值之和（ $\mu_q + \mu_v$ ）可作为区分分布内与分布外数据的有效指标，这是 VeRA 所缺乏的能力。
消融研究：
- 秩（Rank）： 秩 $r=256$ 提供了性能与参数的最佳平衡。
- 位置： 将 PVeRA 应用于**查询（Q）和值（V）**分支取得了最佳结果，这与 LoRA 的原始发现一致。

5. 意义与影响

PVeRA 代表了参数高效微调的重要进步，弥合了效率与概率建模之间的差距。

鲁棒性： 通过建模不确定性，PVeRA 更适合安全关键应用（如医学影像），在这些应用中，知道模型何时不确定与预测本身同样重要。
多功能性： 它将 VeRA 的效用从简单分类扩展到包括 OOD 检测和置信区间估计等任务，且在不增加模型推理成本（使用确定性合并时）的情况下实现。
泛化性： 论文还简要展示了 PVeRA 在自然语言处理任务（GLUE 基准）上的有效性，表明概率适应机制是模型无关的，不仅适用于计算机视觉。

总之，PVeRA 提供了一种“鱼与熊掌兼得”的解决方案：结合了 VeRA 的计算效率和低参数量，以及概率深度学习的鲁棒性、不确定性量化和改进的校准能力。