Post-hoc Probabilistic Vision-Language Models

这是一篇关于**后验概率视觉语言模型（Post-Hoc Probabilistic Vision-Language Models）**的论文，提出了一种名为 BayesVLM 的新方法。该方法旨在为预训练的大型视觉语言模型（VLMs，如 CLIP 和 SigLIP）提供高效、无需重新训练的不确定性估计。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现状： 视觉语言模型（VLMs）在零样本分类、检索和生成任务中取得了巨大成功。然而，现有的 VLMs 通常采用确定性映射（Deterministic Mapping），将图像和文本映射到联合潜在空间，并通过余弦相似度评估匹配程度。
• 痛点： 这种确定性方法无法捕捉概念上的不确定性，特别是在下游任务中存在**域偏移（Domain Shift）**时。缺乏可靠的不确定性估计会阻碍 VLMs 在安全关键应用（如医疗、自动驾驶）中的部署，也限制了其在主动学习（Active Learning）等场景中的效率。
• 现有方法的局限：
  • 校准（Calibration）： 仅调整置信度，无法捕捉认知不确定性（Epistemic Uncertainty）。
  • 微调/适配器（Fine-tuning/Adapters）： 需要重新训练或添加新层，计算成本高，且难以在流式/主动学习场景中应用。
  • 测试时适应（Test-time Adaptation）： 显著增加推理成本。
• 目标： 开发一种后验（Post-hoc）、无需训练（Training-free）、模型无关（Model-agnostic）且计算高效的方法，能够直接从预训练模型中提取不确定性。

2. 方法论 (Methodology)

作者提出了 BayesVLM，其核心思想是利用**拉普拉斯近似（Laplace Approximation, LA）**对预训练 VLM 的最后几层进行贝叶斯后验近似。

核心步骤：

1. 独立概率建模与 i.i.d. 假设：

   • 为了克服 VLM 对比损失（InfoNCE）中模态纠缠导致数据非独立同分布（non-i.i.d.）的问题，作者假设图像投影层 $P$ 和文本投影层 $Q$ 是独立的概率模型。
   • 将联合对比损失分解为两个独立的条件概率模型（图像给定文本，文本给定图像），从而使得每个模态的数据可以被视为独立同分布（i.i.d.）。
   • 尽管假设了模态间的参数独立性，但由于是在联合对比损失的 MAP（最大后验）估计附近进行局部后验近似，模型仍能保留预训练中学到的模态间交互信息。

2. 拉普拉斯近似 (Laplace Approximation)：

   • 对投影层 $P$ 和 $Q$ 的后验分布进行高斯近似：$p(\theta | \mathcal{D}) \approx \mathcal{N}(\theta_{MAP}, \Sigma)$。
   • Hessian 矩阵近似： 由于计算完整 Hessian 矩阵不可行，采用**广义高斯 - 牛顿（GGN）**近似，并结合 KFAC（Kronecker-factored Approximate Curvature） 技术，将 Hessian 分解为两个较小矩阵的 Kronecker 积，大幅降低计算和存储成本。
   • 仅对最后的投影层进行概率化处理，保持庞大的编码器（Encoders）为确定性，以维持效率。

3. 余弦相似度的概率传播 (ProbCosine)：

   • 由于投影层变为概率分布，生成的嵌入向量 $g$ 和 $h$ 也是随机变量，导致它们之间的余弦相似度 $S_{COS}$ 成为一个随机变量，而非标量。
   • 作者推导了余弦相似度分布的解析表达式，通过一阶和二阶矩（均值和方差）来近似该分布：
     • 利用三角不等式近似期望值 $E[S_{COS}]$。
     • 推导方差 $Var[S_{COS}]$ 的解析解。
   • 最终，余弦相似度的分布被近似为高斯分布 $\mathcal{N}(\mu, \sigma^2)$，并通过 Probit 近似直接传播到类别条件概率中，从而得到校准后的预测概率和不确定性估计。

4. 主动学习应用：

   • 将 BayesVLM 估计的不确定性（如 BALD 分数、EPIG 分数）用于主动学习的数据选择。
   • 结合**目标区域选择（Targeted Selection）**策略（基于 k-NN 或 Wasserstein 距离），优先选择对目标域最有信息量的样本进行微调。

3. 主要贡献 (Key Contributions)

1. BayesVLM 框架： 提出了首个针对预训练 VLM 的高效后验概率化方法，无需改变架构或重新训练，即可获取认知不确定性。
2. 解析推导： 首次直接对视觉语言模型进行贝叶斯公式化，并推导了余弦相似度分布的解析表达式，实现了高效的不确定性传播。
3. 性能提升： 在零样本分类和主动学习场景中均优于基线方法。
   • 零样本： 显著改善了模型的校准度（Calibration），减少了过度自信（Overconfidence）的预测。
   • 主动学习： 利用不确定性指导数据选择，在有限的标注预算下实现了更低的错误率和更好的模型适应。
4. 鲁棒性与效率： 证明了该方法即使在训练数据不可用（使用代理数据集估计 Hessian）的情况下依然鲁棒，且推理开销极低（CLIP-Base 仅增加 <5% 时间，远低于 TTA 的 80 倍开销）。

4. 实验结果 (Results)

• 零样本分类 (Zero-Shot Classification)：
  • 在 FLOWERS-102, FOOD-101, CIFAR-10/100, ImageNet-R 等多个基准测试上，BayesVLM 在保持准确率（ACC）与原始 CLIP 相当的同时，显著降低了负对数预测密度（NLPD）和期望校准误差（ECE）。
  • 相比温度缩放（Temperature Scaling）和测试时增强（TTA），BayesVLM 提供了更可靠的不确定性估计。
• 主动学习 (Active Learning)：
  • 在 OfficeHome 和 ImageNet 变体数据集上，使用 BayesVLM 不确定性（EPIG/BALD）选择微调数据，比随机选择或基于熵的选择方法获得了更高的加权准确率和更低的 NLPD。
  • 图 2 显示，BayesVLM 在主动学习前减少了过度自信的预测，并在适应后显著降低了分类错误率。
• 鲁棒性测试：
  • 代理数据集： 使用 CC12M 作为 LAION-400M 的代理数据集来估计 Hessian，结果仅出现轻微性能下降，证明了在闭源数据场景下的适用性。
  • 分布偏移： 在图像和文本受到不同程度的噪声（如模糊、字符替换）时，BayesVLM 的方差能正确反映输入的不确定性增加，而均值能反映置信度的下降。
• 计算效率：
  • 推理时间增加极少（CLIP-Base 约 4.7%，CLIP-Huge 约 0.35%）。
  • 计算成本（GFLOPs）几乎不变，而 TTA 需要增加 80 倍。

5. 意义与影响 (Significance)

• 安全关键应用： 为大规模 VLM 在医疗、自动驾驶等高风险领域的应用提供了必要的安全保障，使模型能够识别“我不知道”的情况。
• 资源效率： 提供了一种无需昂贵重训练即可提升模型可靠性的方案，特别适合计算资源受限或数据隐私受限（无法访问原始训练数据）的场景。
• 主动学习范式： 展示了如何利用贝叶斯不确定性来高效地筛选数据，加速模型在特定下游任务上的适应过程。
• 理论贡献： 将贝叶斯深度学习理论成功应用于复杂的对比学习模型（VLMs），并解决了模态纠缠带来的理论挑战，为后续研究提供了新的思路。

总结：
BayesVLM 通过巧妙的后验近似和解析推导，成功地将确定性 VLM 转化为概率模型。它在几乎不增加计算成本的前提下，显著提升了模型的不确定性估计能力和校准度，是迈向更可靠、更安全的视觉语言模型的重要一步。