技术摘要：GeoFlowVLM

问题陈述

标准的双编码器视觉 - 语言模型（VLM），如 CLIP 和 SigLIP，通过 $\ell_2$ 归一化将图像和文本映射到共享单位超球面上的确定性点。虽然这种方法在检索和零样本迁移方面行之有效，但这种确定性表示无法量化预测的不确定性。具体而言，它既未揭示偶然不确定性（内在的跨模态歧义，即一个输入对应多个有效输出），也未揭示认知不确定性（缺乏对落在训练分布之外查询的支持）。

现有的事后不确定性量化（UQ）方法存在两个主要局限性：

1. 几何无意识性：许多方法在环境欧几里得空间中运行，忽略了定义 VLM 嵌入空间的 $\ell_2$ 归一化约束。
2. 不确定性建模不完整：大多数方法仅捕捉一种类型的不确定性（偶然性或认知性），或者未能同时尊重两种模态的超球面几何结构。例如，ProbVLM 虽然捕捉了两者，但使用了启发式方法，忽略了超球面结构，并且测量的是适配器不确定性而非骨干网络密度。

核心挑战在于：在不重新训练底层编码器的情况下，从冻结的 VLM 嵌入中量化这两种不确定性，同时严格尊重乘积超球面几何结构（$S^{d-1} \times S^{d-1}$）。

方法论：GeoFlowVLM

作者提出了GeoFlowVLM，这是一种事后概率适配器，用于学习乘积超球面上成对 $\ell_2$ 归一化嵌入的联合分布。

核心架构与训练

• 黎曼流匹配：该模型利用黎曼流匹配在流形 $M = S^{d-1} \times S^{d-1}$ 上学习联合密度 $p_\phi(e_I, e_T)$。它回归到闭式测地线切向目标，避免了昂贵的热核近似。
• 单一掩码速度场：一个关键的设计选择是使用带有块结构二元掩码 $m \in \{0, 1\}^{2d}$ 的单个神经网络。该单一速度场 $v_\phi(z_t, m)$ 通过不同的掩码处理三种不同的模式：
  1. 联合流（$m_{joint}$）：生成图像和文本嵌入。
  2. 条件流（$m_{I \to T}$）：给定固定图像生成文本。
  3. 条件流（$m_{T \to I}$）：给定固定文本生成图像。
• 训练目标：该模型使用掩码条件流匹配（CFM）目标进行训练。掩码将监督限制在生成的维度上，同时将条件维度固定在其观测值（$t=0$）处。训练采用熵最优传输来配对源样本和目标样本，从而在流形上拉直轨迹。
• 一致性：定理 1 证明，在总体极限下，这种单一掩码网络无需辅助一致性损失即可恢复跨模态方向及联合分布的有效黎曼条件流速度场。

不确定性读数

从单一训练好的联合模型中，推导出两个不确定性指标：

1. 偶然不确定性（检索熵）：

   • 源自条件后验 $p_\phi(e_T | e_I)$（或反之）。
   • 从条件流中采样，并在检索库上聚合，形成离散后验分布 $\pi$。
   • 香农熵 $H(\pi)$ 量化检索歧义。
   • 理论依据：利用 Fano 不等式，熵提供了 MAP 贝叶斯风险的严格下界，证明高熵对应高检索难度。

2. 认知不确定性（边际典型性）：

   • 通过联合负对数似然（NLL）的精确链式法则分解得出：
     $$-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{认知典型性}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{跨模态匹配}}$$
   • 作者认为，点互信息（PMI）项在结构上是判别性的（衡量兼容性），而非认知性的。
   • 认知得分定义为边际典型性之和：$u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$。
   • 这些边际值利用贝叶斯恒等式并通过流 ODE 的反向时间积分从联合模型计算得出，无需额外参数。

主要贡献

1. GeoFlowVLM 适配器：一种在乘积超球面上通过黎曼流匹配训练的事后概率适配器，使用单一掩码速度场。它在无需重新训练编码器的情况下，提供联合、边际和条件密度。消融研究证实，尊重超球面几何结构对于校准不确定性在结构上是必要的。
2. 条件检索熵：一种新的偶然性估计量，用于量化跨模态歧义。它在基准测试中表现出近乎理想的单调校准（跟踪检索难度），并为贝叶斯风险提供了决策理论下界。
3. 链式法则分解：一项理论推导，表明联合 NLL 可分解为边际典型性（正确的认知信号）和跨模态 PMI（判别信号）。这解释了基于单模态密度的方法（如 REPVLM）的经验成功，并将其框定为联合模型的连贯扩展。

实验结果

该方法在冻结的 OpenCLIP ViT-H/14 骨干网络上进行评估，在 Conceptual Captions (CC-1M) 上训练，并在七个基准测试上进行零样本测试。

• 偶然不确定性（检索）：

  • 在 MS-COCO、Flickr30k 和 CUB-200（包括图像到文本和文本到图像）上进行了评估。
  • GeoFlowVLM 实现了预测熵与 Recall@1 之间近乎完美的单调校准（Spearman $\rho \approx -1.0$），显著优于基线模型（ProbVLM、AsymVLM、GroVE）。
  • ProbVLM 显示出正相关（不确定性在正确查询上上升），而其他基线则表现出不稳定或非单调的趋势。

• 认知不确定性（零样本分类）：

  • 在 ImageNet-1K、Food-101、CIFAR-100 和 ObjectNet 上进行了评估。
  • 边际典型性之和（$u_{ep}$）随着覆盖率的降低（拒绝高不确定性样本）而呈现出一致增加的筛选准确率。
  • 组件分析证实，PMI 作为独立的认知得分表现不佳（经常拒绝正确预测），而边际典型性提供了可靠的信号。
  • GeoFlowVLM 的表现与 REPVLM 相当或更优，在 ObjectNet（视角偏移）上具有显著优势，这归因于联合模型能够捕捉独立单模态流所遗漏的跨模态结构。

• 消融实验：

  • 几何结构：欧几里得基线（架构相同但在 $\mathbb{R}^d \times \mathbb{R}^d$ 中运行）在偶然性和认知性指标上均灾难性失败，证实了黎曼几何的必要性。
  • 效率：仅需 10 个 ODE 积分步长和一个 Hutchinson 探针即可进行散度估计，即可获得可靠的估计。
  • 骨干网络：结果迁移到了 SigLIP 骨干网络，尽管由于 SigLIP 嵌入更具各向同性，基于密度的方法在 ImageNet-1K 上的性能有所下降。

意义与主张

本文主张，GeoFlowVLM 通过提供一个单一的、感知几何的模型，同时揭示偶然不确定性和认知不确定性，解决了冻结 VLM 事后 UQ 的关键空白。

• 理论洞察：该工作为以下问题提供了原则性解释：为何在此设置中边际典型性是正确的认知信号，以及为何跨模态 PMI 不应作为不确定性得分。它证明了在乘积超球面上的联合建模严格优于单模态建模。
• 实用价值：该方法提供了一种校准的、方向对称的检索难度估计量，以及用于零样本分类中分布外检测的鲁棒基于密度的得分，且无需修改预训练的 VLM 骨干网络。
• 局限性：作者指出，一致性定理是总体极限结果；有限样本界限仍待解决。认知得分是基于密度的（典型性），而非贝叶斯的（参数后验方差）。此外，该方法需要在大规模数据上进行一次性训练，并且每个查询需要多次 ODE 求解，这使其区别于免训练方法。

作者总结道，联合嵌入建模是一种在视觉 - 语言表示上进行更丰富概率推理的通用策略，特别适用于医疗检索和自主系统等安全关键应用。