🤖 machine learning

Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching

本文介绍了 REPVLM，这是一种利用黎曼流匹配在预训练视觉 - 语言模型嵌入的双曲流形上计算概率密度的方法，从而实现有效的认知不确定性量化、分布外检测以及自动化数据筛选。

原作者： Li Ju, Mayank Nautiyal, Andreas Hellander, Ekta Vats, Prashant Singh

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Li Ju, Mayank Nautiyal, Andreas Hellander, Ekta Vats, Prashant Singh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《REPVLM：通过黎曼流匹配对预训练视觉语言模型进行认知不确定性量化》的通俗解释，辅以富有创意的类比。

核心问题：“过度自信”的机器人

想象你有一个超级聪明的机器人（即视觉语言模型，VLM），它几乎读遍了互联网上的每一本书，看遍了每一张图片。它能完美地描述一张猫或日落的照片。

然而，这里隐藏着一个缺陷：这个机器人过度自信。

如果你给它看一张看起来像猫的烤面包机，或者一句毫无意义的句子，它仍然会以 100% 的确定性给出答案。它不知道“自己不知道什么”。在人工智能领域，这被称为缺乏认知不确定性（或“模型无知”）。机器人需要一种方式来表示“我不确定这个”，以便人类介入并检查。

解决方案：“拥挤派对”类比

作者提出了一种名为REPVLM的新方法来解决这个问题。为了理解其工作原理，不妨将机器人的大脑想象成一个巨大、无形的派对房间（一个被称为“超球面”的数学空间）。

人群：当机器人接受训练时，它学习了常见的事物（猫、狗、汽车、“你好”等）。在我们的派对类比中，这些常见事物就像拥挤的舞池。大家都在紧密的群体中一起跳舞。
空角落：如果你给机器人看一些奇怪的东西（比如像猫的烤面包机或胡言乱语），该输入会被映射到房间中没有人跳舞的地方。那是一个空旷、孤独的角落。
洞察：论文认为，如果输入落在拥挤区域，机器人就是自信的；如果它落在空旷区域，机器人就是无知的，应当表现出不确定性。

魔法工具：“流匹配”

困难之处在于精确测量某个特定位置到底有多拥挤。你不能只是数人数，因为房间太大且太复杂。

作者使用了一种名为黎曼流匹配的数学技巧。以下是类比：

水流：想象房间的空角落充满了水，而拥挤的舞池是岛屿。
洋流：REPVLM 学习水的“洋流”。它学习水如何自然地从未被占据的空地流向拥挤的岛屿。
测量：通过追溯一滴水的路径以查看它来自何处，系统可以精确计算该区域的“密度”（拥挤程度）。
- 如果水流很容易从密集的人群中流出，则该输入是安全的。
- 如果水流必须从空旷的虚无中经过漫长而孤独的距离，则该输入是“不确定的”。

这种方法之所以特殊，是因为它尊重房间的形状。大多数数学试图用直尺测量直线距离，但这个房间像球体一样是弯曲的。REPVLM 使用测地线（弯曲表面上的最短路径，就像地球仪上的飞行路径）来准确测量距离。

他们的发现（结果）

团队在几项标准测试中测试了这个新的“人群计”：

发现错误：当他们要求机器人忽略其最“不确定”的答案（即那些位于空角落的答案）时，剩余的答案几乎总是正确的。该方法在识别机器人何时感到困惑方面几乎完美。
发现奇怪事物：他们在“分布外”数据（与机器人训练数据截然不同的图像）上进行了测试。REPVLM 成功将这些标记为“低密度”（空角落），并表示“我不认识这个”。
清洗数据：他们表明，这种方法可以自动在大型数据集中发现糟糕、模糊或无意义的图像，充当过滤器，在训练未来机器人之前清理数据。

为什么这很重要

以往让机器人承认不确定性的方法要么太慢（需要机器人运行同一测试 100 次），要么不适用于这些特定类型的模型。

REPVLM 是：

快速：它不需要多次运行机器人。
原生：它直接在机器人大脑的形状上工作，无需重建机器人。
准确：它在“低人群密度”和“高错误率”之间建立了近乎完美的联系。

关于局限性的说明

作者诚实地指出了局限性：

代理问题：为了学习“人群”在哪里，系统需要一个数据样本（代理），该样本看起来像机器人最初训练的数据。如果机器人是在干净数据上训练的，但你试图将其用于杂乱的数据，“人群地图”可能会略有偏差。
公平性警告：由于系统将“罕见”事物标记为“不确定”，它可能会意外地将罕见但有效的事物（例如代表性不足群体的图像）标记为“错误”，仅仅因为它们在训练数据中较少见。作者建议人类应审查这些被标记的项目，而不是自动删除它们。

总结

简而言之，REPVLM 赋予超级聪明的机器人一种“直觉”。它通过将机器人的知识映射到一个拥挤的派对房间来实现这一点。如果机器人处于拥挤的位置，它就是自信的；如果它处于空旷的位置，它就知道自己无知。这让我们能够更信任机器人，因为我们确切知道它何时是在猜测。

技术摘要：REPVLM – 通过黎曼流匹配对预训练视觉语言模型进行认知不确定性量化

1. 问题陈述

预训练视觉语言模型（VLMs），如 CLIP、BLIP 和 SigLIP，已通过大规模对比预训练在跨模态表示学习方面取得了显著成功。然而，这些模型本质上是确定性的，将输入映射到高维嵌入空间中的单个固定点。这种架构缺乏一种内在机制来量化认知不确定性（即模型对其自身表示的无知或缺乏知识）。

虽然现有的针对 VLM 的不确定性量化（UQ）框架已经存在，但它们主要通过学习概率嵌入来解决偶然不确定性（数据模糊性）。专为认知不确定性设计的方法，如深度集成或蒙特卡洛 Dropout，对于大规模预训练模型而言往往计算成本过高，或者会产生次优的、依赖于批次的估计。因此，迫切需要一种可扩展的、内在的度量方法，能够直接量化模型对其表示的置信度，而无需昂贵的重新训练或参数空间采样。

2. 方法论：REPVLM

作者提出了REPVLM，这是一个通过在 VLM 嵌入的固有流形上直接估计概率密度来量化认知不确定性的框架。

理论动机
该论文通过三步链条建立了嵌入密度与认知不确定性之间的理论联系：

协方差到雅可比范数：在标准贝叶斯假设和局部线性条件下，高认知不确定性对应于大的参数 - 雅可比范数，表明对参数扰动的敏感性。
雅可比范数到数据密度：在训练数据的高密度区域，编码器的雅可比范数往往较小（平滑性），而在低密度（分布外）区域，它则保持无约束状态。
数据密度到嵌入密度：受对比学习中对齐与均匀性动态的启发，作者提出了一个经验假设，即输入数据 $p(x)$ 的密度与超球面上生成的嵌入 $p(z)$ 的密度相关。
因此，负对数似然 $-\log p(z)$ 可作为认知不确定性的原则性代理：低密度区域标志着模型的无知。

黎曼流匹配（RFM）
为了在超球面 $S^{d-1}$ （ $\ell_2$ 归一化的 VLM 嵌入所在之处）高效地计算 $p(z)$ ，REPVLM 利用了条件黎曼流匹配（CRFM）：

流形原生建模：与标准的欧几里得流匹配不同，REPVLM 直接在超球面上运行。它学习一个向量场 $v_t$ ，将简单的均匀基础分布 $P_0 = \text{Unif}(S^{d-1})$ 传输到经验模态特定分布 $P_1$ （图像和文本）。
测地线插值：概率路径是沿测地线（大圆）构建的，而非直线，从而尊重语义空间的固有几何结构。
统一条件框架：单个神经网络学习以模态为条件的向量场（ $c \in \{\text{image}, \text{text}\}$ ），从而实现与任务无关的不确定性估计。
似然计算：通过对学习到的向量场沿反向常微分方程（ODE）轨迹的散度进行积分来计算精确的对数密度。为了高效处理高维嵌入，作者采用了流形约束的 Hutchinson 迹估计器，以最小的计算开销近似散度。

3. 主要贡献

理论动机：该论文提供了形式化推导，证明了 $-\log p(z)$ 是对比编码器中认知不确定性的单调代理，将贝叶斯不确定性与嵌入密度联系起来。
流形原生方法（REPVLM）：作者引入了一种可扩展的不确定性量化方法，将黎曼流匹配扩展到 VLM 嵌入空间，使得无需修改预训练骨干网络即可对视觉和文本模态进行内在概率密度计算。
实证验证：该方法在多个基准测试中得到了验证，证明了不确定性分数与预测误差之间存在近乎完美的相关性，在选择性分类和分布外（OOD）检测方面显著优于现有基线。

4. 实验结果

作者在六个下游基准测试（ImageNet-1K、Food101、CIFAR-100、ObjectNet、ImageNet-R、ImageNet-Sketch）上评估了 REPVLM，使用了三个不同的代理数据集进行训练（Conceptual Captions、DataComp-1B、LAION-2B）。

选择性分类：REPVLM 在标准基准测试中实现了不确定性与预测误差之间近乎完美的斯皮尔曼相关性（ $S \ge 0.988$ ）。在识别模型错误方面，它始终优于 ProbVLM、蒙特卡洛 Dropout 和嵌入范数等基线方法。
对分布偏移的鲁棒性：在分布偏移数据集（ObjectNet、ImageNet-R、ImageNet-Sketch）上，REPVLM 是唯一在所有偏移单元中均实现 $S=1.000$ 的方法，而其他方法（如 ProbVLM、GMM）则显示出高方差或负相关性。
应用：
- OOD 检测：不确定性分数有效地将分布内（ID）数据与近 OOD 和远 OOD 数据分离，产生了高 ROC 和精确率 - 召回率曲线。
- 自动化数据策展：REPVLM 标记的高不确定性样本对应于噪声、模糊或无意义的输入，证明了其在清理大规模网络数据集方面的实用性。
效率：除了骨干网络外，REPVLM 仅需约 0.55 GFLOPs 的额外开销，使其比蒙特卡洛 Dropout（需要约 10 次前向传播）显著更高效，同时比 ProbVLM 提供更可靠的认知估计。

5. 意义与局限性

意义
该论文认为，流形上的嵌入密度是预训练 VLM 中认知不确定性的操作量。通过利用黎曼流匹配来利用嵌入空间的几何结构，REPVLM 提供了一种可扩展、内在且高度可靠的模型置信度度量。这使得自动化数据策展和鲁棒的 OOD 检测等实际应用成为可能，而无需集成方法的计算成本。

局限性
作者明确承认了几个局限性：

理论代理：贝叶斯认知不确定性与嵌入密度之间的联系是一个基于经验假设（特别是关于非可逆对比编码器中的密度保持）的动机性代理论点，而非形式化恒等式。
代理依赖性：像所有事后方法一样，REPVLM 需要一个能代表目标 VLM 预训练领域的代理数据集。专用的 VLM 可能需要领域内的代理。
几何假设：该理论假设来自余弦相似度训练编码器（如 CLIP）的 $\ell_2$ 归一化嵌入位于 $S^{d-1}$ 上。作者指出，结果可能无法外推到具有不同几何结构的模型（例如 SigLIP，由于纹理驱动的密度变化，其在分布内基准测试上表现下降）。
公平性风险：作者警告称，基于密度的不确定性将稀有性与无知混为一谈。罕见但有效的输入（例如来自代表性不足群体的输入）可能会被标记为高不确定性异常值。在安全关键环境中，此类样本应作为人工审查的候选对象，而不是自动移除。