🤖 machine learning

Empirical Bayes Conformal Prediction for Vision and Language Models

本文介绍了一种经验贝叶斯共形预测框架，该框架利用 $r$ 值将分数变异性转化为不确定性感知的非共形分数，从而在保持无分布覆盖保证的同时，提高视觉与语言模型中的排序稳定性并减少高方差错误候选的纳入。

原作者： Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位才艺秀的评委。你有一份参赛者（候选者）名单，需要挑选一份“安全名单”，选出表现最佳者进入下一轮。你希望有 95% 的把握确保真正的获胜者在你的名单上，但同时希望这份名单尽可能短，以免浪费时间去观看糟糕的表演。

这正是**共形预测（Conformal Prediction, CP）**为人工智能模型所做的：它生成一份“安全答案”列表，并保证在大多数情况下包含正确答案。

然而，标准人工智能模型存在一个问题：它们有时不稳定。如果你两次询问同一个问题，或两次查看同一张图片，模型可能会给出略有不同的分数。有时，一个错误答案会仅仅因为运气好（一次“幸运猜测”）而获得高分，而一个正确答案却可能因为运气差而获得低分。

标准共形预测仅依据单一分数做出判断。这就像评委仅凭一次不稳定的表演就做出决定。如果模型恰好出现“幸运猜测”的时刻，错误答案就会被列入安全名单，导致名单变长且实用性降低。

新构想：r 值（稳定性检查）

本文提出了一种新方法，称为基于 r 值的经验贝叶斯共形预测（Empirical Bayes Conformal Prediction using r-values）。将r 值理解为**“稳定性得分”或“一致性徽章”**。

新方法不再问：“分数有多高？”，而是问：“分数有多一致？”

以下是通过一个简单类比来说明其工作原理：

类比：“幸运型”与“可靠型”学生

想象两名学生参加考试：

学生 A（磐石型）：每次你让他们参加考试，他们都能得到 90 分。他们稳定且可靠。
学生 B（过山车型）：有时得 95 分，有时得 40 分，有时得 92 分。他们的平均分可能很高，但成绩起伏不定。

标准共形预测看到学生 B 偶然得到的 95 分，会说：“哇，95 分太棒了！他们属于顶尖群体！”于是将学生 B 列入安全名单，尽管他们实际上并不可靠。

r 值方法则审视整体情况。它看出学生 B 像过山车一样起伏。它会说：“虽然你曾有一次考了 95 分，但你太不稳定，不足以被视为顶尖候选者。下次你可能会跌到 40 分。”因此，它将学生 B 排除在安全名单之外（或将其排名后移），而将学生 A（磐石型）保持在顶端。

实际运作方式

研究人员在两类人工智能模型上测试了该方法：

视觉模型（图像分类器）：例如，一个机器人观察一张猫的图片。
- 技巧：他们让机器人对同一张图片进行 1,000 次观察，每次加入微小的随机变化（就像请朋友用略有不同的措辞描述同一张图片）。
- 结果：如果机器人每次都回答“猫”，它就获得高 r 值。如果它不断在“猫”、“狗”和“烤面包机”之间切换，它就获得低 r 值。该方法成功过滤掉了那些仅因偶然发生的“烤面包机”猜测。
语言模型（聊天机器人）：例如，一个机器人回答常识问题。
- 技巧：他们让机器人回答同一个问题，但以 20 种不同的方式重新表述（例如，“总统是谁？”与“谁领导这个国家？”）。
- 结果：如果机器人对所有 20 个版本都给出了出色答案，它就是“磐石型”。如果它对某个版本给出出色答案，而对另一个版本给出胡言乱语，它就是“过山车型”。r 值方法利用这一点，生成了一份更短、更准确的答案列表。

主要结论

它不破坏规则：新方法仍然保证 95% 的情况下正确答案会出现在名单中（与旧方法相同）。
它使名单更短：通过过滤掉“幸运猜测”（即高分但不稳定的情况），候选名单变得更小、更实用。
它善于处理不确定性：如果模型非常稳定（无变异性），新方法的表现与旧方法无异。但如果模型不稳定，新方法则利用这种不稳定性来剔除不良候选者。
它适用于图像和文本：无论人工智能是在查看照片还是阅读句子，检查一致性都能使最终决策更优。

简而言之，这篇论文教导人工智能不要仅依赖单一的“幸运”分数，而要信赖一致的表现。它将人工智能自身的“不一致性”转化为一种工具，以做出更好、更安全的预测。

技术摘要：面向视觉与语言模型的实证贝叶斯共形预测

问题陈述

共形预测（CP）为现代视觉和语言模型提供了一个分布无关的框架，用于生成具有保证覆盖率的预测集。然而，标准 CP 依赖于非共形性分数的单次实现来对候选项进行排序。这种方法忽略了由模型参数、训练随机性或提示措辞引起的认知不确定性和分数变异性。

当多个候选标签或响应获得相似分数时，微小的波动可能会极大地改变它们的排序顺序。因此，标准 CP 可能会仅仅因为单次噪声实现使其看起来很强，就将高方差的错误候选项纳入预测集，同时排除那些分数略低但更稳定的候选项。现有的替代方案，如“先平均后校准”（CPavg），通过在校准前对分数进行平均来平滑这种变异性，从而丢弃了关于候选项排名稳定性的信息。核心问题在于，当前的 CP 方法未能利用分数变异性作为区分稳定证据与噪声驱动波动的信号，导致共形集效率较低（更大）且稳定性较差。

方法论： $r$ -值框架

作者提出了**$CPr $-值**，这是一个实证贝叶斯共形预测框架，它将分数变异性转化为一种基于不确定性的非共形性分数，称为**$ r$-值**。

核心概念

该方法不再仅仅基于观测分数 $f(x)_i$ 对候选项进行排序，而是将排序视为一个实证贝叶斯问题。它假设每个候选项都有一个未观测到的潜在分数 $\theta_i$ （稳定信号），以及一个作为 $\theta_i$ 噪声实现的观测分数 $f(x)_i$ 。 $r$ -值衡量的是候选项的潜在分数属于顶级分组的概率，同时考虑了估计分数及其不确定性。

估计量

该框架提供了两种 $r$ -值估计量：

参数化（正态 - 正态模型）： 假设潜在分数服从正态分布，且观测噪声为高斯分布。这导出了 $r$ -值的闭式表达式。它明确建模了分数幅度与方差之间的权衡，将高方差分数向经验均值收缩。
非参数化（后验采样）： 一种无假设的蒙特卡洛估计量。它在多个后验样本（例如来自模型集成、MC-dropout 或提示改写）中对候选项进行排序，并计算候选项出现在前 $k$ 位的频率。该频率作为经验尾部概率，随后被转换为 $r$ -值。

算法

变异性估计： 生成多个模型输出（例如，通过视觉模型的加权贝叶斯自举适配器，或 VLM/LLM 的提示改写），以估计每个候选项的分数分布。
校准： 计算校准集中真实标签的 $r$ -值。确定阈值 $\hat{r}$ 为第 $\lceil(n+1)(1-\alpha)\rceil$ 小的 $r$ -值。
预测： 对于测试输入，计算所有候选项的 $r$ -值。将满足 $r(x, u_j) < \hat{r}$ 的候选项纳入预测集。

主要贡献

理论保证： 在可交换性条件下，使用 $r$ -值作为非共形性分数保留了目标共形覆盖率保证（ $1-\alpha$ ）。
效率提升： 理论上，与标准 CP 和 CPavg 相比， $r$ -值降低了高方差错误候选项的纳入概率。这导致预期预测集大小减小，特别是在变异性具有信息量时。
统一框架： 该方法统一了参数化和非参数化方法，允许应用于不同的分数类型（logits、概率、离散评估器分数）和模型架构（ViT、CLIP、LLM）。
排名稳定性： 通过惩罚高分数方差的候选项，该方法产生更稳定的排名，确保持续出现在顶部的候选项优先于那些偶尔出现高分的候选项。

实验结果

作者在图像分类、视觉 - 语言模型（VLMs）和大语言模型（LLMs）上评估了 $CPr$-值。

视觉模型（图像分类）： 使用 ViT 和 ResNet 模型，配合加权贝叶斯自举（WBB）适配器来近似后验变异性。
- 当变异性较小时（强骨干网络、轻量级适配器），$CPr$-值的行为与标准 CP 相似，保持了覆盖率和集合大小。
- 当变异性具有信息量时，$CPr$-值生成更小且更稳定的集合，通常将真实类别在集合内的排名置于比标准 CP 更高的位置。
VLMs 和 LLMs（CLIP、SigLIP、MobileCLIP、LLaMA）： 通过提示改写引入变异性。
- 覆盖率： $CPr $-值保持了接近标称水平的覆盖率（例如，$ \alpha=0.05$ 时为 95%）。
- 集合大小： 观察到集合大小显著减小。例如，在 ImageNet 上，与标准 CP 相比，$CPr$-值将平均集合大小减少了近一半。
- 模型强度趋势： 效率提升在准确率较低且固有变异性较高的模型（如 SigLIP2）中最为显著。随着模型准确率的提高和变异性的降低（如 MobileCLIP2），收益减弱，该方法自然地回归到类 CP 行为，这与理论预测一致。
- 开放域任务： 在具有粗略评估器分数的 LLM 任务（如 TruthfulQA）中， $r$ -值成功利用改写后的分数稳定性，打破了具有相同平均分数的响应之间的平局，提供了更精细的排名分辨率。

意义与主张

该论文声称，$CPr$-值将大模型的一个感知弱点——即它们的不一致性或变异性——转化为提高共形效率的有用信号。

鲁棒性： 它提供了一种构建预测集的方法，这些集合不仅在统计上有效，而且通过过滤掉不稳定的、由噪声驱动的候选项而更加高效。
实用性： 该框架适用于视觉和语言领域，利用现有的不确定性估计技术（适配器、集成、提示变化），而无需重新训练基础模型。
局限性： 作者指出，该方法的有效性取决于变异性估计的质量。如果估计的变异性较差或可忽略不计（如在高度稳定的模型中），收益则有限。此外，该方法引入了生成多个样本的计算开销，但这通常可以通过轻量级适配器或并行推理来实现。

总之，$CPr$-值提供了一种原则性的方法，将认知不确定性整合到共形预测中，为现代 AI 系统生成更小、更稳定且更可靠的预测集。