📊 statistics

VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

本文引入了一种共形预测框架，通过将点分数转换为校准区间来量化视觉语言模型（VLM）评判器的可靠性，揭示了评估不确定性具有强烈的任务依赖性，并暴露出一种关键的“排序 - 评分解耦”失效模式，即模型能够正确地对响应进行排序，却无法提供可靠的绝对分数。

原作者： Divake Kumar, Sina Tayebati, Devashri Naik, Ranganath Krishnan, Amit Ranjan Trivedi

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Divake Kumar, Sina Tayebati, Devashri Naik, Ranganath Krishnan, Amit Ranjan Trivedi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对这篇论文的解读。

全景概览：那个“自信却犯错”的法官

想象你有一个新的机器人法官（一种视觉 - 语言模型），它查看图片并给出 1 到 5 的分数，就像老师给考试打分一样。问题是，这个机器人从来不说“我不确定这个”。它只是给出一个数字。

如果机器人给一张图片打了"4 分”，这是一个因为它非常自信而给出的稳固的 4 分吗？还是因为它在猜测而给出的一个不牢靠的 4 分？目前，用户无法区分这两者。这篇论文试图通过给机器人配备一个“置信度计”来解决这个问题。

解决方案：“安全网”（共形预测）

作者使用了一种名为共形预测的数学工具。你可以把它想象成围绕机器人分数的安全网或模糊光环。

机器人不再只说“这张图片是 4 分”，而是说：“这张图片是 4 分，但我有 90% 的把握，真实分数在 2 到 5 之间。”

狭窄的光环（例如 3.8 到 4.2）： 机器人非常自信。你可以信任这个分数。
宽阔的光环（例如 1 到 5）： 机器人很困惑。这个分数不可靠，你不应该信任具体的数字。

该论文在三种不同的机器人法官身上，针对 14 种不同的视觉任务（如阅读图表、描述艺术品或解决数学问题）测试了这种方法。

关键发现 1：“任务难度”法则

“光环”的大小完全取决于机器人在看什么，而不仅仅取决于机器人有多聪明。

简单任务（“美学”测试）： 当机器人看一张漂亮的图片并判断它是否“具有艺术性”时，光环非常小。机器人非常确定。
困难任务（“图表”测试）： 当机器人必须阅读复杂的图表、提取数据并进行数学运算时，光环会爆炸式扩大，几乎覆盖整个 1 到 5 的刻度。

类比： 想象一位人类法官。如果你问他们“这个日落美吗？”，他们可能会说"9/10，我很确定”。但如果你问他们“从这张模糊的股票图表中计算确切的利润率”，他们可能会说“我猜是 4/10，但它可能是 1 到 5 之间的任何数字”。论文表明，AI 法官的行为方式完全相同：它们会被困难的视觉谜题搞糊涂，并且它们的“光环”会变得巨大，以显示这种不确定性。

关键发现 2：“排序与打分”陷阱

这是最令人惊讶的发现。论文发现，一个机器人在给事物排序方面可能非常出色，但在给出确切数字方面却可能极差。

场景： 想象一场比赛。机器人可以正确地告诉你选手 A 击败了选手 B，而选手 B 击败了选手 C。（这是排序）。
陷阱： 然而，当被问及选手 A 快了多少时，机器人可能会胡乱猜测。它可能会说“快了 1 秒”，而实际上是“快了 10 秒”。（这是打分）。

论文将这种现象称为排序 - 打分解耦。标准测试只检查机器人是否排对了顺序（排序）。这篇论文表明，即使机器人完美地排好了顺序，它给出的实际数字也可能是无用的，因为“光环”太宽了。你可以信任机器人说"A 比 B 好”，但你不能信任它说"A 是 4.5 分，B 是 3.5 分”。

关键发现 3：关键在于数据，而非大脑

作者测试了更大、更聪明的机器人（拥有更多“脑力”）是否拥有更小的光环。他们发现，大小并不重要。

相反，光环的大小取决于答案的清晰度。

“混乱的教室”（MLLM-as-a-Judge）： 机器人正在批改只有一位人类教师给出分数的答案。有时那位教师前后不一致。机器人的光环巨大（不确定性宽泛）。
“整洁的教室”（Polaris）： 机器人正在批改许多教师对分数达成一致的答案。机器人的光环变得微小（不确定性狭窄）。

结果： 在干净的数据上，机器人的不确定性降低了4.5 倍。这证明机器人的困惑源于混乱的数据和任务的难度，而不是因为机器人“笨”。

结论

论文为任何使用 AI 法官的人总结了一条简单的规则：

观察光环宽度。 如果“安全网”很宽，机器人就不确定。不要信任它给出的确切数字。
用机器人进行排序，而不是打分。 如果光环很宽，使用机器人来说“图片 A 比图片 B 好”，但不要用它来分配具体的分数，比如"5 分中的 4 分”。
干净的数据是王道。 如果你想要可靠的分数，你需要清晰的任务和一致的人类答案来进行训练。

简而言之：AI 法官可以告诉你哪个答案更好，但它们通常无法告诉你它究竟有多好，尤其是在任务困难或数据混乱的情况下。

以下是论文《VLM 裁判可排名但不可评分：多模态评估中的任务依赖性不确定性》的详细技术总结。

1. 问题陈述

视觉语言模型（VLM）正越来越多地被部署为自动裁判（"VLM-as-a-Judge"），用于评估跨多种任务（如图表推理、图像描述、视觉问答）的多模态 AI 系统。然而，存在一个关键局限性：VLM 裁判仅提供点分数（例如 4/5），而不提供任何可靠性指示。

可靠性差距： 4/5 的分数可能代表高置信度，也可能代表巨大的不确定性。用户无法区分这两种情况。
多模态复杂性： VLM 中的错误源于视觉感知和语言推理，导致不确定性叠加。
指标失效： 标准指标（相关性、准确率）无法捕捉单个实例的可靠性。例如，裁判可能实现高排名相关性（正确排序响应），同时分配完全不准的绝对分数。
当前状态： 最先进的 VLM 裁判在 5 分制上与人类评分的精确一致率仅为约 32–34%，且存在显著偏差。

2. 方法论

作者提出使用共形预测（Conformal Prediction, CP），一种无分布框架，将点分数转换为校准的预测区间。

核心机制：
- 输入： 该方法无需重新训练模型，而是从 VLM 的输出中提取分数标记的对数概率（score-token log-probabilities）。对于 1–5 的李克特量表，这形成一个 5 维特征向量 $x = [\log P(1), \dots, \log P(5)]$ 。
- 框架： 利用人类标注分数的校准集，该方法计算非共形分数以确定预测区间 $C(x) = [\hat{y} - \hat{q}, \hat{y} + \hat{q}]$ 。
- 保证： 该区间保证以至少 $1-\alpha$ （例如 90%）的概率包含真实的人类分数，且无需对误差分布做任何假设。
关键调整：
- 边界调整： 由于真值是离散的（整数）而 CP 产生连续区间，作者应用边界调整将区间映射到有效的评级标签（ $\lceil l \rceil, \lfloor u \rfloor$ ），显著提高了覆盖率。
- 任务条件 CP（Mondrian CP）： 为解决任务异质性，数据根据初始区间宽度被划分为组（简单、中等、困难）。为每组计算单独的分位数，从而为简单任务生成更窄的区间，为困难任务生成更宽、更安全的区间。
- 排名 - 评分差距（RSG）： 定义了一个新指标 $RSG = |\rho| - (1 - \frac{w}{K-1})$ ，其中 $\rho$ 是相关性， $w$ 是区间宽度。这量化了排名能力与评分可靠性之间的解耦。

3. 实验设置

裁判模型： 三种具有不同架构和规模的 VLM：
1. LLaVA-Critic-7B： 开源，专为评估设计。
2. Phi-4-reasoning-vision-15B： 大型推理模型。
3. Gemini 2.5 Flash： 闭源 API，以强大的排名能力但高度过度自信著称。
数据集：
1. MLLM-as-a-Judge： 5,717 个实例，涵盖 14 种视觉任务类别（如 ChartQA、MathVista、AesBench），具有单标注者真值。
2. Polaris： 8,726 个图像 - 描述对，具有多标注者平均真值（更干净、定义更明确的任务）。
协议： 50/50 校准/测试分割，10 个随机种子，目标覆盖率为 90%（ $\alpha=0.10$ ）。

4. 关键结果与发现

A. 任务依赖性不确定性

不确定性并非均匀的；它主要由任务类型驱动。

窄区间（高可靠性）： 美学和自然图像任务（如 AesBench）产生的区间仅覆盖约 40% 的分数范围（宽度 $\approx$ 2.08）。
宽区间（低可靠性）： 需要复杂推理的视觉密集型任务（如 InfographicsVQA、MathVista）产生的区间覆盖约 70% 的范围（宽度 $\approx$ 3.50）。
一致性： 任务难度的排序在所有三个裁判中保持一致（Spearman $\rho \approx 0.82–0.93$ ），表明任务难度而非模型身份驱动了不确定性。

B. 排名 - 评分解耦

该论文揭示了一种标准指标具有误导性的关键失效模式：

现象： 裁判可以实现高排名相关性（正确排序响应），同时产生宽泛、无信息的区间（无法分配可靠的绝对分数）。
示例： 在ChartQA上，一个裁判实现了最高的皮尔逊相关性（ $\rho=0.507$ ），但产生了最宽的区间之一（3.08）。
含义： 高相关性并不意味着绝对分数是可信的。对于具有高 RSG 的任务，成对比较优于绝对评分。

C. 数据质量的影响

干净数据与噪声数据： 当将相同的裁判（LLaVA-Critic）和方法应用于Polaris数据集（干净、多标注者描述）时，区间宽度从3.05（MLLM-Judge）下降到0.68。
结果： 这是区间宽度4.5 倍的缩减，表明不确定性主要由标注噪声和任务歧义驱动，而非共形方法本身。

D. 模型性能悖论

过度自信与区间宽度： Gemini 2.5 Flash 表现出高度过度自信（83% 的预测其 softmax 最大值 > 0.99），却产生了最窄的区间。这证明区间质量取决于对数概率中的判别信号，而非 softmax 分布的校准。
专业化 > 规模： 在专门的 Polaris 任务上，7B 的LLaVA-Critic（专为评估训练）的表现远超 15B 的Phi-4（通用推理），实现了 7.1 倍的相关性和 5.3 倍更窄的区间。

E. 方法比较

R2CCP（回归即分类） 是表现最好的方法，以最短的信息区间实现了接近完美的 90% 覆盖率。
CQR（共形分位数回归） 失败了，坍缩为全范围区间（ $\approx$ 4.0），因为在此离散设置中，分数标记的对数概率是分位数的弱预测因子。
特征融合： 结合多个裁判的对数概率特征降低了性能，表明特征质量（单个强裁判）优于数量。

5. 意义与贡献

定量可靠性地图： 该论文提供了首个跨 14 种视觉任务的评估可靠性系统映射，表明"VLM-as-a-Judge"对某些任务（美学）是可靠的，但对其他任务（复杂推理）具有高度不确定性。
新失效模式： 它揭示了排名 - 评分解耦，即标准指标（相关性）掩盖了裁判无法提供可靠绝对分数的现象。
实用框架： 它证明了共形预测可以应用于现有的 VLM 流程而无需重新训练，仅使用对数概率即可生成可操作的不确定性估计。
操作指南： 作者提出了一条经验法则：窄区间表明评估适合绝对评分；宽区间表明存在歧义，建议采用相对排名或成对比较作为适当的评估策略。
数据质量洞察： 它强调，提高标注质量（多标注者共识）比单纯扩展模型参数能带来更大的可靠性提升。

结论

该论文得出结论：VLM 裁判并非普遍可靠。它们的不确定性在结构上依赖于任务和数据质量。通过使用共形预测，从业者可以从对点分数的盲目信任，转向对何时可以信任裁判的分数以及何时应将其视为噪声排名信号的 nuanced 理解。