VB: Visibility Benchmark for Visibility and Perspective Reasoning in Images

本文提出了名为 VB 的基准测试，旨在评估多模态大模型在图像可见性与视角推理任务中判断可见性、识别不可回答情况并给出置信度的能力，通过最小化编辑对照实验和多项严格指标发现 GPT-4o 与 Gemini 3.1 Pro 表现最佳，而开源模型 Gemma 3 12B 亦展现出超越部分旧版闭源系统的潜力。

要点

这篇论文介绍了一个名为 VB（Visibility Benchmark，可见性基准） 的新测试，专门用来考察人工智能（AI）是否真的“看”懂了照片，还是只是在“瞎猜”。

想象一下，你正在教一个刚学看世界的机器人如何观察世界。这个测试就是给机器人出的一道道“找茬”和“诚实”的考题。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心任务：是“看见”了，还是“猜”的？

背景故事：
现在的 AI 很聪明，能描述照片里有什么。但有时候，照片里有些东西被挡住了、太黑了、或者根本不在画面里。如果 AI 这时候还硬要回答“是”或“否”，就像是一个盲人摸象，摸不到就瞎编，这在自动驾驶或医疗诊断中是非常危险的。

VB 测试在做什么？
它给 AI 看一张照片和一个简单的问题（比如：“你能看清那个路牌上的字吗？”）。
AI 必须给出三种回答之一：

• 🟢 看得很清楚 (VISIBLY_TRUE)： 照片里确实有，而且很清楚。
• 🔴 肯定看不见 (VISIBLY_FALSE)： 照片里确实没有，或者被挡住了，肯定看不见。
• 🟡 我放弃 (ABSTAIN)： 照片太模糊、太暗，或者角度不对，连人类仔细看都拿不准。这时候，AI 应该诚实地说“我不知道”，而不是瞎猜。

比喻：
这就好比老师考学生：“你能看清黑板上那个角落的小字吗？”

• 如果学生说“能”，但黑板其实很脏看不清，那就是瞎编。
• 如果学生说“不能”，但字其实很清晰，那就是没看清。
• 如果字确实太小太模糊，学生说“老师，这太模糊了，我看不清”，这就是诚实的“放弃”，在 VB 测试里，这反而是加分项。

2. 独特的“捉迷藏”设计：2x2 家族

为了让测试更严谨，研究者设计了一种像“捉迷藏”一样的结构。

• 基本玩法： 每一组题目包含4 个关卡。
  • 关卡 A（原题）： 原图 + 原问题。
  • 关卡 B（改文字）： 原图 + 把问题反过来问（比如把“能看清吗”改成“看不清吗”）。
  • 关卡 C（改图片）： 把图里挡住东西的物体移开（比如移开挡在路牌前的树枝），问题不变。
  • 关卡 D（全改）： 图改了，问题也反了。

为什么要这么麻烦？
这就像是在测试 AI 的逻辑一致性。

• 如果 AI 在“原图”里说“看不见”，那么当研究者把挡路的树枝移开（关卡 C）后，AI 必须立刻改口说“看见了”。
• 如果 AI 在树枝移开后还坚持说“看不见”，说明它根本没看懂图，只是在死记硬背。
• 如果 AI 在问题反了之后（关卡 B）还能逻辑自洽，说明它真的理解了语言。

比喻：
这就像玩“找不同”。如果 AI 说“这扇门是关着的”，当你把门打开（图片编辑）后，它必须说“门开了”。如果它还说“门是关着的”，那它就是个“死脑筋”。

3. 评分标准：不仅要准，还要“有自知之明”

VB 测试不仅仅看 AI 答对多少题，更看重它知不知道自己的无知。

• CAA（诚实度）： 答对了给满分；答错了给零分；如果它选择“放弃”（因为确实看不清），给一点小分（比如 0.25 分）。这鼓励 AI 在不确定时闭嘴，而不是乱猜。
• MEFR（反应灵敏度）： 当图片或文字发生微小变化时，AI 能不能迅速反应过来并改变答案？如果它反应迟钝，说明它不够灵活。
• SelRank（自信度）： AI 在说“我确定”的时候，是不是真的对？如果它信心满满却答错了，那比它犹豫不决更可怕。

4. 谁考得好？（考试结果）

研究者找了 9 个 AI 模型来考试，包括最顶尖的“学霸”（闭源大模型，如 GPT-4o, Gemini）和开源的“潜力股”（80 亿 -120 亿参数的模型）。

• 🏆 冠军： GPT-4o 和 Gemini 3.1 Pro 并列第一。它们不仅答得准，而且非常懂得“何时该闭嘴”，在“放弃”和“自信”之间平衡得最好。
• 🥈 亚军： Gemini 2.5 Pro 表现也不错。
• 🥉 开源界的惊喜： Gemma 3 12B（一个开源模型）表现惊人，它甚至打败了上一代的闭源模型（Claude 3.7）。这说明小一点的开源模型也开始具备这种“看清世界”的能力了。
• 📉 表现不佳的： 有些模型（如 Qwen3-VL-8B）经常答非所问，或者格式乱套，甚至不敢回答问题（放弃太多），导致分数较低。

5. 一个有趣的发现：文字 vs 图片

测试发现了一个有趣的现象：大多数 AI 对“改文字”很敏感，但对“改图片”很迟钝。

• 比喻： 如果你把问题里的“不”字去掉（文字编辑），AI 马上能反应过来逻辑变了。但如果你把照片里挡住路牌的一块石头移走（图片编辑），很多 AI 却反应不过来，还是坚持说“看不见”。
• 这意味着： 现在的 AI 在理解“语言逻辑”上很强，但在敏锐地捕捉“视觉细节变化”上还有短板。

6. 总结：为什么这个测试很重要？

这篇论文不仅仅是在给 AI 打分，它是在为安全把关。

• 现实应用： 想象一辆自动驾驶汽车。如果它看不清前面的行人（因为被树挡住了），它应该立刻刹车并报警（选择“放弃/不确定”），而不是自信地继续开（瞎猜“看不见人”）。
• VB 的价值： 它教会 AI 区分“我知道”、“我不知道”和“我瞎编”。在这个充满不确定性的世界里，承认自己看不见，比假装看见要重要得多。

一句话总结：
VB 测试就像给 AI 戴上了一副“诚实眼镜”，强迫它们承认哪些东西是真正看不见的，从而让 AI 在自动驾驶、医疗等关键领域变得更安全、更可靠。

技术摘要

这是一份关于论文《VB: Visibility Benchmark for Visibility and Perspective Reasoning in Images》（VB：图像可见性与视角推理基准）的详细技术总结。

1. 研究背景与问题定义 (Problem)

随着视觉 - 语言模型（VLM）在自动驾驶、辅助技术和医疗成像等高风险领域的部署，模型在视觉证据不足时进行“猜测”可能带来严重后果。现有的视觉问答（VQA）基准往往假设问题总是可回答的，或者仅关注模型是否知道“不知道”，但缺乏对为什么不可见以及在受控扰动下模型判断是否稳健的深入测试。

核心问题：
现有的模型难以区分“物体存在但不可见”（如被遮挡、超出视野、光线太暗）与“物体不存在”。此外，模型缺乏在证据不足时主动**弃权（Abstain）**的校准能力，且对微小的图像或文本编辑缺乏鲁棒性。

VB 基准的目标：
构建一个基准，测试模型能否：

1. 根据单张照片验证简单的可见性声明（区分“可见”与“存在”）。
2. 对最小编辑（Minimal Edits）做出正确的标签翻转反应（鲁棒性）。
3. 在人类观察者无法可靠判断时，主动选择弃权（校准的犹豫）。
4. 进行二阶视角推理（Second-order perspective reasoning），即推断图中某个人物对另一个人物视觉访问权限的认知。

2. 方法论与基准设计 (Methodology)

VB 采用了独特的2×2 家族设计（2×2 Family Design），将 100 个图像家族（Families）组织成结构化的评估单元。

2.1 任务定义与标签

每个测试项包含一张图片和一个简短的是/否问题（可见性声明）。模型必须输出以下三种标签之一，并附带置信度分数：

• VISIBLY_TRUE：声明被可见证据支持（人类可自信回答“是”）。
• VISIBLY_FALSE：声明被照片反驳（人类可自信回答“否”）。
• ABSTAIN：照片不支持自信的回答（人类也无法确定）。

模型还需输出一个Reason Code（原因代码），解释判断依据（如：遮挡 OCCLUSION、超出视野 OUT_OF_FRAME、视线方向 GAZE_DIRECTION 等），共 9 种代码。

2.2 2×2 家族结构与 XOR 构造

每个家族由以下四个单元格组成，形成严格的异或（XOR）逻辑模式：

1. BASE (I0, q0)：基准图像 + 基准问题。金标准标签通常为 VISIBLY_FALSE。
2. TEXT_FLIP (I0, q1)：基准图像 + 文本编辑（翻转问题逻辑，如将“可见”改为“不可见”）。金标准标签为 VISIBLY_TRUE。
3. IMAGE_FLIP (I1, q0)：编辑后的图像（最小场景变化，如移除遮挡物）+ 基准问题。金标准标签为 VISIBLY_TRUE。
4. DOUBLE_FLIP (I1, q1)：编辑后的图像 + 编辑后的问题。金标准标签为 VISIBLY_FALSE（仅作为诊断，不计入总分）。

这种设计确保了只有当模型理解底层证据变化时，其判断才会发生翻转。

2.3 评估指标

为了全面评估模型，VB 提出了四个核心指标：

1. CAA (Confidence-aware Accuracy with Abstention)：考虑置信度和弃权的准确率。正确的高置信度回答得满分，错误回答得 0 分，弃权得部分分数（默认 $\alpha=0.25$）。这是安全优先的核心指标。
2. MEFR (Minimal-Edit Flip Rate)：最小编辑翻转率。衡量在 BASE 回答正确的前提下，模型能否在 TEXT_FLIP 或 IMAGE_FLIP 中正确翻转答案。分为文本翻转率（T_MEFR）和图像翻转率（I_MEFR）。
3. SelRank (Confidence-ranked Selective Prediction)：基于置信度排序的选择性预测分数。衡量高置信度的回答是否更倾向于正确（风险 - 覆盖曲线）。
4. ToMAcc (Theory-of-Mind Accuracy)：在 MULTI_AGENT / SECOND_ORDER 子集上的准确率，测试模型能否推理图中人物对他人的视觉访问权限的认知。

综合得分 (FinalScore)：
$$FinalScore = 0.70 \times CAA + 0.15 \times MEFR + 0.10 \times SelRank + 0.05 \times ToMAcc$$
权重设计体现了“安全第一”的原则，将 70% 的权重赋予了带弃权的准确率。

3. 关键贡献 (Key Contributions)

1. VB 基准本身：定义了可见性推理任务，提出了包含 8 个可见性类别的分类法，并设计了 100 个家族的 2×2 最小编辑结构。
2. 评估指标套件：提出了 CAA、MEFR、SelRank 等指标，专门针对可见性推理中的弃权机制和置信度校准进行了优化。
3. 广泛的模型评估：评估了 9 个模型（3 个旗舰闭源、3 个前代闭源、3 个 8B-12B 开源模型），揭示了能力差距、文本/图像翻转的不对称性以及置信度校准的显著差异。
4. 开源发布：公开了完整数据集、元数据、评估代码及提示词模板。

4. 实验结果 (Results)

研究评估了 9 个模型，包括 GPT-4o, GPT-5, Gemini 3.1 Pro, Gemini 2.5 Pro, Claude Opus 4.5, Claude 3.7 Sonnet, 以及开源的 Gemma 3 12B, InternVL3-8B, Qwen3-VL-8B。

4.1 总体性能

• 闭源模型领先：GPT-4o (0.728) 和 Gemini 3.1 Pro (0.727) 并列第一，表现最佳。
• 开源模型突破：最佳开源模型 Gemma 3 12B (0.505) 的表现超过了前代闭源模型 Claude 3.7 Sonnet (0.476)，表明 8B-12B 规模的开源模型在可见性推理上已具备竞争力。
• 性能差距：旗舰闭源模型与最佳开源模型的综合得分差距约为 30%（0.728 vs 0.505），在二阶推理（ToMAcc）上差距尤为明显。

4.2 最小编辑敏感性 (MEFR)

• 文本翻转优于图像翻转：9 个模型中有 6 个的 T_MEFR（文本翻转率）高于 I_MEFR（图像翻转率）。这表明模型更擅长处理逻辑否定（文本），而难以检测微小的视觉变化（图像）。
• GPT-4o 在 MEFR 上表现最稳健 (0.847)。
• Qwen3-VL-8B 的 MEFR 最低 (0.243)，部分原因是其难以处理否定句。

4.3 弃权与置信度校准

• 弃权行为差异巨大：GPT-5 弃权最频繁（78/300），而 Gemini 3.1 Pro 最少（14/300）。
• 校准差异：GPT-4o 和 Gemini 2.5 Pro 的准确率（CAA）相近，但 SelRank 差异巨大。GPT-4o (0.144) 的置信度排序优于随机，而 Gemini 2.5 Pro (-0.106) 的置信度排序甚至是反信息的（低置信度答案更准）。这说明仅看准确率不足以评估部署安全性，置信度校准至关重要。

4.4 二阶视角推理 (ToMAcc)

• GPT-4o 在二阶推理上表现卓越 (0.952)，远超其他模型。
• 开源模型在此项上普遍表现接近随机水平（除 Gemma 3 12B 达到 0.714 外），显示出多智能体视角推理仍是主要瓶颈。

5. 意义与结论 (Significance & Conclusion)

主要发现：

1. 能力差距：虽然开源模型正在缩小差距（Gemma 3 12B 胜过前代闭源），但在旗舰模型和复杂推理（如二阶视角）上仍有显著差距。
2. 不对称性：当前模型对文本逻辑变化的敏感度高于对微小视觉变化的敏感度。这提示未来的鲁棒性增强可能需要更多关注视觉扰动训练。
3. 校准的重要性：高准确率并不等同于高安全性。模型必须具备可靠的置信度校准，以便在不确定时正确弃权。

局限性：

• 数据集规模较小（100 个家族），统计效力有限，特别是二阶推理子集（仅 21 项）。
• 场景局限于纽约大学校园及周边，可能缺乏对农村、工业或医疗场景的泛化性。
• 部分开源模型存在 JSON 格式解析失败的问题，影响了有效评估。

未来方向：

• 解决图像翻转检测难的问题。
• 改进置信度校准，使高置信度对应高准确率。
• 扩展二阶视角推理的数据集规模。

总结：VB 基准为评估视觉 - 语言模型在安全关键场景下的“可见性推理”和“自我认知”能力提供了严格的标准。它揭示了当前模型在区分“可见”与“存在”、处理微小视觉编辑以及进行多智能体视角推理方面的不足，为未来的模型训练和评估指明了方向。