🤖 machine learning

How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures

本文介绍了 SciFigBench，一个综合性基准测试，以及用于评估视觉语言模型在科学图表理解不确定性下的行为可靠性的阻抗-电阻-电感（A-R-I）框架，揭示了高感知和推理准确度并不保证模型具备承认证据缺失或抵御误导性上下文的能力。

原作者： Paul Osemudiame Oamen, Owusu-Banahene Osei, Ananya Mukherjee, Christian Greisinger, Steffen Eger, Pius Onobhayedo, Wei Zhao

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Paul Osemudiame Oamen, Owusu-Banahene Osei, Ananya Mukherjee, Christian Greisinger, Steffen Eger, Pius Onobhayedo, Wei Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位超级聪明的助手来帮你阅读一张复杂的地图。你希望这个人不仅能看到山脉和河流，还能准确地告诉你山峰的高度以及哪条路径最短。在人工智能的世界里，这些助手被称为视觉语言模型（Vision-Language Models, VLMs）。它们就像数字侦探，观察图片（如图表、图形或图解）并描述它们所看到的内容。长期以来，科学家们一直在通过问一些简单的问题来测试这些 AI 侦探，比如：“这个柱状图是什么颜色的？”或者“这个列表中有多少项？”如果 AI 给出了正确的答案，我们就假设它是聪明且可靠的。

但棘手的地方在于：如果地图被弄脏了，或者有人递给 AI 一张假地图并问：“宝藏在哪里？”一个真正可靠的侦探不应该仅仅因为假地图说宝藏在那里就去猜测位置，而应该承认：“我看不清那个部分，”或者“那张地图看起来不对。”这篇论文深入探讨了 AI 研究中一个特定的领域，即“行为可靠性”（behavioral reliability）。它提出了一个至关重要的问题：这些 AI 模型知道自己什么时候“失明”了吗？还是它们只是为了显得乐于助人而编造答案？研究人员想看看，一个擅长描述清晰图片的 AI，在面对模糊或具有误导性的图片时，是否也能保持诚实。

大规模“盲点”测试

研究人员构建了一个名为 SCIFIGBENCH 的特殊游乐场来测试这一点。想象一下一个拥有 250 张科学图表的巨大图书馆——比如来自真实研究论文的柱状图和折线图。但研究团队并没有只是让 AI 进行常规描述，而是决定玩一些花招。他们对这些图表进行了以下处理：

模糊化了特定的标签，使它们无法阅读。
旋转了图像，使它们倾斜。
添加了虚假标题，对图表显示的内容进行撒谎。
针对图中根本不存在的事物提问。

他们想看看八种不同的顶级 AI 模型（包括像 GPT-5.2 和 Gemini 3.1 Pro 这样的大名鼎鼎的模型）会对这些陷阱做出怎样的反应。为了衡量这一点，他们创建了一个新的评分系统，称为 A-R-I，代表 容纳度（Admittance）、阻抗度（Resistance）和电感度（Inductance）。你可以把它想象成一个关于诚实与智慧的三部分测试：

容纳度（Admittance）： 如果 AI 看不清某个东西（因为被模糊处理了），它会承认“我看不清吗”？还是直接瞎猜？
阻抗度（Resistance）： 如果有人对 AI 说谎（比如使用虚假标题），它会说“不，这与图片不符”吗？还是为了表现得礼貌而选择顺从？
电感度（Inductance）： 如果图表的一部分被遮住了，但其余部分提供了线索（比如某种模式），AI 能否在不凭空捏造的情况下推断出缺失的部分？

令人震惊的结果：“自信的编造者”

结果就像悬疑电影里的剧情反转。研究人员发现，擅长描述清晰图片并不意味着擅长处理棘手的图片。

明星选手（GPT-5.2）：
该模型最擅长描述清晰的图表，在名为 MQM 的质量量表中得分 91.6（满分 100）。它是观察眼前事物的超级明星。但当研究人员模糊了一个无法阅读的标签时，这个模型表现得像一个自信的编造者。在 96% 看不到答案的情况下，它竟然直接编造了一个答案！它会说：“标签写着‘客户支持’”，尽管那个词根本不在那里，而且明显被模糊处理了。它太渴望给出答案，以至于忘记了保持诚实。

诚实的侦探（Gemini 3.1 Pro）：
该模型的描述清晰图表的能力几乎与之相当（得分 90.2），但在情况变得棘手时，它的表现截然不同。面对模糊的标签时，它有 71% 的时间会承认不确定性。它愿意说“我读不出来”，而不是去猜测。它也拥有最高的阻抗度得分，为 0.91，这意味着它非常擅长无视虚假标题和错误问题。它不会被谎言所迷惑。

其他模型：
其他的模型，如 Llama 4 和各种 Qwen 模型，普遍表现得更为挣扎。有些模型，比如 Phi-4 Multimodal，由于过于渴望取悦用户，即使图片显示的完全是另一回事，也会在近 100% 的情况下遵循虚假标题。

为什么这很重要

这篇论文表明，我们不能仅仅通过观察 AI 在描述清晰图片方面的表现，来判断它在现实生活中是否安全可用。如果你正在使用 AI 来辅助科学研究，你肯定不希望一个模型仅仅因为想给你一个答案，就自信满满地发明数据。

作者得出结论：在干净测试中的高准确率并不保证行为的可靠性。一个模型可以是一个描绘清晰画作的优秀艺术家，但在画作被弄脏或有人试图欺骗它时，却是一个糟糕的侦探。对于 AI 要在科学等严肃领域真正发挥作用，它需要学会如何在真正“失明”时说出“我不知道”。这个全新的基准测试 SCIFIGBENCH 为我们提供了一种测试这种诚实性的方法，确保我们的 AI 助手不仅聪明，而且值得信赖。

技术摘要：SCIFIGBENCH —— 视觉语言模型（VLMs）在科学图表上的行为评估

问题陈述

现有的视觉语言模型（VLMs）基准测试主要侧重于感知（模型描述图像的能力）和推理（模型根据视觉证据准确回答问题的能力）。然而，这些基准测试很大程度上忽略了不确定性下的行为可靠性。在科学工作流中，模型经常遇到退化的视觉证据（例如：模糊的标签、低分辨率的 PDF）、误导性的上下文（例如：错误的图表说明）或错误的假设。目前的指标无法捕捉模型在证据缺失或存在矛盾时的行为表现，即它们是否能够承认不确定性、抵御误导性输入，或从部分信息中进行谨慎推断。这一差距为在科学研究中部署 VLMs 带来了显著风险，因为“自信的伪造”（confident fabrication）可能会破坏下游分析。

方法论：SCIFIGBENCH 与 A-R-I 框架

为了解决这一问题，作者引入了 SCIFIGBENCH，这是一个旨在共同评估感知、推理和行为可靠性的诊断性基准测试。

1. 数据集构建

来源： 来自 187 篇 arXiv 论文（2023–2025）的 250 幅高质量科学图表（条形图、折线图、饼图）。
标注： 由经过训练的标注员生成的专家级描述，其一致性极高（通过 Krippendorff's $\alpha$ = 0.91 衡量的标注员间可靠性），并包含 1,000 个涵盖计数、计算、比较和模式分析的推理问题。
压力测试： 通过图像变换和对抗性探测来扩展基础数据集，从而创建了超过 34,000 个评估设置。这些设置包括：
- 视觉变换： 旋转、噪声、低对比度以及论文内上下文（将图表嵌入完整的 PDF 页面中）。
- 选择性模糊： 对特定元素进行针对性模糊，以测试容纳性（不可恢复的元素）和感应性（可推断的元素）。
- 抵抗力探测：
  - 标题偏差（Caption Bias）： 修改标题，加入 2–3 个看似合理但错误的陈述。
  - 错误前提（False Premises）： 问题中嵌入不存在的元素（Inexist）、错误的数值锚点（Contra）或无法回答的查询（Unanswerable）。

2. A-R-I 框架

论文提出了 容纳–抵抗–感应（Admittance–Resistance–Inductance, A-R-I） 框架，用以分解模型在不确定性下的行为：

容纳性（Admittance）： 衡量认识论上的诚实度。当视觉证据被改变或无法恢复时（例如：模糊的文本），模型是承认不确定性，还是编造答案？
抵抗力（Resistance）： 衡量对误导性上下文的鲁棒性。模型是否拒绝接受与视觉证据相冲突的错误前提、不存在的元素或误导性的标题？
感应性（Inductance）： 衡量受限推理能力。当证据虽然退化但可以从周围上下文恢复时（例如：从坐标轴模式中推断出模糊的标签），模型是进行正确的推断，还是选择放弃或产生幻觉？

3. 评估协议

模型： 评估了八种 VLMs，包括商业领先模型（GPT-5.2, Gemini 3.1 Pro）和开源权重模型（Llama 4, Qwen3-VL, Gemma 3, Phi-4）。
指标：
- 感知： 用于衡量描述质量的多维质量指标（MQM）得分。
- 推理： 能力类问题的准确率。
- 行为： 抵抗力得分（0–1 量程）以及容纳性（承认不确定性）和感应性（正确推断）的百分比。
评判： 使用 GPT-4o 作为评判器进行自动化评估，并经过人类标注员（Krippendorff's $\alpha$ = 0.91）和 Mistral Large 3 的交叉评判消融实验验证。

关键结果

1. 感知与行为的脱节

高水平的感知和推理准确性并不保证行为的可靠性。

GPT-5.2 取得了最高的基准描述质量（MQM 91.6）和强大的推理能力（78.4%）。然而，它表现出一种“自信的伪造者”特征：当被问及选择性模糊（不可恢复）的元素时，它在主动探测中仅在 8% 的情况下承认不确定性，而在 96% 的此类案例中编造了答案。
Gemini 3.1 Pro 拥有相当的感知能力（MQM 90.2）和推理能力（81.0%），但展现出了更优越的行为可靠性。在涉及不可恢复元素的案例中，它在 71% 的情况下承认了不确定性，并获得了最高的抵抗力得分（0.91）。

2. 行为差异

抵抗力： 具有相似整体能力的模型在抵御错误前提方面表现出显著差异。Phi-4 Multimodal 的抵抗力得分为 0.21，而 Gemini 3.1 Pro 得分为 0.91。
标题偏差： 模型对误导性标题的抵抗力差异巨大。Phi-4 在 95% 的情况下遵循了修改后的标题，而 Gemini 和 GPT-5.2 则保持了较高的抵抗力（~0.89）。
感应性： 当元素被模糊但仍可推断时，顶尖模型（Gemini 66%, GPT-5.2 59%）能够正确推断数值，这将其与对不可恢复数据的编造行为区分开来。

3. 失效模式

预设嵌入（Presupposition Embedding）： “Inexist”探测（使用定冠词询问不存在的元素）是最有效的欺骗向量，导致即使是强大的模型在处理此类问题时也比处理直接的错误数值问题更容易失败。
主动 vs. 被动： 模型在进行被动描述时通常会承认不确定性，但在受到直接提问时会转变为确定性（且往往是编造的）回答，这表明存在一种由“帮助性训练”驱动的“必须回答”偏见。

意义与主张

论文声称 SCIFIGBENCH 揭示了 VLM 能力的一个关键第三维度：行为可靠性。作者认为：

准确性是不够的： 仅根据感知/推理基准测试来为科学工作流选择模型，存在将“自信的伪造”植入研究流程的风险。
行为是可分离的： A-R-I 维度在经验上可以与质量指标分离；一个模型可以是一个顶尖的描述者，却是一个糟糕的不确定性估计者。
框架效用： A-R-I 框架提供了一种结构化的方式，用于诊断特定的失效模式（沉默的伪造、上下文操纵、无法从部分证据中进行推理），而这些模式在传统的综合准确率指标中是不可见的。

作者总结道，评估用于科学部署的 VLMs，需要显式地测试它们如何处理退化的证据和误导性的上下文，而不仅仅是看它们在干净、标准任务上的表现。