💬 NLP

Does It Fail to See or Fail to Know? Attributing Errors in Vision-Language Models

本文提出了一个统一的框架，该框架利用来自视觉标记表示（visual-token representations）和提示条件隐状态（prompt-conditioned hidden states）的预生成信号，来预测并解构视觉语言模型的错误究竟源于感知/识别瓶颈，还是知识检索失败，从而在答案生成之前实现针对性的干预。

原作者： Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它看一眼照片就能回答关于照片的任何问题。如果你给它看一张著名的电影明星清晰的照片并问：“这是谁？”，它通常能答得非常准。但如果你问：“这位演员是在哪里出生的？”或者“这种奇怪昆虫的自然栖息地在哪里？”，机器人有时会栽跟头。它可能会猜错国家，或者说这种昆虫住在海洋里，而实际上它住在森林里。

长期以来，研究人员一直把这些错误答案视为一个单一的、混乱的失败集合。他们只会说：“哎呀，机器人答错了，”然后就跳过了。但这篇新论文指出，这种做法就像是说一辆车坏了，却不去检查到底是引擎、轮胎还是燃料出了问题。作者们是一组科学家，他们想要弄清楚机器人在开口说话之前，究竟是在哪里跌跤的。

两种大错误：“看不清” vs. “不知道”

研究人员构建了一个特殊的诊断树，将错误归入四个不同的类别。这就像是一个侦探在嫌疑人开口说话之前，就在试图破解谜题。

视觉模糊（The Visual Blur）： 有时是因为照片太模糊、太暗或受损了。机器人字面上根本看不清细节。
陌生人（The Unknown Stranger）： 照片很清晰，但机器人从未见过照片中的人或动物。这就像是在看一位来自机器人从未学习过的文化背景下的名人。
遗忘的事实（The Forgotten Fact）： 机器人完美地识别出了那个人（例如，“那是汤姆·克鲁斯！”），但它忘记了你询问的具体事实（例如，“我不记得他的出生年份了”）。
缺失的图书馆（The Missing Library）： 机器人知道那个人是谁，但你询问的事实根本不在它的脑海中。

该论文反对认为所有这些错误都是同一种类型的观点。他们明确指出，你不能仅仅使用一个通用的“不确定度计量器”来捕捉所有这些错误。一个通用的计量器可能会告诉机器人它“不确定”，但它不会告诉你“为什么”。

“生成前”信号的魔力

这是最酷的部分：作者发现，他们可以在机器人开始打字回答之前，就预测到即将发生哪种类型的错误。他们不需要等待机器人说错话；他们只需要在机器人看完图片并读完问题后、但在生成第一个词之前，窥视一下它的内部“想法”。

他们发现了一个引人入心的思维分层：

对于视觉和识别错误： 如果机器人难以看清图像或识别物体，线索隐藏在**视觉标记（visual tokens）**中。想象一下，这些是机器人的“眼睛”。如果眼睛感到困惑，信号在视觉部分的脑区最为强烈。论文显示，观察这些视觉信号非常有效，用于检测视觉证据失效的准确率高达 97.0（在以 100 为完美的量表上）。
对于事实错误： 一旦机器人成功识别了物体，事实错误的线索就会转移到大脑的另一个部分：提示词调节的隐藏状态（prompt-conditioned hidden states）。你可以把它看作机器人的“记忆中心”，在这里它将问题和实体名称结合在一起。如果机器人知道这种昆虫但不知道它的栖息地，那么错误信号就存在于这里。论文发现，观察提示词的最后八个标记（即机器人内部思维过程的一个特定片段）是捕捉这类错误的最优方法，击败了其他方法。

论文明确排除了“等待答案生成会有所帮助”的观点。他们测试了在机器人说话后观察文本的方法，发现这些方法的表现普遍弱于在机器人说话前检查内部信号。

“修复”实验

为了证明这个想法可行，团队建立了一个“修理厂”。他们利用这些生成前信号来诊断问题，然后将机器人送往正确的修理工那里：

如果信号显示为**“视觉证据失效”**，他们会使用工具来“修复”模糊的图像，使其变得更清晰，然后让机器人再次尝试。
如果信号显示为**“未知实体”**，他们会给机器人一个关于那个人或动物是谁的提示。
如果信号显示为**“缺失事实”**，他们会向机器人提供一份关于该实体的快速事实清单。
如果信号显示为**“无法检索的事实”**，他们会重写问题，使实体的名字变得极其清晰，从而帮助机器人检索记忆。

结果令人印象深刻。对于 iNaturalist 数据集（关于植物和动物的问题），机器人的初始准确率非常低，仅为 4.8% 到 12.1%。经过这种针对性的修复过程后，其准确率跃升至 39.6% 到 46.6%。这是一个巨大的进步，表明了解失败的原因能让我们更好地修复它，而不只是寄希望于下次运气好。

这意味着什么（以及它不意味着什么）

论文指出，这些视觉语言模型的失败方式是具有结构性和可预测性的。这不是随机的混乱，而是视觉、识别或记忆中某个环节的具体崩溃。

然而，作者也谨慎地指出，这并不意味着问题已完全解决。他们提到，他们的“修复”实验是一个概念验证，使用了强大的工具管理器（GPT-5）来进行修复。他们承认这引入了额外的成本和潜在的工具错误，并且一个现实世界的系统需要更便宜、更专门化的工具来完成同样的工作。此外，他们对“失败”的标签是基于特定的测试设计的，并不一定代表对每种可能错误的完美人类理解。

但核心信息是清晰且令人兴奋的：我们不必等到机器人给出错误答案才知道它遇到了麻烦。通过在它开口说话之前倾听它的内部信号，我们可以判断它是在对着模糊的照片眯眼观察，还是在盯着一个陌生人，亦或是由于记忆空白而发愣。一旦知道了原因，我们就可以把它送到正确的修理厂，让它给出正确的答案。

技术摘要：是看不见还是不知道？视觉语言模型中的错误归因

问题陈述

视觉语言模型（VLMs）在处理基于高质量图像的问题时表现出极高的熟练度，但在处理需要超越即时视觉感知的知识密集型视觉问答（VQA）任务时，往往会遇到困难。在这些场景中，单个错误答案可能源于截然不同的失效模式：视觉证据退化、实体无法识别、参数化事实缺失，或是在识别出实体后仍无法进行事实检索。

先前的研究大多将这些错误视为单一的失败，或者孤立地研究单个失效模式（例如图像退化或文化偏见）。因此，现有的不确定性量化方法通常仅提供“可能失败”的二元信号，而无法诊断具体的误差来源。这种缺乏细粒度分析的问题阻碍了针对性的干预措施，例如无法区分究竟是图像需要修复，还是查询需要外部事实检索。

研究方法

归因分类法

作者提出了一个统一的框架，将 VQA 错误分解为四个互斥的不确定性组件，构成一个归因树：

视觉证据失效 ( $Z_d$ )： 图像过于退化（如噪声、模糊），无法支持识别。
未知实体 ( $Z_u$ )： 实体在视觉上可识别，但对模型而言是未知的（分布外或代表性不足）。
未知事实 ( $Z_f$ )： 实体已被识别，但所需的事实缺失于模型的参数化知识中。
无法检索的事实 ( $Z_r$ )： 实体被识别且假设事实可用，但模型未能正确检索或使用该事实。

数据构建与标注

为了训练针对这些特定失效模式的探测器，作者从 PopVQA（名人、地标、标志、绘画）和 iNaturalist（动植物物种）中构建了一个数据集。他们应用了一种可扩展的、针对特定模型的标注程序：

未知 vs. 退化实体： 他们使用“言语化识别探测”（verbalized recognition probe）配合干扰提示词，以区分模型是因为视觉退化（通过高斯模糊、噪声、JPEG 压缩诱导）而无法识别实体，还是仅仅因为不认识该实体。
事实获取： 为了区分“未知事实”与“无法检索的事实”，他们采用了两步测试法。如果模型在基于原始图像的问题上失败，但在提示词中明确提供实体名称后成功，则将该失败归因为无法检索的事实（跨模态访问失败）。如果两者都失败，则判定该事实为未知。

生成前特征提取

核心研究重点在于：在解码之前，模型的内部状态是否可以预测这些失效来源。作者在处理完图像-问题提示词之后、开始生成答案之前提取了特征：

VIS： 最终图像 Token 的隐藏状态（视觉提示特征）。
EOP： 最终提示词 Token 的隐藏状态。
LAST8： 最终八个提示词 Token 的拼接隐藏状态。
ATTN： 最终八个 Token 对回溯窗口的展平注意力权重。
ATTN+LAST8： 以上各项的组合。

这些特征被输入到轻量级探测器（线性头或小型 Transformer）中，用于预测归因树中的特定失败分支。

核心贡献

归因树分类法： 本文引入了一种结构化的分解方法，将知识密集型 VQA 的失败分解为视觉证据、实体识别、事实检索和知识可用性，超越了二元错误检测。
可扩展的标注程序： 一种利用受控探测（干扰项、实体显式重写和合成图像退化）而非依赖昂贵人工标注来为 VQA 示例分配特定失效模式的方法。
生成前失效预测： 证明了 VLM 的内部表示可以在生成答案之前预测失效来源。关键在于，本文指出不同的信号对于不同的失效类型具有最优性：
- 视觉 Token 特征 (VIS) 是预测识别和视觉证据失效的最强预测因子。
- 受提示词调节的隐藏状态 (LAST8) 在实体识别后，对于预测事实性失效（未知事实 vs. 无法检索的事实）更为优越。

实验结果

研究评估了四类 VLM 家族（Gemma-3, Llama-3.2, Qwen2.5-VL, Qwen3-VL）在 PopVQA 和 iNaturalist 上的表现。

失效分布： “未知事实”是主要的失效模式（占错误的 36–64%），其次是“未知实体”和“无法检索的事实”。这证实了即使在成功识别实体后，许多错误仍然会发生。
特征性能：
- 对于视觉证据和实体识别，VIS 特征实现了最高的 PR-AUC（例如，视觉证据为 97.0），显著优于基于提示词的特征。
- 对于回答成功率和事实获取，LAST8 特征（特别是配合 Transformer 头）优于 VIS 和 EOP，分别达到了 62.7 和 53.5 的平均 PR-AUC。
- 树状 vs. 平坦分类： 采用树状组合方法（使用针对每个二元决策的专门探测器）始终优于直接的五分类器（49.2 vs. 41.2 的宏 PR-AUC），这表明分离图像侧和事实侧的决策是必要的。
跨数据集泛化： 在视觉和识别任务上，在 PopVQA 上训练的探测器能很好地迁移到 iNaturalist（高 PR-AUC），但在事实性任务上表现较低，表明事实性信号更具领域特定性。
探测器引导的缓解措施： 使用归因树将示例路由到针对性干预（图像修复、实体识别、问题重写或外部事实提供）后，最终回答准确率提升了 30.8–39.3 个百分点。值得注意的是，“未知事实”是这些增益的最大贡献者，验证了及早识别缺失知识的效用。

意义与主张

本文声称，VLM 在知识密集型 VQA 中的失败是结构化的，而非随机的。通过分析生成前的内部状态，可以在模型生成答案之前诊断其为何产生不确定性。

作者断言，这种诊断能力能够实现高效、针对性的干预。系统不再仅仅做出“放弃或回答”的二元决策，而是可以将不确定的案例路由到特定的修复机制：

如果信号指示视觉退化，则可以修复图像。
如果信号指示未知实体，则可以寻求实体识别支持。
如果信号指示知识缺失，则可以触发外部检索。

这项工作表明，知识密集型 VQA 的“两步走”性质（视觉识别后进行事实检索）反映在模型的内部表示中，其中视觉 Token 编码第一步，而受提示词调节的隐藏状态则编码第二步。这一发现支持了开发更鲁棒、具备自我纠错能力的多模态系统的研究方向，使其能够识别并解决自身的特定局限性。