💬 NLP

SpurLens: Automatic Detection of Spurious Cues in Multimodal LLMs

本文介绍了 SpurLens，这是一个自动化的流水线，它揭示了多模态大语言模型（MLLMs）存在严重的伪偏差，从而导致物体识别失败并放大幻觉，同时也探索了旨在增强其可靠性的缓解策略。

原作者： Parsa Hosseini, Sumit Nawathe, Mazda Moayeri, Sriram Balasubramanian, Soheil Feizi

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Parsa Hosseini, Sumit Nawathe, Mazda Moayeri, Sriram Balasubramanian, Soheil Feizi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

技术摘要：SpurLens：多模态大语言模型中伪相关线索的自动检测

问题陈述

虽然单模态视觉模型被证实依赖于伪相关（非本质的输入属性），但尽管有语言监督，多模态大语言模型（MLLMs）在多大程度上表现出类似的偏差仍不明确。作者假设，许多 MLLM 的关键失败——特别是物体幻觉（生成事实错误的内容）和物体识别失败——源于对伪相关线索而非真实物体识别的依赖。

现有的检测这些偏差的方法通常需要人工监督、受限于预定义的特征，或者依赖于计算成本高昂的标题共现分析。此外，目前尚不清楚这些偏差是源于视觉编码器、语言模型还是它们的融合过程，以及简单的提示策略是否可以缓解这些偏差。

方法论：SpurLens 流水线

本文引入了 SpurLens，这是一个自动化的、无监督的流水线，旨在识别伪视觉线索并量化其对 MLLM 性能的影响。该流水线分为三个主要阶段运行：

提出伪特征：
- 对于给定的目标物体 $t$ ，系统利用 GPT-4 生成与 $t$ 经常共同出现的潜在伪相关线索（物体或背景元素）列表。
- 生成的列表通过 GPT-4 进行严格过滤，以确保特征满足以下条件：
  - 物理上存在且视觉上可辨识。
  - 不是目标物体的一部分（例如，“屏幕”不是“笔记本电脑”的线索）。
  - 与目标物体不可分割。
  - 可被开集物体检测器检测到。
识别并排序图像：
- 使用开集物体检测器 (OWLv2) 扫描大型图像数据集，以查找所提议的伪相关特征的存在情况。
- 图像根据所检测到的伪相关线索的置信度进行排序。这为每个特征创建了一个“伪相关性”（spuriosity）排名，使系统能够选择具有最高线索存在率（Top-K）和最低存在率（Bottom-K）的图像。
计算伪相关差距（Spurious Gaps）：
- 将排序后的图像输入到目标 MLLM 中，并使用二元提示（例如，“图中是否有 [目标物体]？”）。
- 计算两个核心指标：
  - 感知准确率 (PA) 差距： 包含伪相关线索的图像与不含线索的图像之间识别准确率的差异。较大的正向差距表明模型过度依赖该线索进行识别。
  - 幻觉率 (HR) 差距： 包含线索的图像与基准图像之间幻觉率（假阳性）的差异。较大的正向差距表明线索会触发幻觉。
- 产生最大差距的特征被确定为该类别的最具影响力的伪相关线索。

核心贡献

自动化发现： 与需要人工标注或固定特征集的先前工作不同，SpurLens 能够自动发现跨广泛物体和数据集的可解释伪相关线索，且无需人工监督。
双重失效模式分析： 本研究系统地量化了由伪相关偏差导致的两种截然不同的失效模式：
1. 过度依赖： 当移除伪相关线索时，性能显著下降。
2. 幻觉放大： 伪相关线索会显著提高物体幻觉的发生率。
诊断深度： 该框架通过消融实验隔离了偏差的来源，检查偏差是源于视觉编码器、语言模型还是融合过程，并测试了各种缓解策略的有效性。

实验结果

作者在三个数据集（HardImageNet、ImageNet 子集和 COCO）上评估了五种 MLLM（Qwen2-VL、Qwen-3.5、Llama-3.2、LLaVA-v1.6 和 GPT-4o-mini）。

1. 物体识别失败

移除伪相关线索会导致所有模型的准确率显著下降。
示例： GPT-4o-mini 在 COCO 数据集上的准确率从 88.0%（含线索）降至 67.6%（无线索），降幅为 20.4%。
下降幅度因模型和数据集而异，LLaVA-v1.6 在 COCO 上的差距为 16.0%。

2. 物体幻觉

伪相关线索剧烈放大了幻觉率。
示例： 在 COCO 中，GPT-4o-mini 的幻觉率从 1.4%（无线索）增加到 11.2%（有线索），增加了 9.8 倍。
在 ImageNet 子集中，这种增长更为显著，某些模型在存在伪相关线索时，幻觉率甚至增加了高达 18 倍。

3. 消融研究与缓解措施

Token 丢弃： 即使人为移除对应于目标物体的视觉 Token，模型仍然以高频率（例如，某些模型的 HR > 30%）幻觉出该物体的存在，这表明偏差并不完全依赖于视觉证据。
视觉编码器隔离： 仅在视觉编码器嵌入上训练二元分类器显示出显著的伪相关差距，表明偏差存在于视觉表示本身，独立于语言模型。
提示策略： 作者测试了几种缓解技术，包括提示集成、思维链（CoT）推理以及明确告知模型潜在的伪相关线索。
- 结果： 虽然某些策略在特定情况下提供了微小的改进，但没有任何一种策略能显著降低“伪相关差距”。即使是通过“作弊”提供由 SpurLens 识别出的最强伪相关线索，也未能消除这种偏差。

重要性与主张

本文声称，伪相关偏差是当前 MLLM 中一个根深蒂固、基础性的问题，在不同的架构和数据集上普遍存在。作者断言：

当前的 MLLM 极易受到伪相关性的影响，导致在识别和生成方面的系统性失败。
简单的缓解策略是不够的。 基于语言的干预（提示词工程）无法完全解决底层的伪相关依赖，因为偏差似乎已经嵌入在视觉编码器的特征空间中。
需要更严格的评估。 这些偏差的持续存在要求开发比目前提示技术更稳健的评估方法和缓解策略，以确保 MLLM 在现实应用中的可靠性。

研究结论认为，SpurLens 为诊断这些失败提供了一个可扩展、可解释的工具，但其根源问题需要超越表面层面的提示词调整来解决。