Ref-Adv: Exploring MLLM Visual Reasoning in Referring Expression Tasks

本文提出了名为 Ref-Adv 的新型基准测试，通过引入具有强干扰项和复杂推理需求的指代表达式，揭示了当前多模态大语言模型在现有基准上表现优异但在真实视觉推理与定位任务中严重依赖捷径的缺陷。

要点

这篇论文介绍了一个名为 Ref-Adv 的新测试，专门用来“拷问”现在的多模态大模型（MLLMs，也就是能看懂图又能说话的人工智能）。

为了让你轻松理解，我们可以把现在的 AI 想象成一群正在参加“找茬”考试的超级学生，而 Ref-Adv 就是他们遇到的一场前所未有的“地狱级”考试。

1. 以前的考试太简单了（旧基准的漏洞）

以前的考试（比如 RefCOCO 系列）就像是在空荡荡的房间里找东西。

• 题目太短：老师只说“找鼠标”。
• 干扰项太少：房间里只有一个鼠标，旁边没有别的电子产品。
• 描述太啰嗦：有时候题目会说“那个红色的、连着线的、放在桌子左边的、属于戴尔品牌的鼠标”。

结果：聪明的 AI 学生发现，只要看到“鼠标”两个字，或者看到“红色”这个词，就能直接猜出答案。它们根本不需要真正去“思考”整句话的意思，也不需要仔细分辨哪个是真正的鼠标。这就像玩“大家来找茬”，但图上只有一个东西，闭着眼都能蒙对。

论文作者发现，这些 AI 在旧考试里得分高达 90% 以上，但这其实是虚高的，因为它们是在“走捷径”，并没有真正学会如何根据复杂的描述去精准定位。

2. 新考试：Ref-Adv（Ref-Adv 是什么？）

为了测出 AI 的真本事，作者们设计了一套全新的“地狱级”试卷——Ref-Adv。这套试卷有三个核心“杀手锏”：

🎯 杀手锏一：把“空房间”变成“拥挤的集市”（增加干扰项）

以前的图里只有一个鼠标。现在的图里，有3 个甚至更多长得一模一样的鼠标。

• 比喻：以前是让你在一堆苹果里找梨（只有一个梨）；现在是让你在一堆长得几乎一样的梨里，找出那个“稍微有点磕碰”的梨。
• 目的：强迫 AI 必须仔细分辨细节，不能只看个大概。

🧠 杀手锏二：题目必须“有逻辑”（拒绝废话）

以前的题目可能很长，但很多词是多余的。现在的题目要求字字珠玑，缺一不可。

• 比喻：以前题目说“那个穿着红衣服、戴着帽子、拿着球、站在树下的、很高的人”。其实只要说“穿红衣服”就能找到。
• 现在：题目是“那个没戴帽子，但穿着红衣服，且站在树左边的人”。
• 目的：如果你删掉“没戴帽子”这个词，AI 就找错了。这迫使 AI 必须理解否定句（“没戴”）和相对位置（“左边”），而不是靠关键词匹配。

🚫 杀手锏三：设置“陷阱”（硬干扰项）

这是最绝的一招。作者故意放了一个非常像目标的“冒牌货”。

• 比喻：你要找“那个没拿网球拍的人”。图片里有两个人，一个拿着拍子，一个假装拿着拍子（其实手里是空的，但姿势很像）。
• 目的：AI 如果只靠“找网球拍”这个关键词，就会选错。它必须理解“没拿”这个否定逻辑，才能避开陷阱。

3. 考试结果：AI 们“翻车”了

当作者把这套新试卷发给目前最顶尖的 13 款 AI 模型（包括 GPT-4o, Gemini, Qwen, InternVL 等）时，发生了戏剧性的一幕：

• 旧考试：AI 们个个考 90 分以上，仿佛是全知全能的学霸。
• 新考试 (Ref-Adv)：AI 们的分数断崖式下跌，很多模型甚至不及格。

为什么？
因为 AI 们习惯了“走捷径”。它们发现新题目里：

1. 不能只看关键词（因为有太多相似的干扰项）。
2. 不能忽略否定词（比如“不”、“没”）。
3. 必须像人类一样，一步步推理：“先找所有杯子 -> 排除满的 -> 排除离角落远的 -> 找到那个半满且靠近角落的”。

4. 一个有趣的发现：让 AI“多思考一会儿”

论文还做了一个实验：让 AI 在回答前先**“思考”（Chain-of-Thought, CoT）**，就像让人类在解题时写下解题步骤。

• 结果：在旧考试里，让 AI“思考”反而可能让它变笨（因为题目太简单，思考是多余的）。
• 但在 Ref-Adv 新考试里：一旦 AI 开始“一步步思考”，分数就明显提高了。
• 比喻：这就像让一个只会死记硬背的学生，在遇到难题时，强迫他拿出草稿纸一步步推导。虽然慢了点，但终于能算出正确答案了。

总结：这篇论文想说什么？

这篇论文就像是一个严厉的考官，敲醒了整个 AI 界：

“别以为在旧题里考满分就是真的聪明！现在的 AI 只是学会了‘猜题’和‘走捷径’。面对真实世界中复杂、充满干扰、需要逻辑推理的视觉任务，它们还差得很远。”

Ref-Adv 就是为了解决这个问题而生的。它希望未来的 AI 不再是只会背单词的“鹦鹉”，而是真正能看懂图、理解逻辑、能像人类一样进行深度视觉推理的“侦探”。

一句话总结：以前的考试是“送分题”，AI 靠运气和关键词就能拿高分；Ref-Adv 是“逻辑推理题”，逼着 AI 真正动脑子，结果发现它们很多还不会做。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文《REF-ADV: EXPLORING MLLM VISUAL REASONING IN REFERRING EXPRESSION TASKS》。以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

指代表达理解 (Referring Expression Comprehension, REC) 是将自然语言描述与图像中特定区域（边界框）进行对齐的任务。尽管多模态大语言模型 (MLLMs) 在经典基准测试（如 RefCOCO, RefCOCO+, RefCOCOg）上取得了超过 90% 的准确率，但作者指出这些基准存在严重缺陷，无法真实反映模型的视觉推理和定位能力：

• 表达过短：平均长度仅约 3 个单词，缺乏足够的语言推理需求。
• 干扰项不足：图像中同类别的干扰对象（distractors）很少，模型只需识别类别即可定位，无需精细的视觉区分。
• 存在“捷径” (Shortcuts)：许多描述包含冗余信息。由于干扰项少，模型只需匹配描述中的部分关键词（捷径）即可猜对，而无需理解完整的语义逻辑或进行真正的视觉推理。这导致长描述反而可能因为冗余信息多而获得更高的准确率（即“接地捷径”现象）。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 Ref-Adv，一个旨在消除捷径、强制模型进行多步推理的现代 REC 基准。

2.1 数据集构建流程

Ref-Adv 基于 COCO 和 OpenImages v7 数据集构建，采用了一个两阶段的 LLM 辅助 + 人工验证的数据采集管道（如图 3 所示）：

1. 图像筛选与干扰项压力：仅保留包含至少 3 个同类别候选实例的图像，确保存在足够的干扰项。
2. 相似性判断 (Similarity Judgement)：利用 LLM (GPT-4o) 识别图像中目标实例与“硬干扰项”（Hard Distractors，即部分匹配但不完全满足描述的干扰对象）之间的相似性，并提取区分组间和组内实例的属性。
3. 表达生成 (Expression Generation)：
   • 基于提取的区分属性，生成最小充分的指代表达。
   • 策略包括使用目标描述或使用对干扰项的否定描述（Negation），以增加多样性并避免冗余。
   • 明确禁止使用图像中的数字标签作为描述依据。
4. 人工验证：三名标注员对生成的“图像 - 文本”对进行验证，确保表达准确、无歧义，且图像中确实存在硬干扰项。只有三方一致同意的样本才被保留（保留率约为 18.7%）。

2.2 数据集统计特征

• 表达长度：平均长度提升至 11.5 个单词（RefCOCO 约为 3.6）。
• 干扰项：平均每个图像包含 4.01 个同类别干扰项。
• 否定表达：包含显式否定（如“不穿项链的人”）的比例高达 21.25%。
• 词汇量：词汇多样性显著增加。

2.3 验证实验设计

为了证明 Ref-Adv 确实需要推理能力，作者进行了以下消融实验：

• 词序打乱测试 (Bag-of-Words)：打乱表达式的词序。在 RefCOCO 上性能下降较小，但在 Ref-Adv 上性能大幅下降，证明模型必须理解词序和句法逻辑。
• 描述符删除测试 (Descriptor Deletion)：随机删除一个描述符。在 RefCOCO 上性能影响较小（说明存在冗余捷径），而在 Ref-Adv 上性能显著下降，证明每个描述符都是定位目标所必需的。

3. 关键贡献 (Key Contributions)

1. 提出 Ref-Adv 基准：构建了一个包含真实图像、硬干扰项、长且精炼表达（含否定）的 REC 数据集，专门用于测试 MLLM 的深层视觉推理能力。
2. 揭示现有基准的缺陷：通过系统的消融实验证明，经典基准（RefCOCO 系列）因缺乏干扰项和存在冗余描述，导致模型可以通过“捷径”获得虚高的准确率，掩盖了视觉推理能力的不足。
3. 全面的模型评估：在 Ref-Adv 上评估了 13 种当代最先进的 MLLM（包括 Qwen2.5-VL, InternVL-3, Gemini 2.5, GPT-4o, Claude-3.5 等），涵盖了闭源和开源模型。
4. 开源与复现：公开了包含 1,142 个精选案例的子集 Ref-Adv-s 及评估代码，促进可复现的研究。

4. 实验结果 (Results)

• 性能显著下降：尽管模型在 RefCOCO 系列上表现优异（>90%），但在 Ref-Adv 上准确率大幅下降（例如 Qwen2.5-VL-72B 从 RefCOCO 的 90%+ 降至 Ref-Adv 的约 58%）。这揭示了模型对捷径的依赖以及视觉推理能力的差距。
• 干扰项数量的影响：随着图像中同类别干扰项数量的增加（从 2-3 个增加到 7 个以上），所有模型的性能均出现明显下滑，表明处理复杂视觉场景仍是当前 MLLM 的短板。
• 思维链 (CoT) 的作用：
  • 在 Ref-Adv 上，引入思维链 (Chain-of-Thought) 通常能显著提升性能（例如 Qwen3-30B 从 44% 提升至 52%）。
  • 相比之下，在 RefCOCO 等简单基准上，CoT 带来的提升有限甚至可能因过度冗长而降低性能。
  • 这表明 Ref-Adv 成功激发了模型的推理机制。
• 模型对比：GPT-4o 和 Gemini 2.5-Pro 等闭源模型在 CoT 模式下表现最佳，但即使是这些最强模型，在 Ref-Adv 上的准确率也远未达到饱和（最高约 60-68%），显示出巨大的提升空间。

5. 意义与影响 (Significance)

• 重新定义评估标准：Ref-Adv 证明了当前的 REC 基准已经无法有效区分模型的强弱，亟需转向更强调“最小充分描述”和“硬干扰项”的基准。
• 推动视觉推理发展：该基准揭示了 MLLM 在细粒度视觉定位和复杂逻辑推理方面的具体短板，为未来的模型改进（如强化视觉推理、优化 CoT 策略）指明了方向。
• 防止过拟合捷径：通过消除数据中的捷径，Ref-Adv 迫使模型真正理解语言与视觉的对应关系，而非仅仅进行模式匹配。

总结：Ref-Adv 是一个针对多模态大模型视觉推理能力设计的“压力测试”基准。它通过引入硬干扰项和最小充分表达，成功打破了现有模型在经典基准上的“虚假繁荣”，揭示了当前 MLLM 在复杂视觉推理任务中的真实能力瓶颈，并为未来的研究提供了更严格的评估标准。