💻 computer science

M $^3$ -VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering

本文介绍了 M $^3$ -VQA，这是一个新颖的基准测试，旨在通过要求多模态大语言模型综合来自多个视觉和文本源的信息，来评估其在细粒度实体理解和复杂多跳推理方面的能力，从而揭示了当前在知识获取方面的显著局限性，并凸显了具备推理感知能力的检索方法的优越性。

原作者： Jiatong Ma, Longteng Guo, Yuchen Liu, Zijia Zhao, Dongze Hao, Xuanxu Lin, Jing Liu

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiatong Ma, Longteng Guo, Yuchen Liu, Zijia Zhao, Dongze Hao, Xuanxu Lin, Jing Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在参加一场极其困难的考试，但你不是仅仅看着一张图片回答“猫是什么颜色？”这样简单的问题，而是被要求解决一个复杂的谜题，需要你同时扮演侦探、图书管理员和逻辑谜题大师。

这就是 M3-VQA 的故事，这是研究人员创建的一场新的“考试”，旨在测试我们当前的 AI“大脑”（称为多模态大语言模型）究竟有多聪明。

以下是该论文内容的简要解析，使用了简单的类比：

1. 问题所在：旧考试太简单了

把以前的 AI 测试想象成“我猜”游戏。你指着一辆红色的车，AI 说：“那是一辆车。”或者你问：“狗开心吗？”AI 根据狗的表情进行猜测。

研究人员表示，这些旧测试就像在没有任何风或湍流的模拟器上训练飞行员。它们太简单了。现实生活是混乱的。在现实世界中，你可能会看着一张拥挤街道的照片并问道：“这三个人中，谁穿的衬衫是由那个也赞助背景中体育场的品牌制造的？”

要回答这个问题，AI 需要：

识别出三个不同的人。
读取衬衫上微小的标志。
知道那是哪个品牌。
知道哪个体育场赞助了该品牌。
将这两个事实联系起来。

大多数当前的 AI 都在这一步失败了。它们要么迷失在细节中，要么无法将线索串联起来。

2. 新考试：M3-VQA

研究人员建立了一个新的、更难的测试，称为 M3-VQA。把它想象成 AI 的多级密室逃脱。

它有三个特殊的“困难模式”：

多实体（Multi-Entity）： 问题不仅仅关于某一件事。它们同时涉及一整套角色（人、动物、标志、建筑物）。这就像问：“房间里最年长的人是谁，而最年轻的人最喜欢的食物是什么？”
多跳推理（Multi-Hop Reasoning）： 答案并不直接存在于图片中。AI 必须进行一次“跳跃”来寻找线索，然后再进行一次“跳跃”来寻找下一个线索，就像寻宝游戏一样。
- 第一跳： “这是什么鸟？” -> 答案：企鹅。
- 第二跳： “企鹅住在哪里？” -> 答案：南极洲。
- 第三跳： “那个国家的首都是什么？” -> 答案：（等等，南极洲没有首都！）
证据库（The Evidence Library）： 研究人员不仅给 AI 一张图片，还给了它一个巨大的图书馆（维基百科页面）以及包含答案的确切句子列表（黄金证据）。这让他们能够看到 AI 是否真的在阅读正确的页面，还是仅仅在猜测。

3. 结果：AI 卡住了

研究人员测试了 16 个最聪明的可用 AI 模型（包括 GPT-4o 以及 Qwen 和 InternVL 的各种版本等知名模型）。

坏消息：
当 AI 被迫仅通过查看图片和问题来回答（没有外部帮助）时，它们的表现非常糟糕。表现最好的模型也只答对了大约 32% 的问题。

类比： 这就像让学生在没有计算器和教科书的情况下解决数学题，结果他们连基础算术都卡住了。AI simply 没有足够的关于世界的知识来独自将线索串联起来。

好消息（但有条件）：
当研究人员将包含答案的确切句子（即“黄金证据”）从图书馆提供给 AI 时，分数显著上升。

类比： 如果你把标有答案的教科书页面交给学生，他们就能解决问题。这证明 AI能够进行推理，但它非常不擅长首先找到信息。

最佳策略：
研究人员尝试了两种方法来帮助 AI 找到信息：

启发式检索（Heuristic Retrieval）： 这就像向图书馆扔一张大网，希望能抓到那条正确的鱼。它经常抓到太多垃圾。
代理检索（Agentic Retrieval）： 这就像给 AI 配备一个聪明的侦探代理。该代理将大问题分解为小步骤，寻找一个线索，然后利用该线索寻找下一个线索。
- 结果： “聪明侦探”的方法效果好得多。这表明，当 AI 被教导逐步思考并规划其搜索时，它会变得聪明得多。

4. 结论

该论文得出结论，虽然我们的 AI 模型在视觉识别和语言表达方面越来越强，但它们仍然不擅长深入、复杂的侦探工作。

它们难以在巨大的图书馆中找到正确的事实。
它们难以将多个事实串联成链条。
它们需要帮助（如“黄金证据”提示或“聪明侦探”计划）来解决这些难题。

研究人员表示，这项新测试（M3-VQA）是一次必要的“压力测试”，旨在向我们确切展示 AI 的弱点，以便我们能够构建更好的系统，真正理解我们所居住的复杂、多层的世界。

简而言之： 当前的 AI 就像一位博览群书却忘记了如何使用图书馆目录卡的学生。如果你把书递给他们，他们知道事实，但当问题变得复杂时，他们无法自己找到那本书。M3-VQA 证明了这一点，并表明我们需要教会它们更好的搜索和推理技能。

以下是论文《M3-VQA：多模态、多实体、多跳视觉问答基准》的详细技术总结。

1. 问题陈述

当前的多模态大语言模型（MLLMs）在表面感知和常识推理方面表现出色，但在现实场景中难以应对细粒度实体理解和复杂多跳推理。现有的视觉问答（VQA）基准（如 OK-VQA、A-OKVQA）主要关注：

粗粒度类别：基本物体而非特定命名实体（例如，“一只狗”与“特定品种的狗”）。
单实体推理：问题通常围绕一个主要实体展开。
简单推断：大多数问题仅需一两个推理步骤。

这些局限性未能挑战 MLLMs 在需要整合多源视觉和文本信息、序列逻辑链以及检索特定外部知识方面的任务能力。

2. 方法论：M3-VQA 基准

作者引入了M3-VQA，这是一个新颖的数据集和评估框架，旨在同时测试三项核心能力：多模态理解、多实体交互和多跳推理。

A. 数据集构建

来源：图像源自细粒度数据集（如 CelebTo 用于名人、FGVD 用于车辆、LogosInTheWild），并通过网络搜索手动收集，以确保场景的多样性和多实体性。
实体链接：实体被映射到 Wikidata ID 并链接到相应的维基百科页面，构建可追溯的知识库。
问题生成：
- 并行多跳：问题要求对多个实体（视觉或文本）进行独立推理，随后进行综合（例如，比较图像中两种不同动物的起源）。
- 序列多跳：问题使用“桥接实体”，其中一个子问题的答案成为下一个问题的输入（例如，识别一个体育场 $\rightarrow$ 确定在该地进行的运动 $\rightarrow$ 查找该运动的起源国家）。
规模与复杂度：数据集包含 13,125 个（图像，问题，答案）三元组。
- 实体：每个问题平均包含 2.8 个实体（范围高达 4 个以上）。
- 跳数：平均推理跳数为 3.1（范围高达 4 跳以上）。
- 知识库：一个精心策划的多模态知识库，包含约 200 万篇维基百科页面，并附有黄金证据标注（支持答案的具体句子/章节）。

B. 评估协议

作者在三种不同的设置下评估了 16 个领先的 MLLM（包括 GPT-4o、Qwen2.5-VL、InternVL2.5、LLaVA-OneVision）：

原始（无证据）：模型仅依赖内部知识和图像。
神谕（黄金证据）：模型被提供回答问题所需的精确真实证据（句子/章节）。
知识库（检索增强）：模型必须使用两种策略从外部知识库检索相关证据：
- 启发式检索：使用完整查询进行单次文本/图像搜索。
- 代理检索：一个多代理框架（规划器、执行器、求解器），分解复杂问题、分割图像并迭代检索信息。

C. 指标

交并比（IoU）：用于处理具有多个有效答案或别名的情况，提供比精确匹配更稳健的准确率度量。
可追溯性：将最终答案链接回特定证据步骤的能力。

3. 主要贡献

新颖基准：M3-VQA 是首个同时要求细粒度多实体识别、并行和序列多跳推理以及从大规模多模态知识库检索的 VQA 基准。
综合评估框架：它引入了严格的测试协议，比较无知识、拥有完美知识（神谕）以及具备检索机制的模型，从而隔离模型失败的位置（知识获取与推理）。
代理检索框架：本文提出并验证了一种代理检索方法，通过分解复杂查询和执行迭代规划，其表现优于传统的启发式方法。
开放资源：数据集、代码和知识库已公开，以促进进一步研究。

4. 实验结果

对 16 个模型的评估揭示了当前 MLLM 能力的显著差距：

缺乏外部知识时表现不佳：
- 即使是最佳模型（Qwen2.5-VL-72B）在“原始”设置下的准确率也仅为 32.6%。
- 纯语言模型的表现不如视觉 - 语言模型，证实仅靠图像描述不足以获取细粒度实体细节。
证据的关键作用：
- 提供黄金证据（神谕设置）显著提升了性能（例如，Qwen2.5-VL-72B 达到 58.4%）。
- 然而，即使拥有完美证据，模型仍未达到 100%，表明推理能力（整合多跳事实）仍然是瓶颈，而不仅仅是知识检索。
检索策略：
- 代理检索显著优于启发式检索。对于 Qwen2.5-VL-72B，代理检索达到 38.9%，而启发式检索为 36.6%。
- 启发式方法在处理多实体时受困于“过载查询”，而代理方法成功地将问题分解。
复杂度影响：
- 随着推理跳数和实体数量的增加，准确率单调下降。
- 有趣的是，在“原始”设置中，模型有时在更高跳数的问题上表现更好，因为问题文本本身包含了必要的实体名称（通用知识），而在缺乏证据的情况下，细粒度视觉推理会失败。

5. 意义与未来方向

推理新标准：M3-VQA 为评估 MLLMs 设定了更高的标准，超越了简单的感知，转向现实应用（如医疗诊断、法律文件分析、科学研究）所需的复杂结构化推理。
凸显“推理差距”：结果表明，当前模型严重依赖外部信息，即使提供了这些信息，也难以执行多步逻辑整合。
推进检索增强生成（RAG）：代理检索的成功表明，未来的 MLLM 必须纳入规划和迭代推理，而不仅仅是单次检索，以处理复杂的多模态任务。
局限性：该数据集目前仅限英语并依赖维基百科。未来的工作应扩展到其他语言和专业领域（如生物医学、法律）。

总之，M3-VQA 揭示了 MLLMs 在细粒度理解和复杂推理方面的当前局限性，为开发更稳健、知识集成且具备推理能力的多模态代理提供了一条关键途径。