PRISMM-Bench: A Benchmark of Peer-Review Grounded Multimodal Inconsistencies

本文提出了首个基于真实同行评审发现的多模态不一致性基准 PRISMM-Bench，通过构建包含 384 个真实案例的数据集及新型结构化评估任务，揭示了当前 21 种主流大模型在科学论文多模态推理与一致性检测方面存在的显著能力短板。

要点

这篇论文介绍了一个名为 PRISMM-Bench 的新工具，它就像是一个专门用来“捉虫”的科学论文质检员，专门用来测试现在的超级人工智能（AI）能不能真正读懂复杂的科学文章。

我们可以用几个生动的比喻来理解它：

1. 背景：AI 是个“博学家”，但也是个“粗心鬼”

现在的 AI（叫大型多模态模型，LMMs）非常聪明，能看图、能读字、能算数。科学家们希望它们能像助手一样帮我们读论文、做研究。
但是，科学论文里经常藏着一些**“隐形地雷”**：

• 文字里说：“我的实验用了 10 个参数。”
• 旁边的图里却画着：“参数是 1 个。”
• 或者文字说：“结果完美匹配”，但图里的数据却对不上。

这些错误通常很细微，需要专业知识才能发现。如果 AI 连这些明显的“自相矛盾”都看不出来，那它怎么能当可靠的科学助手呢？

2. 痛点：以前的考试太“假”了

以前的测试题，要么是只考文字，要么是只考图片，要么就是人为编造的假错误（比如把图里的苹果涂成蓝色）。这就像是在考学生“能不能认出苹果”，而不是考他们“能不能发现苹果和梨混在一起”。
现实中的科学错误往往很隐蔽，而且散落在整篇论文的各个角落。

3. 解决方案：PRISMM-Bench —— “真枪实弹”的模拟考

作者们想出了一个绝妙的主意：去翻翻真实的论文评审记录（Peer Reviews）。

• 比喻：想象一下，你有一堆刚写完的试卷，旁边放着老师（审稿人）用红笔圈出来的错误批注。
• 做法：作者们收集了 ICLR（一个顶级 AI 会议）上审稿人指出的真实错误。他们把这些“老师指出的错”整理成了一个题库。
• 规模：他们从 353 篇论文中，精心挑选了 384 个真实的“图文不符”或“表里不一”的例子。

4. 三大挑战任务：不仅仅是“找茬”

这个测试不仅仅是让 AI 说“这里错了”，而是分三个层次来考：

1. 找茬（Identification）：就像玩“大家来找茬”游戏，问 AI：“图里和文字里哪里不一样？”
2. 修图（Remedy）：不仅要知道哪里错了，还要知道怎么改。比如：“是把图里的数字改大，还是把文字里的描述改小？”
3. 配对（Pair Matching）：给出一张图，让 AI 从一堆图里找出那张和它“吵架”（矛盾）的图。

5. 核心创新：防止 AI“走捷径”

这是这篇论文最聪明的地方。

• 问题：在以前的选择题考试里，AI 很狡猾。它可能根本没看题目，只是看选项的长短、语气或者某些关键词，就能猜对答案。这就叫“走捷径”。
• 比喻：就像学生考试不看题，只背“选 C 的人多”或者“最长的选项通常是正确答案”。
• 对策：作者们发明了一种**“结构化 JSON 格式”**的答题方式。
  • 以前选项是：“A. 图里的苹果是红的。”
  • 现在变成了像代码一样的结构：{ "属性": "颜色", "声称": "红色", "证据": "图片显示绿色" }。
  • 效果：这种格式去掉了花哨的语文修饰，强迫 AI 必须真正去理解图片和文字的逻辑关系，没法靠“猜”或“背答案”混过去了。

6. 测试结果：AI 还很“菜”

作者测试了 21 个最顶尖的 AI 模型（包括 GPT-5、Gemini 等）。

• 结果：即使是最好的模型，准确率也只在 27.8% 到 53.9% 之间。
• 对比：人类专家（博士生级别）在没有上下文提示的情况下，准确率只有 27.5%（因为人类需要看全文才能发现），但一旦给了上下文，人类能到 77.5%。
• 结论：目前的 AI 在“走捷径”时表现不错，但一旦去掉捷径，让它们真正去理解复杂的图文矛盾，它们的表现还不如人类。这说明 AI 离成为真正的“科学助手”还有很长的路要走。

总结

PRISMM-Bench 就像给 AI 出了一套**“防作弊”的“找茬”试卷**。它告诉我们：现在的 AI 虽然能写诗、能画画，但在处理科学论文中那些细微的、真实的图文矛盾时，还像个**“粗心大意的小学生”**。只有解决了这些问题，AI 才能真正成为科学家值得信赖的伙伴。

技术摘要

PRISMM-Bench 技术总结

1. 研究背景与问题定义

大型多模态模型（LMMs）在科学文献分析中的应用日益广泛，但其在处理科学论文中复杂的多模态不一致性（Multimodal Inconsistencies）方面仍存在显著不足。科学论文通常包含文本、图表、表格和公式等多种模态，这些模态之间常因复制粘贴错误、数据更新滞后或符号不一致而产生细微但关键的矛盾。

核心问题：
现有的基准测试（Benchmarks）往往存在以下缺陷：

• 模态隔离：仅关注单一模态（如仅图表或仅文本），忽略了模态间的依赖关系。
• 合成数据：使用人工生成的错误，缺乏真实世界的复杂性和细微性。
• 评估偏差：多项选择题（MCQ）评估中，模型常利用答案选项的语言模式（Linguistic Biases）进行“捷径”猜测，而非真正理解内容。

因此，亟需一个基于真实审稿人反馈的基准，以评估模型在检测、修正和推理科学论文中多模态不一致性的能力。

2. 方法论：PRISMM-Bench 构建流程

PRISMM-Bench（Peer-Review-sourced Inconsistency Set for Multimodal Models）是一个基于真实同行评审（Peer Review）数据构建的基准。其构建过程包含六个阶段：

1. 审稿来源（Review Sourcing）：
   • 从 OpenReview 获取 ICLR 2024 和 2025 的投稿评审意见。
   • 策略：仅选取未通过反驳（Rebuttal）的拒稿或撤稿论文，以确保审稿人指出的不一致性在最终公开的 PDF 中依然存在。
2. LLM 辅助过滤：
   • 使用 Mistral Nemo 等模型对海量评审意见进行总结，筛选出提及“图文/表/公式不一致”的候选项。
3. 人工标注与验证：
   • 标注员通过定制工具验证评审意见，确认不一致性为事实性错误，并标注具体的文本和视觉区域（如裁剪图、行号）。
   • 最终构建出包含 384 个不一致性实例（来自 353 篇论文）的数据集，涵盖 15 种不一致类型（如图文不匹配、图内不一致等）。
4. 任务生成：
   • 基于验证后的不一致性，利用 LLM 生成三种多项选择题任务。
5. 人工复核：
   • 对生成的题目和干扰项进行人工修正，确保正确选项准确描述不一致性，干扰项具有迷惑性但逻辑合理。
6. 去偏（Debiasing）：
   • 创新点：引入结构化 JSON 格式的答案表示，替代传统的自然语言选项，以消除语言偏见。

3. 核心贡献

3.1 首个基于真实审稿的多模态不一致性基准

PRISMM-Bench 是首个利用真实同行评审中人类指出的不一致性构建的基准。它涵盖了从文本到图表、表格、公式的跨模态矛盾，真实反映了科学出版中的挑战。

3.2 三种递进式评估任务

基准设计了三个层级的任务，全面评估模型能力：

1. 不一致性识别（Identification）：检测并描述不一致性是什么。
2. 不一致性修正（Remedy）：提出解决不一致性的具体行动方案（如修改图表、更正文本）。
3. 不一致性配对（Pair Match）：在两个视觉元素（如图与图、表与表）之间识别冲突对，测试纯视觉推理能力。

3.3 基于 JSON 的语言去偏方法

针对 MCQ 评估中模型利用语言捷径（如选项长度、句式）的问题，提出将自然语言选项转换为结构化 JSON（Evidence-Claim 或 Target-Action 格式）。

• 原理：将答案转化为包含 attribute（属性）、claim（主张）、evidence（证据）或 action（行动）的结构化数据。
• 效果：显著降低了模型在无上下文情况下的准确率（从 ~57% 降至 ~34%），迫使模型依赖视觉证据而非语言模式。

3.4 大规模模型评估

对 21 个最先进的 LMM 进行了基准测试，包括开源大模型（如 GLM-4.5V, InternVL3）和闭源模型（如 Gemini 2.5 Pro, GPT-5）。

4. 实验结果与发现

4.1 模型性能整体低迷

• 准确率极低：即使是表现最好的闭源模型（GPT-5 High Reasoning），平均准确率也仅为 53.9%；最佳开源模型（GLM-4.5V 106B）为 42.5%。
• 结论：当前 LMM 在科学文档的跨模态推理和长上下文 grounding 方面仍存在巨大缺陷，尚未达到可靠科学助手的标准。

4.2 上下文与任务难度的影响

• 上下文范围：随着输入上下文从“聚焦（Focused）”扩展到“整页（Page）”和“全文（Document）”，模型性能显著下降，甚至接近随机猜测。这表明模型在处理长文档和抗干扰方面能力不足。
• 任务难度：修正（Remedy）任务的得分普遍低于识别（Ident）任务，说明提出解决方案比单纯发现问题更难。

4.3 推理能力（Chain-of-Thought）的关键作用

• 启用思维链（CoT）推理的模型（如 InternVL3.5）表现显著优于非推理版本，且性能可媲美参数量大数倍的模型。
• 推理过程帮助模型进行系统性排除、跨模态对齐和概念链接，从而识别细微错误。

4.4 人类与模型的对比

• 视觉依赖度：用户研究表明，人类在缺乏上下文时表现接近随机（27.5%），而模型在无上下文时仍能保持高准确率（>50%），证明模型过度依赖语言偏见。
• 去偏后的差距：引入 JSON 格式后，模型在无上下文时的性能大幅下降至人类水平附近，证实了结构化表示有效抑制了捷径。但在有上下文时，人类在视觉 grounding 上的表现仍优于模型。

5. 意义与展望

• 科学信任度：该基准揭示了当前 AI 在科学文献审查中的局限性，强调了在自动化科学辅助工具中提升多模态推理和事实核查能力的重要性。
• 评估范式革新：提出的 JSON 去偏方法为多项选择题评估提供了新的标准，有助于更公平地衡量模型的真实理解能力，而非语言拟合能力。
• 未来方向：研究指出需要改进推理架构以处理长文档，并探索更鲁棒的跨模态对齐机制。未来工作可扩展至其他学科领域及已发表的论文。

总结：PRISMM-Bench 通过引入真实世界的审稿数据和创新的去偏评估方法，揭示了当前多模态大模型在科学推理领域的显著短板，为推动构建可信赖的科学 AI 助手提供了重要的评估工具和方向指引。