技术摘要：SciFigQual-Bench

问题陈述

现有的图像质量评估（IQA）范式主要针对自然照片或 AI 生成内容设计，依赖于低级统计特性或感知指标（如 PSNR、SSIM、NIQE）来评估孤立的视觉清晰度。这些方法无法解决科学图表的独特需求，因为科学图表的评估价值取决于其与完整学术手稿的集成。

目前的图表与图示基准测试受到以下几个因素的限制：

1. 孤立性： 它们通常将图表作为孤立的裁剪图像进行评估，使其脱离了标题（caption）和引用的段落。
2. 表面化关注： 它们优先考虑视觉表面比较或视觉问答（VQA）的准确性，而非整体质量评估。
3. 上下文缺失： 它们无法验证标题的一致性、引用的相关性，或视觉误导风险（例如，坐标轴截断、缺失基准线），而这些风险只能通过将图表与正文进行交叉比对来检测。

科学图表的质量本质上是三模态的，取决于视觉内容、图表标题以及稿件中引用段落所做的陈述。现有的单模态或松散耦合的方法无法有效评估这些相互依赖关系。

方法论

1. SciFigQual-Bench 数据集构建

作者提出了 SciFigQual-Bench，一个旨在评估处于完整手稿上下文中的科学图像的基准测试。

• 数据来源： 该数据集包含从 2020 年至 2025 年间发表的顶级计算机科学会议（ACL、EMNLP、ICML、NeurIPS）的 1,144 篇合格论文中提取的 7,609 个精选图表。
• 上下文绑定： 与以往的数据集不同，每个图表实例都严格与其来源 PDF 绑定。该流水线通过索引驱动的分辨机制（匹配 PDF 中的图表索引）提取图表图像 ($I$)、标题 ($c$) 以及正文中的特定引用段落 ($T$)。
• 标注： 6,308 个实例由多位领域专家在统一的 1–10 分制下进行独立评分，涵盖五个正交维度：
  1. 视觉清晰度 (VC)： 文本、标记和编码的可读性。
  2. 结构与布局 (SL)： 构图、面板组织以及避免“图表垃圾”（chartjunk）。
  3. 标题一致性 (CC)： 标题与可见内容之间的对齐程度。
  4. 上下文一致性 (CTX)： 引用文本中的陈述与图表所支持的内容之间的对齐程度。
  5. 误导风险 (MR)： 读者产生误解的可能性（例如，截断的坐标轴）。
• 门控机制： 为了避免因元数据缺失而导致的惩罚，该基准测试采用了 L1 证据门控策略。如果标题或引用文本缺失，则相应的维度（CC 或 CTX）被标记为 null 并从总分计算中排除。

2. SFQ-Agent：阶段式跨模态评估

为了实现能够模拟人类专家推理的自动化评估，作者引入了 SFQ-Agent，这是一个旨在实现可审计且基于证据的阶段式跨模态评判器。它通过将证据收集与融合分离，避免了单体视觉语言模型（VLM）的“黑盒”性质。

该智能体分为四个阶段运行：

• 第 0 步（门控）： 根据 $I$、$c$ 和 $T$ 的存在情况确定哪些维度是可评估的。
• 第 1 步（视觉证据）： 视觉模块（使用 PaddleOCR-VL 和经典 CV 描述符）提取视觉事实（文本区域、布局、坐标轴单位）以进行 VC 和 SL 评分。至关重要的是，语言模块在此阶段无法访问像素。
• 第 2 步（语言证据）： LLM 仅分析标题和引用文本（不输入像素）以提取文本陈述和规则违规情况，从而支持 CC 和 CTX 的评分。这防止了生成看似合理但并不真实的理由。
• 第 3（跨模态融合）： 评判器融合来自步骤 1 和步骤 2 的结构化证据，对 CC、CTX 和 MR 进行评分。它专门寻找冲突点（例如，图表显示上升趋势，而文本描述为退化）。
• 第 4（运行器）： 确定性后处理器将 VC 和 SL 分数锁定为视觉输出，应用基于规则的上限约束处理 MR，并汇总最终得分。

论文在固定的测试子集（eval1200）上评估了三种协议：

1. 直接模式 (Direct)： 单一的端到端 VLM 提示词。
2. 侧车模式 (Sidecar)： 单一提示词辅以 OCR/CV 侧边特征。
3. SFQ-Agent： 上述完整的阶段式流水线。

关键结果

实验在 eval1200（1,200 个分层实例）上使用 11 种最先进的 VLM 后端进行。

• 性能： 配备 GPT-5.6-Sol 的 SFQ-Agent 取得了最佳整体性能：
  • 平均绝对误差 (MAE)： 0.418（在所有配置中最低）。
  • ±1 范围内一致性 (Within-1 Consistency)： 93.4%（预测值在人类金标准标签 ±1 点范围内的最高比例）。
  • Spearman 相关系数： 0.598。
• 协议比较：
  • SFQ-Agent 在所有后端模型上均一致优于 Direct 和 Sidecar 协议。
  • Sidecar 协议（在单一提示词中添加 OCR 特征）相比 Direct 模式表现出小幅改进，尤其是在较弱的编码器上，但未能达到 Agent 的阶段式融合效果。
  • 结果表明，性能提升是由 协议–证据对齐（分离视觉验证与文本验证）驱动的，而非仅仅依靠模型规模。
• 失败分析：
  • 标题一致性 (CC) 和 上下文一致性 (CTX) 被确定为人类与模型之间产生分歧的主要维度。
  • 单体评判器经常混淆视觉感知与文本验证，导致产生虚假的理由。阶段式方法通过强制执行模态分离成功缓解了这一问题。
  • Qwen-VL-Max 在 Direct 模式下表现出校准度（W-1）与排序能力（Spearman）之间的显著差距，尽管通过阶段化处理有所改善，但在标题验证方面仍存在困难。

重要性与主张

论文提出了以下贡献与意义：

1. 首个全稿件基准： SciFigQual-Bench 是第一个将科学图表与其来源 PDF 中的标题及引用段落绑定的基准测试，实现了从孤立的视觉评估向基于证据、全上下文评估的转变。
2. 可审计的评估框架： 通过提出 SFQ-Agent，作者证明了对于科学任务而言，阶段式跨模态评估优于单体 VLM 提示词。该设计确保了每一个分数都能追溯到具体的证据（视觉事实或文本陈述），解决了 LLM-as-judge 范式中的“忠实度”问题。
3. 诊断能力： 该基准测试作为三模态科学素养的压力测试。它揭示了当前模型在验证图表与文本叙述陈述之间的一致性（CC 和 CTX）方面最为困难，而这一差距是现有的图表 QA 或文本 QA 基准测试未能共同解决的。
4. 实际应用价值： 该框架提供了一个可复现的测试平台，旨在将 AI 辅助的图表检查从简单的视觉 QA 提升为具备上下文感知能力的科学推理，这对于科学出版中的同行评审和质量控制至关重要。

作者将这项工作定位为并非解决所有科学图像问题的方案，而是迈向严谨、具备上下文感知能力的质量评估的重要一步，这种评估尊重了科学传播的三模态本质。