技术摘要：Sci-ρ：一个用于 STEM 问题的多语言视觉对齐符号基准测试

问题陈述

当前用于评估大规模视觉语言模型（VLMs）在 STEM 领域能力的基准测试存在三个主要局限性：

1. 缺乏鲁棒性评估： 现有的基准测试大多依赖静态、单次的图像。它们无法区分那些真正进行视觉内容推理的模型，与那些通过匹配训练中看到的表面特征来获得成功的模型。问题的视觉呈现方式（例如特定的坐标或颜色）通常与其底层逻辑无关，然而目前的评估并未测试模型是否能解决具有不同视觉参数的逻辑等价变体。
2. 领域范围狭窄： 现有的研究工作过度集中在数学和物理领域，使得生物、化学和计算机科学在视觉对齐推理方面的探索相对匮乏，尽管这些领域有着截然不同的视觉需求（例如分子结构、生物图表）。
3. 单语言偏差： 评估几乎完全在英语中进行，这使得目前尚不清楚 VLM 的能力是否能迁移到大多数学习者和从业者实际接触的多语言环境中。

方法论：Sci-ρ 基准测试

为了解决这些差距，作者引入了 Sci-ρ (Science Rhobustness)，这是一个针对视觉对齐 STEM 问题的动态、符号化且多语言的基准测试。

数据集构建

该数据集由领域专家（包括科学奥林匹克奖牌获得者和高年级本科生）通过两个阶段构建而成：

1. 模板创建： 基于剑桥 IGCSE 和 A-Level 课程，在五个学科（数学、物理、化学、生物和计算机科学）中创建了 606 个高质量的问题模板。每个问题都实现为一个可执行的 Python 类。这些类通过改变以下变量来动态生成问题实例：
   • 数值： 改变文本或图像中的数字。
   • 视觉模式： 改变排列方式（例如物体位置）。
   • 几何形状： 修改维度或形态。
   • 配色方案： 改变解题颜色或物体色调。
   • 函数类型： 在线性、二次函数等之间切换。
     每个模板保证至少有 10 个不同的变体。
2. 翻译： 问题描述被翻译成另外六种语言（印尼语、中文、阿拉伯语、印地语、哈萨克语和斯瓦希里语），采用机器翻译并经过母语者的严格验证。质量控制包括设置“蜜罐”错误以确保翻译员的准确性。

最终数据集包含 42,420 个独特的题目实例（606 个模板 × 10 个变体 × 7 种语言），每个实例都配有标准答案和使用 LaTeX 编写的分步推理过程。

评估框架

作者使用六个指标评估了 17 个最先进的 VLM（包括 GPT-5.4、Gemini 2.5、Qwen3.5、Llama 4、InternVL 等）：

• 平均情况准确率 ($A_{avg}$)： 所有生成的变体中的平均准确率。
• 最差情况准确率 ($A_{wst}$)： 模型能够正确回答所有变体的题目模板比例。这衡量了连贯性。
• 步骤级指标： 用于推理步骤的召回率 ($R$)、精确率 ($P$) 和 F1 值 ($F$)，通过使用 LLM 裁判（GPT-5.4）将模型输出与标准答案进行对比来计算。
• 最差情况步骤 F1 ($F_{wst}$)： 给定模板下所有变体中的最小 F1 分数。
• 图像注意力比例 (IAR)： 一种机械性分析，测量 VLM 在生成过程中分配给图像 token 相对于文本 token 的相对注意力。

关键结果

1. 鲁棒性差距

在所有模型中，平均情况准确率与最差情况准确率之间存在显著差距。

• 前沿模型： 即便是像 GPT-5.4 和 Gemini 2.5 这样的顶尖模型，其最差情况准确率也比平均准确率下降了 10–28%。例如，GPT-5.4 在生物学领域的准确率从 72.2%（平均）降至 47.8%（最差情况）。
• 较小模型： 较小的开源权重模型表现出严重的性能退化。在生物学领域，像 InternVL3.5-4B 和 Molmo2-4B 这样的模型在最差情况条件下几乎崩溃，在某些变体下的准确率降至接近 0%。
• 架构敏感性： Qwen3.5-122B-A10B 模型（MoE 架构）显示出比其 27B 稠密版本显著更低的最差情况准确率，这表明参数量本身并不能保证鲁棒性。

2. 多语言性能

• 专有/大型模型： 大型专有模型（GPT-5.4, Gemini 2.5）和大型开源权重模型在不同语言之间表现出近乎零的性能退化，在非英语设置中保持了鲁棒性。
• 较小模型： 较小的开源权重模型在非英语语言中表现出明显的性能下降，特别是在斯瓦希里语等低资源语言中。这表明预训练语料库的表示形式严重影响了多语言鲁棒性。

3. 推理步骤分析

步骤级评估表明，推理脆弱性是一个普遍现象，而非仅限于较小的模型。

• 一致性： 平均 F1 分数与最差情况 F1 分数之间存在一致的差距。即使是 GPT-5.4，在最差情况下的 F1 分数也会下降 13–20 个点。
• 学科难度： 生物学在所有模型中都是最具挑战性的学科，其次是数学和计算机科学，这两者在步骤级一致性方面表现出最大的跌幅。

4. 机械性洞察（注意力头）

对 Qwen3-VL-8B-Instruct 模型注意力头的分析揭示了图像注意力比例 (IAR) 在跨语言上的巨大差异：

• 语言依赖性： 当使用中文提示时，模型对视觉上下文的依赖程度较低（最低 IAR）；而当使用哈萨克语和印地语提示时，依赖程度显著增加（最高 IAR）。
• 假设： 作者假设，较高的语言熟悉度允许模型更多地依赖文本输入，而较低的熟悉度则迫使模型进行补偿性的视觉输入依赖。

5. 失效模式

对 GPT-5.4 失效案例的人工检查识别出三种主要的错误类型：

1. 图像读取错误 (63.5%)： 未能提取准确的数值或误数物体。
2. 知识错误 (28.8%)： 逻辑推理错误、幻觉出不存在的信息或应用了错误的定理。
3. 计算错误 (7.7%)： 尽管逻辑正确，但出现了算术错误。

意义与主张

论文声称 Sci-ρ 是第一个用于视觉对齐 STEM 推理的符号化、多语言鲁棒性基准测试。其主要意义在于将评估范式从静态、单实例测试转向动态、基于变体的评估。

作者认为：

• 静态基准测试是不充分的： 它们无法区分真正的推理与表层模式匹配。平均情况与最差情况准确率之间的巨大差距暴露了当前 VLM 的脆弱性。
• 鲁棒性是一个关键指标： STEM 领域的真实能力要求在视觉和数值扰动下保持一致的表现，而目前的模型（即使是前沿模型）仍缺乏这种能力。
• 多语言鲁棒性取决于模型： 虽然大型模型在不同语言间具有良好的泛化能力，但较小的模型表现挣扎，这凸显了对更好多语言预训练或架构调整的需求。
• 视觉对齐是不一致的： 注意力分配在不同语言间的变化表明，VLM 并不会统一地整合视觉和文本信息，而是可能在熟悉时依赖文本，在不熟悉时依赖图像。

该研究得出结论，在静态基准测试之外评估 VLM，对于衡量其真实质量以及应对严谨 STEM 应用的准备程度至关重要。