技术摘要：EduArt —— 用于评估大型语言模型艺术史知识的教育级基准测试

问题陈述

尽管大型语言模型（LLMs）在 MMLU 等通用基准测试中已达到天花板性能，但这些综合性度量指标无法揭示模型在特定学科中的行为。现有的以艺术为中心的评估存在两个主要局限性：(1) 它们过度依赖合成生成的问题，而非人类编写的教育材料；(2) 它们很少报告题项层面的心理测量特性，导致无法区分真正的知识差距、任务格式敏感性或题目构建质量不佳的问题。此外，目前的基准测试经常将视觉识别与视觉推理混为一谈，且单一格式的评估（尤其是多项选择题）可能会系统性地高估模型执行需要内容生成与处理任务的能力，而后者正是艺术史研究的核心。

方法论

作者引入了 EduArt，这是一个旨在评估跨多种问题格式和语言的艺术史知识及视觉推理能力的多模态基准测试。

数据集构建

该数据集包含 871 个由人类编写的问题，提取自两个具有教学意义的独特来源：

1. MyZanichelli（意大利语）： 668 个问题源自意大利中等教育使用的数字化练习平台，专门涵盖“文艺复兴时期绘画”（Pittura rinascimentale）。
2. AP 艺术史（英语）： 203 个问题源自 College Board 的高级课程（AP）考试（2013–2024 年）。

这些问题涵盖了 七种不同的格式：

• multiple_choice_radio（单选，只有一个正确答案）
• multiple_choice_check（多选，有多个正确答案）
• true_false（判断题）
• completion_closed（填空题，带有受限词库）
• completion_open（填空题，无限制）
• positioning（拖拽式，将正确的词放入文本中）
• select_errors（纠错题，识别文本中的错误词汇）

数据集包含 261 张与 436 个问题相关的不同图像。所有题目均受版权保护，公开仓库仅提供提取和评估流程的代码，而非原始数据。

评估框架

研究评估了来自六个供应商家族（OpenAI, Google, Anthropic, Qwen, Mistral, Meta）的十二个模型。评估在两种条件下进行：

1. 默认（仅回答）： 模型仅按严格的 JSON 模式返回答案。
2. 动机（Motivation）： 要求模型提供一段基于艺术史知识或视觉证据的 2–4 句书面论证。

性能通过特定格式的指标进行衡量（例如，单选多选题使用精确匹配，多选和纠错题使用 F1 分数，位置题使用元素准确率）。

心理测量分析

本研究应用 经典测试理论 (CTT) 来刻画该基准测试。关键指标包括：

• 难度 ($p$)： 模型答对题目的比例。
• 区分度 ($r_{pb}$)：题项表现与总分之间的点二系列相关系数，指示该题目区分强模型与弱模型的能力。

研究还采用了逻辑回归来分离问题格式、语言、图像存在与否以及模型身份对准确率的独立影响。

关键结果

1. 心理测量特性

EduArt 展示了强大的心理测量特性。在 831 个可估计题项中，平均区分度为 0.514，其中 82.3% 的题项被归类为“良好区分项”（$r_{pb} \geq 0.30$）。题目难度分布合理，从极易到极难不等，证实了该基准测试既非平庸，也非系统性地无法完成。

2. 格式饱和度与差异性

• 多项选择题饱和： 六个模型在 multiple_choice_radio 问题上的准确率超过了 94%，且置信区间重叠。这表明仅靠识别类格式不足以区分前沿模型，因为它们已经使这类任务类型趋于饱和。
• 格式敏感性： 模型性能在不同格式间差异巨大。在多选题上得分超过 94% 的模型，在 completion_open 任务上可能降至 23.9%（如 Claude Opus 4.6），甚至在 select_errors 任务上低至 6.2%（如 Claude Sonnet 4.6）。
• 排名不稳定性： 没有一个模型在所有七种格式中保持一致的排名。对于 12 个模型中的 10 个，其最佳格式与最差格式表现之间的差距超过了 50 个百分点。

3. 准确率的独立预测因子

逻辑回归分析显示：

• 问题格式： 与 multiple_choice_radio 相比，非多选题格式通常会导致更低的正确响应几率。Select_errors 是最难的格式（OR = 0.045），其次是 completion_closed（OR = 0.256）。
• 图像存在： 与直觉相反，在控制其他变量后，图像的存在与正确回答的概率呈负相关（OR = 0.765）。这表明对于这些模型而言，基于语言的知识比视觉处理驱动了更高的表现，而加入视觉信息会增加复杂性并降低准确率。
• 语言： 意大利语问题比英语问题更难（OR = 0.459），这可能是由于问题类型分布和素材来源的差异所致。

4. 动机条件

要求提供书面论证对准确率的影响呈现出依赖于模型家族的特征：

• Claude 模型在要求解释答案时，表现普遍提升或保持稳定。
• Gemini 和 GPT 模型的表现则普遍下降（例如，Gemini 3.1 Flash Lite Preview 下降了 12.8 个百分点）。
• 这种脱节表明，阐述推理的能力与选择正确答案的能力是截然不同的，强制进行结构化输出可能会干扰某些模型架构中的答案选择过程。

重要性与主张

论文声称 EduArt 为评估特定领域的多模态 LLM 提供了一个有效且非平凡的工具。其主要贡献在于：

1. 超越合成数据： 通过使用人类编写的教育材料，EduArt 避免了合成生成的陷阱，并提供了可验证的地面真值（ground truth）。
2. 揭示能力解离： 研究证明了艺术史知识（识别事实的能力）与部署该知识的能力（生成、放置或纠正内容）是两种不同的能力。在多项选择识别任务上的高表现并不预示着模型在开放式或纠错任务上的表现。
3. 对单一格式基准测试的批判： 作者认为，单一格式的基准测试（尤其是多选题）系统性地高估了模型能够可靠执行的任务范围。在艺术史领域，任务通常涉及产生和处理内容，而非从固定选项中进行选择，因此基于多选题的评估提供了一个过于乐观的假象。
4. 负责任应用的前提条件： 作者总结道，绘制这种细粒度的能力图谱是负责任地将多模态 LLM 应用于艺术史学术研究的前提。在将这些工具用于编目、属性鉴定或教学之前，必须明确了解模型究竟能可靠地处理哪些任务，因为学术工作很少表现为从一组固定选项中进行选择。