💬 NLP

LLM Performance on a Real, Double-Marked GCSE Benchmark

本文介绍了一个包含双重评分的 GCSE 考试答卷的大型数据集，并证明了现成的大型语言模型在对包括手写数学和主观英语论文在内的多样化科目进行评分时，可以达到甚至超过人类考官的一致性，从而为自动评分提供了一种具有成本效益的解决方案。

原作者： Malachy Fox, Kavi Samra, Paul Jung

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Malachy Fox, Kavi Samra, Paul Jung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在主持一场规模宏大的学校考试，成千上万的学生交上了他们的答案。传统做法是需要两名人类教师阅读每一份试卷并给出评分。这既缓慢又昂贵，而且两位老师对于什么是“B”或“C”的理解有时也会存在分歧。

这篇论文提出了一个简单的问题：计算机（特别是大语言模型或“人工智能”）能否像人类教师一样胜任第二名老师的角色？

为了验证这一点，研究人员创建了一个巨大的“测试”。以下是他们所做的工作以及他们的发现，我将使用一些日常类比来进行说明。

1. “双重评分”实验厨房

研究人员收集了来自模拟考试（英国 16 岁全国统考的练习测试）的 32,534 份真实学生答案。

设置： 每一份答案都已经被两名不同的专家预先评分。这就像是在烹饪节目中，有两位评委同时品尝一道菜并写下分数。
多样性： 这些答案不仅仅是打字输入的文章。它们还包括凌乱的手写数学题、带有图表的题目、科学计算题以及创意写作。
目标： 他们想看看，如果给 AI 提供同样的问题和“标准答案”（评分标准），它给出的分数是否能像两位人类评委彼此之间的匹配程度那样，与人类评委的评分保持一致。

2. “味觉测试”结果

研究人员将这些问题输入到各种 AI 模型（如 GPT-5.5、Gemini 和 Claude）中，并使用了非常简单的指令：“这是问题、评分规则和学生的答案。请给我一个数字形式的分数。” 他们并没有要求 AI “深入思考”或进行复杂的推理；他们只是让它完成这项工作。

巨大的惊喜：
在几乎所有学科中，AI 不仅仅是做得“很好”。在许多情况下，AI 与人类评委的一致性甚至比两位人类评委彼此之间的一致性还要高。

类比： 想象两位人类评委品尝一块蛋糕。评委 A 给出了 7/10 分，评委 B 给出了 6/10 分。他们分歧了一分。现在，AI 品尝了同样的蛋糕。它给出了 6.5/10 分。AI 实际上正好处于中间位置，扮演了一个完美的“平局决胜者”。
数据：
- 英语作文： AI 是一个“超级评委”。它与人类共识的匹配程度甚至超过了人类彼此之间的匹配程度。
- 数学： 即便是面对凌乱的手写体和复杂的图表，AI 的表现也极其准确，几乎完美地匹配了人类的一致性。
- 科学： 情况相同。AI 与第二名人类教师一样可靠。

3. 规模并不总是决定因素

你可能会认为你需要最庞大、最昂贵、“最聪明”的 AI 来做这件事。论文指出：并非如此。

类比： 这就像尝试修理一个漏水的水龙头。你不需要一个带着 5,000 美元工具箱的高级管道工；一把标准的扳手通常就能完成工作。
发现： 小型、更便宜的 AI 模型表现得与那些庞大、昂贵的模型一样出色。事实上，对于某些任务，一款“预算型”模型的表现与“高端型”模型一样一致。

4. “性格”怪癖（偏差）

虽然 AI 在“与人类一致的程度”方面很准确，但某些 AI 存在“性格”偏差。

类比： 想象两位人类评委。一位是“严厉型老师”，总是给较低的分数；另一位是“亲和型老师”，总是给较高的分数。
发现： 一些 AI 模型天生比较“严厉”（给出的分数低于平均值），而另一些则比较“宽容”（给出的分数较高）。然而，一旦考虑到这种“性格”因素，它们的评分准确能力仍然非常出色。表现最好的模型是那些“中立”的模型——它们不会过度倾向于严厉或宽容。

5. “第二名老师”的成本

最后，论文研究了价格标签。

类比： 雇佣第二名人类教师来批改 1,000 份试卷是很昂贵的。使用 AI 则像是买一张电影票：只需花费几美元，而不是一百美元。
发现： 使用 AI 批改 1,000 份试卷的费用在 1 美元到 120 美元之间，具体取决于所使用的模型。由于较便宜的模型表现得与昂贵模型一样好，因此学校可以在获得可靠的“第二意见”的同时，节省一大笔费用。

核心结论

这篇论文证明了当今的 AI 已准备好成为学校考试中可靠的“第二名阅卷人”。它可以阅读凌乱的手写体，理解复杂的数学，并以一种往往优于人类之间一致性的水平来批改作文。它运行良好，成本低廉，而且并不需要最庞大、最昂贵的模型也能胜任这项工作。

这篇论文没有说的是：

它并未声称 AI 应该完全取代人类教师。
它并未说 AI 对每一种类型的考试题目都趋于完美（尽管它在测试的题目中表现得非常好）。
它并未讨论这将如何改变未来的学校，而仅是证明了在这些特定的测试条件下，该技术目前是有效的。

技术摘要：大语言模型（LLM）在真实、双重评分 GCSE 基准测试中的表现

问题陈述

学校和考试委员会面临着手动评估学生考试（特别是对于英国 GCSE 等高风险国家级考试，学生年龄约为 16 岁）的巨大工作量。虽然自动论文评分已从基于特征的系统演进到神经方法，但现有的基准测试往往缺乏现实世界考试的复杂性。大多数学校考试跨越多个学科，包含手写方程和图表，并且需要多模态处理。先前的研究表明，现成的大语言模型（LLMs）在处理这些多模态、杂乱的输入时往往表现不佳，并且在标准基准测试中历来难以达到特定任务系统的水平。本文旨在解决的核心问题是：在采用通用提示词且仅进行极少推理投入的情况下，商用大语言模型是否可以作为不同响应类型（打字文本、手写作业和图表）可靠的“第二阅卷人”，并与人类阅卷人的一致性进行比较。

方法论

作者引入了一个新的基准数据集，包含来自五个学科（英语语言、数学、生物、化学和物理）的 32,534 份双重评分的学生响应。

数据构成： 数据集既包括打字文本，也包括以笔画形式捕获的自由手写/绘图。约 15.3% 的总响应包含手写输入，其中数学比例最高（44.1%）。
地面真值（Ground Truth）： 每份答案都由两名合格的阅卷人根据公布的评分标准进行了独立评分。理科类采用了“高级（Higher）”等级。
评估协议：
- 提示词工程： 模型使用包含问题、评分标准和学生答案（包括手写内容的画布图像）的单一通用多模型提示词进行评估。指令被严格限制为输出一个包含单个整数分数的 JSON 对象。
- 推理投入： 模型在“最小推理投入”设置下运行，以模拟成本效益高、低延迟的场景。
- 指标： 一致性通过 二次加权 Kappa 系数（QWK） 进行衡量，该系数按每个问题的最大分值进行加权平均。该指标范围从 0（随机）到 1（完全一致）。
- 比较： 研究将 AI 与两名阅卷人之间的平均一致性（ $R_A$ ）与两名阅卷人之间自身的一致性（ $R_H$ ）进行比较。主要的成功指标是是否满足 $R_A \geq R_H$ 。
- 偏差分析： 对于英语论文，计算了符号评分偏差（预测分数减去共识均值），以评估评分是宽松还是严厉。
贡献：

首个公开的多学科手写基准： 这是第一个公开描述的、包含双重评分的 GCSE 响应基准，它涵盖了五个不同学科中的手写学生作品及打字文本。
现实世界的多模态评估： 不同于以往依赖“原生数字”文本的基准，该数据集测试了模型对全谱系考试输入的处理能力，包括复杂的数学手写脚本和图表。
成本效益分析： 本研究评估了模型成本（每 1,000 份试卷的列表价格）与评分一致性之间的权衡，挑战了“大型、昂贵模型是实现高质量自动评分所必需”的假设。

关键贡献

首个公开的多学科手写基准： 这是第一个公开描述的、包含双重评分的 GCSE 响应基准，它涵盖了五个不同学科中的手写学生作品及打字文本。
现实世界的多模态评估： 不同于以往依赖“原生数字”文本的基准，该数据集测试了模型对全谱系考试输入的处理能力，包括复杂的数学手写脚本和图表。
成本效益分析： 本研究评估了模型成本（每 1,000 份试卷的列表价格）与评分一致性之间的权衡，挑战了“大型、昂贵模型是实现高质量自动评分所必需”的假设。

结果

研究发现，现成的 LLM 可以实现与阅卷人相当、甚至在某些情况下超过两名人类阅卷人之间一致性的水平。

总体一致性： 在所有学科中，领先的模型与阅卷人共识的一致性程度高于阅卷人彼此之间的一致性。
- 英语语言： 顶尖模型（GPT-5.5）实现了 0.75 的 QWK，显著超过了阅卷人-阅卷人的一致性（ $R_H$ ）0.65（ $\Delta = +0.10$ ）。
- 数学： 尽管基准阅卷人一致性较高（0.84），但顶尖模型（Gemini 3.5 Flash）达到了 0.86（ $\Delta = +0.02$ ）。
- 科学类： 汇总后的科学学科显示，顶尖模型（Gemini 3.1 Pro）在阅卷人基准为 0.69 的情况下达到了 0.74（ $\Delta = +0.06$ ）。
模型规模与成本： 一致性与模型规模或成本没有强相关性。较小、较便宜的模型（如 Claude Haiku 4.5, Gemini 3.1 Flash Lite）表现与它们较大的同类模型相似，且通常能以极低的成本实现更好的性能。
论文评分中的偏差： 虽然一致性很高，但模型表现出不同的偏差程度。一些模型（如 GPT-5.5, Claude Opus 4.8）相对中立，而另一些模型（如 Gemma 4 26B, Claude Sonnet 4.6）则表现出评分偏严的倾向。
学科特定表现：
- 数学： Google 的 Gemini 模型在这一领域似乎比 OpenAI 的模型更符合 GCSE 评分标准。
- 科学： 模型普遍达到了阅卷人水平的一致性。

意义与主张

本文主张，当前的 LLM 在使用通用提示词且进行最小推理的情况下，已经足够可靠，可以胜任现实世界教育评估背景下的“第二阅卷人”角色。其意义在于证明了：

可靠性： 自动化系统可以在包括手写作业在内的复杂多模态任务中，达到或超过人类评分者之间的一致性。
成本效益： 高质量的自动评分并不需要最昂贵或最大的模型，这为减轻教师工作量提供了可行的路径。
泛化性： 该性能在不同学科和输入模态下均成立，表明“一刀切”的通用提示词方法在标准化测试中是有效的。

作者对其主张保持谦逊，指出该数据集源自模拟考试而非正式试卷，且评估仅限于最小推理设置。他们同时也承认，“阅卷人线”（ $R_H$ ）是基于仅有的两名评分者，这意味着该基准衡量的是相对于特定评分对的一致性，而非针对更广泛的评分人群。然而，结果表明，该技术已经足够成熟，能够提供具有成本效益的自动化评分解决方案。