Evidence-Based AI Marking for Secondary Assessment: Alignment, Bias, and Confidence Analysis

想象这样一个世界：批改作文不再仅仅是老师在深夜里对着一叠纸张眯着眼睛苦读，而是由一个超级聪明的计算机助手来完成。这个被称为**自动作文评分（Automated Essay Scoring）的领域已经存在了几十年，试图将批改这项充满艺术感的繁琐工作转化为一种精准、快速的科学。这就像是一个机器人试图通过观察成千上万名玩家来学习游戏的规则。早期的机器人很笨拙，只会统计一些东西，比如作文有多长，或者用了多少个大词。但今天的机器人由大语言模型（LLMs）**驱动，它们更像是才华横溢的读者，能够理解文字背后的“故事”与“逻辑”。

然而，这里有一个陷阱。仅仅因为机器人会阅读，并不意味着它知道如何公平地评分。老师们担心偏见（机器人是太宽松还是太严厉？）、透明度（我们能否看到它为什么给出某个分数？）以及对齐（它的评分是否与人类教师的意见一致？）。如果机器人给了一个学生本该得 C 却得了 A 的分数，反之亦然，这可能会改变一个学生的未来。因此，核心问题不仅是“机器人能不能评分？”，而是“它的评分水平是否足以在真实的学校环境中获得信任？”

---

机器人评分实验

在这项研究中，一位名叫 Tom Bryden 的研究人员决定在一个高压力的环境下测试一个特定的 AI 机器人——澳大利亚的高中。他并没有要求机器人像“魔力 8 号球”那样只给出一个最终分数，而是强迫它遵守严格的规则：它必须扮演一名“盲审”的第二阅卷人（这意味着它不知道老师已经给出了什么分数），并且对于它给出的每一分，它都必须指出学生作品中的一个特定句子，并准确解释为什么这个句子赚取了这一分。这就像是要求机器人扮演一名侦探，在做出逮捕之前必须出示证据。

这个机器人被喂入了来自 13 个不同学科的 437 份真实学生作业，涵盖了从数学、物理到英语和现代史的广泛领域。目标是观察机器人的成绩是否与教师的成绩相匹配，它是否存在奇怪的习惯，以及它对自己答案的“信心”是否具有真实的意义。

研究结果：一个乐于助人、但略显慷慨的助手

以下是实验揭示的结果，按关键发现分类如下：

1. 机器人与老师：是好朋友，但不是双胞胎
机器人和人类教师在课堂的大致氛围上是一致的，但在具体数字上并不完全相同。研究发现两者之间存在中等程度的联系，相关系数为 0.51。用通俗的话说，如果老师给了一个学生高分，机器人通常也会给高分，但具体的数值往往会产生偏差。

• 精确匹配率： 机器人和老师给出完全相同总分的案例仅占 20.8%。
• 平均偏差： 平均而言，机器人的分数与老师的分数相差 2.96 分（相对于该任务的总分）。
• “误差”幅度： 当我们将误差大小相对于总分来看时，机器人的偏差为 13.24%。

2. “好心机器人”问题
一个非常有趣的发现是，这个机器人具有一种明显的性格特征：它是宽容的。它喜欢给予学生更多疑点利益。

• 当研究人员观察机器人得分与教师得分之间的差异时，分布明显向机器人给出更高分数的方向倾斜。
• 事实上，44.9% 的情况下，机器人的分数比老师高出 2 分或更多。
• 只有 14.2% 的情况下，机器人的评分比老师严厉（低 2 分或更多）。
• 这表明，如果你只是让机器人来处理所有评分，学生可能会得到比人类老师给出的略高的成绩。

3. 学科差异：数学 vs. 历史
机器人的表现并不在所有学科中都一样出色。它在需要深度、创造性解读的学科中表现得较为吃力，而在那些有清晰、循序渐进答案的学科中表现更好。

• 挣扎者： 在英语与文学延伸和普通数学等学科中，机器人与老师之间的平均差异相当大（分别约为总分的 18.57% 和 19.0%）。
• 佼佼者： 在高级数学和化学中，机器人与老师的表现非常接近，平均差异仅为 6.67% 和 6.91%。
• 这告诉我们，机器人擅长遵循严格的规则（如数学），但在规则更多关乎“感觉”和“论证”（如英语或历史）时会感到困惑。

4. 信心陷阱
机器人还告诉了研究人员它对评分的“信心”程度，分数范围从 0.80 到 1.00。你可能会认为，当机器人说“我 100% 确定！”时，意味着它一定是正确的。研究表明事实并非如此。

• 高信心并不意味着高准确度。事实上，当机器人非常自信（在 0.95 到 1.00 之间）时，它实际上比信心较低时更容易表现出宽容（给出更高的分数）。
• 研究人员发现，机器人的信心更像是衡量它眼中证据看起来有多清晰，而不是衡量其评分的正确性。这就像一名侦探，因为线索显而易见，所以对自己的理论非常笃定，即便这个理论本身是错误的。

5. “侦探”工作：证据与反馈
由于机器人必须展示其推导过程，研究人员可以检查其逻辑是否合理。

• 优点： 在物理、经济学和数学等学科中，机器人非常擅长寻找学生论文中的正确句子并解释其得分原因。它表现得像一个透明的侦探。
• 缺点： 在电影、电视与新媒体等学科中，机器人的反馈有时过于表面化。它可能不会分析电影场景的深层含义，而只是评论语法。
• 结论： 机器人展示证据的能力使其成为审核（检查教师是否公平）或提供草稿反馈的极佳工具，但它尚未准备好完全取代教师。

6. 速度与成本：廉价的超级计算机
最后，研究从实际层面考察了：这有多快，多便宜？

• 速度： 机器人处理整批 437 份论文仅用了约 5.8 小时（总处理时间为 20,929.35 秒），即每份论文平均约 47.89 秒。
• 成本： 评分全部 437 份论文的总成本仅为 4.23 美元。这大约相当于每份学生论文 0.01 美元。
• 这证明了使用 AI 辅助评分是非常廉价且快速的，这使得它成为学校作为“第二双眼睛”使用的非常有前景的工具。

总结

本文并不是说 AI 已经准备好接管教室并独立颁发文凭了。机器人目前还是有点过于慷慨，它在面对创意类学科时会感到困惑，而且它的“信心”并不能保证真理。

然而，这项研究提出了一个非常广阔的前景，即 AI 可以作为一名超高效的助手。想象一下，老师正在批改一堆论文，而 AI 能瞬间处理它们，为每一分标注证据，标记出它与老师意见不一致的地方，并生成一份反馈草稿。它不是最终的裁判，但它是一个极佳、廉价且透明的工具，可以帮助教师保持一致性并节省时间。机器人是一个优秀的“第二阅卷人”，但就目前而言，人类教师仍需掌握驾驶权。