💬 NLP

Mitigating Bias in Automated Grading Systems for ESL Learners: A Contrastive Learning Approach

本研究通过采用匹配作文对的对比学习方法，解决了自动化作文评分中针对英语作为第二语言（ESL）学习者的算法偏见问题，在保持整体评分准确性的同时，成功将高水平得分差异降低了39.9%。

原作者： Kevin Fan, Eric Yun

发布于 2026-01-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Kevin Fan, Eric Yun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗易懂版解释。

问题所在：“带有偏见的严厉老师”

想象你有一个非常聪明的机器人老师，专门负责自动批改作文。这个机器人读过成千上万篇由英语母语者撰写的文章，并根据这些经验学习了什么是“好”的文章。

研究人员发现了一个问题：当这个机器人为英语作为第二语言（ESL）的学生批改作文时，它会感到困惑。即使一名 ESL 学生写出了一篇才华横溢、高质量的文章，机器人给出的分数通常也比一个写出同等质量文章的母语者要低。

为什么会发生这种情况？
机器人正在走“捷径”。它并没有去阅读故事的深层含义（语义），而是在观察表层的线索，比如句子长度或特定的语法模式。

类比： 想象一位法官认为：“如果一个句子又长又复杂，那一定是个错误。” 母语者通常会自然地写出长而复杂的句子，但 ESL 学生写长而复杂的句子，可能是因为他们正努力用第二语言表达复杂的想法。机器人看到了长度，便认为：“这看起来像是个错误”，从而降低了分数。这就像一位音乐评论家，因为爵士乐的音符不符合古典音乐的规则而讨厌它，尽管那段爵士乐本身非常优美。

发现：“分数天花板”

研究人员测试了一款顶尖的 AI 模型（DeBERTa），发现 ESL 学生存在一个特定的“天花板”。

如果一名母语者写了一篇完美的文章，机器人会给高分（例如 9/10）。
如果一名 ESL 学生写了一篇人类评价为同样完美的文章，机器人的评分上限却较低（例如 8/10）。
结果： 机器人系统性地低估了高水平的 ESL 作者，低估幅度约为 10%，尽管这些文章在客观上同样优秀。

解决方案：“孪生训练”法

为了解决这个问题，研究人员并没有只是简单地告诉机器人要“公平”。相反，他们通过一种称为**对比学习（Contrastive Learning）**的技术改变了训练方式。

类比：“孪生”练习
想象你正在训练一位新教练来评判运动员。

旧方法： 你向教练展示一名本土运动员，并说：“这是金牌。” 然后你展示一名 ESL 运动员，并说：“这是银牌。” 教练由此学到了“母语者 = 金牌”以及“ESL = 银牌”，而不管实际表现如何。
新方法（三元组策略）： 研究人员创建了一个特殊的训练集，其中包含三组文章（三元组）：
- 锚点（Anchor）： 一篇由母语者撰写、得分为 9 分的文章。
- 正样本（孪生兄弟/Positive）： 一篇人类也评定为 9 分的 ESL 文章。
- 负样本（不匹配项/Negative）： 一篇（无论是母语者还是 ESL 撰写）被评定为 5 分的文章。

机器人被迫学习一条特定的规则：“那篇母语文章和那篇 ESL 文章（孪生兄弟）在质量上必须看起来完全一样，因为它们的质量相同。而那篇不匹配的文章必须看起来截然不同。”

通过强制要求机器人将 ESL 文章和母语文章视为质量上的“孪生兄弟”，机器人学会了忽略“口音”（表层语法的特征），转而关注“灵魂”（写作的实际质量）。

结果：既公平又不失智能

经过这种新训练后，研究人员再次测试了机器人：

偏差减少： 母语者与 ESL 学生之间的评分差距从 10.3% 下降到了 6.2%。这意味着不公平程度降低了 40%。
准确度保持： 机器人并没有变“笨”。它与人类评分者的契合度（即 QWK 分数）仍保持在 76% 左右，这在处理此类工作时被认为是水平很高的。
变化之处： 机器人不再因为 ESL 学生使用复杂的句子结构而惩罚他们。它学会了：在 ESL 文章中，长而复杂的句子是努力与技巧的体现，而不是错误。

局限性（注意事项）

论文指出了一些需要注意的地方：

保守评分： 新的机器人变得稍微有些“谨慎”。与之前相比，它给所有人（包括母语者和 ESL 学生）的分数都略低。它缩小了群体间的差距，但绝对分数可能仍需进一步微调才能达到完美。
特定于此模型： 这种修复是在一种特定的 AI 类型（DeBERTa）和针对英语学习者进行的。如果要在其他语言或不同的 AI 模型上运行，可能需要重新训练。

总结

研究人员为 AI 评分员建立了一个“公平训练营”。通过向 AI 展示母语文章和 ESL 文章在质量上可以是“孪生兄弟”，他们教会了 AI 不要根据学生的“口音”（表层语法）来评判，而是根据其真正的思想来评判。结果是，这种评分系统对 ESL 学生更加公平，且没有丧失其准确评分的能力。

技术摘要：缓解自动化评分系统中针对 ESL 学习者的偏见

问题陈述
随着自动作文评分（AES）系统（特别是基于 BERT 和 DeBERTa 等 Transformer 架构的系统）被部署在具有高利害关系的教育场景中，这些系统表现出了对英语作为第二语言（ESL）学习者的显著算法偏见。本文指出，这些模型往往会进行“捷径学习”（shortcut learning），即依赖于表层语言启发式特征而非深层语义推理。具体而言，Transformer 的注意力头会过度关注特定的 L2 标记（例如介词误用、时态不一致），并将其作为低质量的代理指标。这导致了“受限评分效应”（constrained scoring effect），即即便是在人类评分质量完全相同的条件下，高水平的 ESL 作文也会比母语者作文被系统性地低估。作者对微调后的 DeBERTa-v3 模型进行的初步分析显示，尽管人类评分相当，但高水平 ESL 作文的得分比其对应的母语者作品低约 10.3%。

方法论
为了在不牺牲整体评分准确性的情况下解决这种表示差距，作者提出了一种领域特定的干预措施：基于匹配论文对的对比学习。

数据构建： 本研究利用了一个合并了 ASAP 2.0 数据集（包含母语者和 ESL 作文）和 ELLIPSE 数据集（ESL 特有）的统一基准测试。两类数据集的分数均被归一化至 [0, 1] 区间。
三元组构建： 该方法的核心在于通过算法生成“公平三元组” $(A, P, N)$ $(A, P, N)$ ：
- 锚点 (Anchor, A)： 一篇具有归一化分数 $S$ 的母语者作文。
- 正样本 (Positive, P)： 一篇人类评分与锚点处于极窄区间内（ $[S - 0.02, S + 0.02]$ ）的 ESL 作文。
- 负样本 (Negative, N)： 一篇（无论是母语者还是 ESL）分数与锚点显著不同（ $[S \pm 0.20]$ ）的作文。
  这种构建方式迫使模型将等质性的 ESL 和母语者作文视为“质量双胞胎”，在数学上要求它们的潜在嵌入（latent embeddings）彼此之间的距离，要比它们与不同质量作文之间的距离更近。
模型架构与训练：
- 基础模型： 使用微软的 DeBERTa-v3-base，通过低秩自适应（LoRA）进行微调，秩 $r=16$ 。
- 损失函数： 移除回归头，并使用**三元组边际损失（Triplet Margin Loss）**对骨干网络进行微调： $L = \max(0, d(A, P) - d(A, N) + \alpha)$ ，其中 $d$ 为欧几里得距离， $\alpha$ 为边际值。
- 超参数： 初步的消融实验确定了最优边际值 $\alpha = 1.0$ 。模型训练了 2 个 epoch，以在保留预训练知识的同时实现潜在空间的对齐。
- 评分： 对齐完成后，冻结骨干网络，并训练一个轻量级的线性回归头 5 个 epoch，将公平的嵌入映射回标量分数。

关键结果
所提方法在保持可接受的评分准确性的同时，显著降低了偏见：

偏见减少： 高水平作文的评分差异（差距）从基准模型的 10.3% 降至对比模型的 6.2%，代表偏见差距缩小了 39.9%。
准确性维持： 模型实现了 0.756 的二次加权 Kappa 值（QWK），仍高于教育评估中通常要求的“实质性一致”阈值 0.70。这表明模型在学习到更公平的表示的同时，并未导致嵌入空间坍缩或严重降低性能。
消融研究发现： 在 $\alpha = 2.0$ 的“激进”设置下，虽然偏见差距进一步缩小，但 QWK 出现了更明显的下降（0.718），这表明 $\alpha = 1.0$ 代表了公平性与准确性之间的最优帕累托前沿（Pareto frontier）。
语言学分析： 使用 spaCy 和 textstat 进行的后验分析显示，基准模型错误地惩罚了 ESL 写作中的句子复杂度，将有效的 L2 句法结构误判为错误。对比模型成功解构了句子复杂度与语法错误之间的关系，不再惩罚高水平 L2 写作中常见的风格特征。

意义与主张
本文声称，传统 AES 中公平性与准确性之间的权衡可能并不像此前假设的那样严重。通过利用匹配的三元组对，作者证明了对比学习可以有效地针对质量的特定潜在表示进行处理，而不是依赖于往往会降低模型性能的广泛对抗技术或数据增强。

研究结论认为，该方法为缓解编码器模型中的人口统计学偏见提供了一个可行的框架。然而，作者对立即部署持谨慎态度，指出目前的模型对两类群体都存在系统性的低分倾向（表明其采用了一种更为保守的评分策略），且模型需要重新训练才能泛化到其他人口统计特征或架构（如 RoBERTa、ELECTRA）。未来的工作拟探索分数重校准技术和多任务学习，以进一步精细化平衡公平性与绝对准确性。