💬 NLP

Enhancing Automated Essay Scoring With Three Techniques: Two-Stage Fine-Tuning, Score Alignment, and Self-Training

本文提出了一种通过将两阶段微调、分数对齐和不确定性感知自训练这三种关键技术集成到 DualBERT 模型中，从而在有限数据和全量数据设置下提升自动作文评分性能的新颖方法，并在包括 ASAP++ 在内的多个数据集上取得了最先进的结果。

原作者： Hongseok Choi, Serynn Kim, Wencke Liermann, Jin Seong, Jin-Xia Huang

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongseok Choi, Serynn Kim, Wencke Liermann, Jin Seong, Jin-Xia Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个疲惫不堪的老师每周不得不批改数百篇作文的世界。这是一项巨大的工作，而且要做到公平公正需要时间和精力。为了提供帮助，科学家们开发了“自动作文评分”（Automated Essay Scoring, AES）系统——这些程序可以阅读学生的文章并给出评分，就像人类一样。把这些程序想象成数字助教。长期以来，这些助教就像是聪明但笨拙的机器人；它们需要阅读数以千计的范例才能变得擅长评分。如果老师只有几篇作文要改，机器人就会感到困惑并给出错误的评分。这是一个大问题，因为在现实世界中，老师通常并没有成千上万篇作文来训练计算机；他们手里往往只有自己班级的一叠纸。

挑战在于，教计算机理解写作是非常困难的。这不仅仅是关于统计词数或检查语法；它关乎对思想流向、语调和结构的理解。虽然已经存在庞大且强大的AI模型（比如那些能写故事或与你聊天的模型），但除非给予海量的数据，否则它们在处理这项特定任务时往往表现挣扎。因此，研究人员面临的一个大问题是：我们如何让一个即使在没见过多少例子的情况下，也能聪明且公平的计算机评分器？

这篇论文介绍了一种巧妙的新方法来训练这些数字评分器，特别是在学习样本非常少的情况下。研究人员使用了一个名为 DualBERT 的模型（它像是一个既能理解单个句子又能理解整篇文章的聪明读者），开发了三种特殊的技巧来提升性能。

首先，他们使用了一种叫做**带有 LoRA 的两阶段微调（Two-Stage Fine-Tuning with LoRA）**的方法。想象一下，你正在教一个已经掌握英语基础的学生。与其让他们从头开始重新学习所有内容，不如给你一些特殊的“荧光笔”（LoRA），让其能够专注于特定的、棘手的任务部分，而不会破坏他们已经掌握的知识。研究人员让模型使用这些“笔”进行两轮练习，尝试不同的方式来权衡不同作文特质（如内容与组织结构）的重要性，直到找到完美的平衡点。

其次，他们引入了分数对齐（Score Alignment）。有时，即使是聪明的评分器也会因为紧张而表现得过于保守。如果一个学生写了一篇完美的文章，计算机可能会因为害怕给出满分而给出一个 9.8 分（总分 10 分）。如果文章很糟糕，它可能会给 0.2 分而不是 0 分。这种技术就像是一个“校准工具”。研究人员观察计算机对一小组练习性文章的评分情况，看看它在哪里表现得过于胆怯或过于大胆，然后应用一个简单的数学调整来修正实际测试中的分数。这就像调音，确保每一个音符都能达到正确的音高。

第三，他们使用了基于不确定性的自我训练（Uncertainty-Aware Self-Training）。这是指计算机在尚未被评分的文章上进行练习。计算机阅读这些未评分的文章并给出一个“虚拟”分数。但关键在于，如果计算机对自己给出的分数感到不确定（即“不确定性”较高），它就会丢弃那篇文章。它只保留那些它感到有把握的文章，将其作为额外的练习材料。通过这种方式，计算机可以在不误学自身错误的前提下，从更多的例子中学习。

当研究人员将这三种技巧结合在一起，并在一个名为 ASAP++ 的数据集上进行测试时，结果令人印象深刻。在计算机仅有 32 篇作文可供学习（极少量数据）的情景下，这种新方法显著提高了评分准确度。它的表现达到了经过约 1,000 篇作文训练的模型性能水平的 91.2%。简单来说，凭借极少的数据和这三个聪明技巧，计算机的表现几乎可以媲美读过整个图书馆规模文章的模型。

更有趣的是，当计算机拥有充足的数据（“全数据”设置）时，仅靠“分数对齐”这一技巧就帮助它打破了所有纪录，取得了新的最佳成绩。研究人员还在其他包含不同类型作文的数据集上进行了测试，发现这些技巧同样有效，这表明这些方法具有鲁棒性，而不仅仅是针对某一个特定测试的偶然现象。

论文指出，这些技术是模块化的，这意味着它们可以与其他系统混合搭配使用。然而，作者也谨慎地指出，尽管结果很强，但仍面临局限性。例如，“自我训练”方法需要大量的未评分文章才能发挥作用，而这在某些学校可能并不总是能实现。此外，“两阶段”方法在最初训练计算机时会多花一点时间，但在随后的实际评分过程中并不会减慢速度。

最终，这项研究表明，我们并不总是需要海量的数据来构建优秀的 AI 工具。通过使用智能策略来微调模型、校准分数以及仔细筛选练习材料，我们可以创造出可靠的自动化评分器，即使在数据匮乏的情况下也是如此。这让我们离拥有为各地教师提供帮助、公平且高效的数字助教又近了一步。

技术摘要：通过三种技术增强自动化作文评分

问题陈述
自动化作文评分（Automated Essay Scoring, AES）对于实现规模化教育至关重要，但在实际部署中面临重大障碍，主要是由于标注数据的极端匮乏。构建 AES 数据集不仅耗时耗力、成本高昂，且容易出现评分者之间的一致性问题。虽然大语言模型（LLMs）在各种自然语言处理（NLP）任务中取得了成功，但其在 AES 领域的表现仍然不尽如人意（二次加权 Kappa [QWK] 约为 0.5–0.6），不及特定任务的深度学习模型，且其计算需求为应用落地带来了障碍。此外，现有的深度学习方法在仅有少量标注论文的低资源设置下往往表现不佳。

方法论
作者提出了一种创新的方法，通过在基准模型 DualBERT（能够捕捉词间和句间语义）上集成三种关键技术，来增强 AES 在有限数据和全量数据设置下的性能。

结合低秩自适应（LoRA）的两阶段微调：
- 第一阶段： 在标注数据集上对基础 DualBERT 模型进行微调。
- 第二阶段： 在冻结的基础模型中插入 LoRA 层。作者引入了一种策略，用于对各种特定特征（trait-specific）的损失权重配置进行搜索。该方法并非为每种权重组合都训练独立的模型，而是仅针对每种配置训练适配器层（LoRA）。通过选择在开发集上表现最佳的配置，该方法能够高效地捕捉细粒度特征并适应特定的特征要求。
分数对齐（Score Alignment, SA）：
- 这是一种无需训练的后处理技术，旨在纠正预测分数与真实分数之间的分布偏差。微调后的模型往往无法预测极端分数（例如，预测 0.95 而不是 1.0）。
- SA 根据在留出开发集中观察到的真实分数与预测分数之间的差异，对测试集的预测结果进行线性变换。具体而言，它计算开发集中最高和最低 $p\%$ 分数的平均差异，并利用这些差异来调整测试集预测值的最小和最大边界，从而确保预测分布与真实分布更加一致。
不确定性感知自训练（Uncertainty-Aware Self-Training, UST）：
- 旨在利用未标注数据（这类数据比标注数据更容易获取），UST 通过估计未评分论文预测结果的不确定性来进行工作。
- 不确定性是通过蒙特卡洛 Dropout（多次重复 Dropout 过程）获得的预测标准差来衡量的。
- 样本根据预测分数的量级被划分为不同的区间（bins）。从每个区间中，选择具有最低不确定性的固定数量样本作为伪标签数据。这种过滤机制减轻了标签噪声的传播。随后，将扩充后的数据集（原始标注数据 + 选出的伪标签数据）用于重新训练模型。

核心贡献

创新集成： 本文将两阶段微调、分数对齐和 UST 集成到一个模块化框架中。这使得这些技术可以结合使用或独立应用，以解决互补性的瓶颈问题：模型适配、输出校准和数据增强。
分数对齐的创新性： 作者证明了分数对齐在有限数据和全量数据设置下均能持续提升性能。当与 LoRA 结合时，DualBERT 模型在全量数据设置下达到了新的最先进水平（SOTA），超越了现有的 AES 方法。
低资源有效性： 研究提供了充分的证据，表明在仅使用 32 个样本进行提示（prompt）的情况下，集成方法显著提升了性能，达到了全量数据性能的 91.2%。

实验结果
实验在 ASAP++ 数据集上进行，并在 TOEFL11 和 ELLIPSE 上测试了泛化能力。

全量数据设置 (ASAP++): 将 LoRA 和分数对齐与 DualBERT 集成，实现了新的 SOTA 结果，超越了 ArTS+RMTS 和 SaMRL 等现有方法。相比基准 DualBERT，QWK 在单项特征（per-trait）上提升了 0.011，在单提示（per-prompt）上提升了 0.008；其中全集成方案（LoRA+SA）达到了 0.714（单项特征）和 0.732（单提示）。虽然单独使用分数对齐的表现与最佳监督基准模型持平，但其与 LoRA 的结合产生了最佳的整体效果。
有限数据设置 (32-data): 在 32 个样本的设置下，集成方法（LoRA+SA+UST）比基础 DualBERT 的 QWK 分别提升了 4.6 点（单项特征）和 5.4 点（单提示）。最终得分达到 0.639（单项特征），达到了全量数据性能的 91.2%。
与 LLM 的比较： 在低资源设置下，该方法在 ASAP++ 上的表现优于少样本 LLM 基准（如 Llama-3.1-8B-Instruct），且所需的计算资源和参数量显著减少。
泛化能力： 在 TOEFL11 和 ELLIPSE 上，分数对齐和 UST 均一致地提升了相对于基准模型的性能，尽管 LoRA 在多提示设置下由于在同质化特征集上的过拟合，表现出边际效应或负面影响。

意义与主张
本文声称，其方法有效地解决了 AES 中的数据稀缺挑战，而无需依赖大规模 LLM。其意义在于所提技术的模块化，这允许进行增量式的性能提升。作者强调，分数对齐特别鲁棒，无论数据量多少都能提供持续的收益。集成方法证明，即使在存在严重标签稀缺（如 32 个样本）的情况下，也能实现高质量的 AES。研究结论认为，这些技术为在标注数据成为瓶颈的现实教育场景中部署稳健的 AES 系统，提供了一条实用且高效的路径。

类似论文