💬 NLP

When Rubrics Change: Cross-Rubric Generalization for Critical Thinking Essay Scoring

本文介绍了一种用于自动作文评分的微调框架，该框架利用与评分标准无关的中间“特征”和目标作文监督来实现鲁棒的跨评分标准泛化，在对使用未见评分标准的作文进行评分时，其性能显著优于基准模型，并接近最先进模型的性能。

原作者： Nischal Ashok Kumar, Payu Wittawatolarn, Sana Kang, Marisa C. Peczuh, Blair Lehman, Ryan Baker, Caitlin Mills, Sherry Lachman, Ruochen Sun, Andrew Lan

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nischal Ashok Kumar, Payu Wittawatolarn, Sana Kang, Marisa C. Peczuh, Blair Lehman, Ryan Baker, Caitlin Mills, Sherry Lachman, Ruochen Sun, Andrew Lan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在批改作文的老师。通常，你会为每项作业准备一份特定的清单，或者说“评分标准”。如果作文是关于南北战争的，你的清单会要求检查日期和战役；如果作文是关于气候变化的，你的清单则会要求检查数据和成因。几十年来，计算机在批改作文方面已经做得相当出色，但它们通常只有在给予它们所学习过的“完全相同的清单”时才能表现良好。如果你突然要求它们根据一个全新的、从未见过的清单来批改作文，它们往往会感到困惑。

这篇论文探讨了“自动化作文评分”（Automated Essay Scoring, AES）领域中一个棘手的问题。你可以把 AES 理解为一个阅读学生文章并给出评分的“机器人老师”。这里的主要挑战是“泛化”（generalization）。这就像是教一个学生下棋，然后突然把一个围棋盘递给他们，并期望他们在没有重新学习规则的情况下就能掌握规则。在现实世界中，教师经常会改变他们的评分标准，以侧重于不同的技能，比如批判性思维或论证结构。问题在于：我们能否构建一个机器人，让它基于一套规则学习如何评分，然后能瞬间理解一套完全不同的新规则？这之所以重要，是因为创建新的评分清单既昂贵又耗时；如果计算机能够自动适应这些清单，就能为教师节省大量时间，并帮助学生更快地获得反馈。

论文的核心思想：作文的“通用翻译器”

马萨诸塞大学阿默斯特分校的研究人员及其同事决定测试一个智能计算机程序（具体来说是一个大语言模型，即 LLM）是否可以学习在一种规则下为作文评分，并随后成功地在另一套“未见过的”新规则下进行评分。他们将此称为“跨量表泛化”（cross-rubric generalization）。

为了解决这个问题，他们尝试了两种主要的技巧，就像是给机器人老师赋予了两种不同的超能力：

1. “通用翻译器”（特征）
他们并没有仅仅向机器人展示针对特定作文的特定清单，而是教会它寻找几乎存在于所有优秀论证中的六个“通用特征”，无论主题是什么。你可以把这些特征看作是优秀作文的“DNA”。无论作文是关于政治还是科学，一篇优秀的作文通常都具备：

观点明确性 (Claim Explicitness)： 中心论点是否清晰？
结构连贯性 (Structural Coherence)： 思想是否逻辑流利？
支持性证据 (Supporting Evidence)： 是否有事实作为支撑？
证据与观点的关联 (Evidence–Claim Linkage)： 作者是否解释了为什么这些事实很重要？
替代视角 (Alternative Perspectives)： 他们是否考虑了其他观点？
分析深度 (Analytical Depth)： 他们是否仅仅停留在描述层面，还是进行了更深入的分析？

研究人员先教机器人识别这六个“特征”。这就像是在要求学生烘焙特定的蛋糕之前，先教他们识别“优质原料”。即使食谱（量表）发生了变化，原料（特征）依然保持不变。

2. “练习赛”（监督）
第二个技巧是关于机器人得到了多少练习。他们测试了三种场景：

无标签（困难模式）： 机器人在旧规则下的旧作文上进行训练，然后被投入到没有任何帮助的新作文和新规则中。
伪标签（作弊条）： 机器人被允许在新的作文上进行练习，但在学习旧规则之前，它必须先用自己最好的猜测对这些作文进行预评分。
金标/标准标签（导师）： 机器人看到了由真人使用旧规则对新作文进行的评分，之后再接受新规则的测试。

他们的发现

结果就像是一场“取决于你给了多少帮助”的过山车。

当机器人在“困难模式”（无标签）下时：
这是最难的测试。机器人从未见过这些新作文，也从未见过这些新规则。在这种情况下，“通用翻译器”（特征）成为了救命稻草。当机器人被迫识别这六个通用特征时，其表现大幅提升。具体来说，其正确评分的能力（通过一个称为“宏观 F1 值”的指标衡量）比不使用特征的机器人提高了 5.0%。事实证明，当你没有任何线索时，了解优秀论证的“成分”有助于你猜对“配方”。

当机器人得到帮助时（监督）：
随着研究人员给予机器人更多的练习（要么让它自己猜测评分，要么向它展示人类的评分），机器人的整体表现变得更好。其中，“金标”（人类评分练习）带来的提升最大。然而，在这些较简单的模式中，“通用翻译器”技巧的效果并不明显。这就像是如果你已经有了完整的答案解析，你就不再需要如此严格地去记忆那些“成分”；你可以直接看答案。

巅峰对决：机器人 vs. 科技巨头
最后，他们让表现最好的机器人（即经过人类辅助训练并具备通用特征的那个）与 AI 界的“重量级选手”——GPT-5-mini 和 GPT-5（这些是需要付费使用的专有模型）进行了对决。

他们的定制化开源机器人比体积较小的 GPT-5-mini 在准确率上高出 2.1%。
它仅以 1.9% 的差距落后于庞大的 GPT-5。

这是一个巨大的突破，因为他们的机器人是开源的（可以免费使用和修改），并且可以在标准计算机上运行，而 GPT 模型则是昂贵的、封闭的系统。

总结

论文表明，如果你想让 AI 根据新主题和新规则来批改作文，你有两条路径。如果你没有任何额外的辅助数据，那么教 AI 识别优秀的“通用特征”是至关重要的。如果你能获得一些人类评分的练习数据，那会更有帮助。但最好的消息是，一个经过这些技巧训练的智能开源机器人，现在已经可以做得几乎像那些最昂贵的闭源 AI 模型一样出色。这是迈向未来的一步：在未来，教师可以随时更改他们的评分规则，而计算机只需顺应变化，随时准备提供帮助。

技术摘要：面向批判性思维论文评分的跨量表泛化研究

问题定义

自动化作文评分（AES）研究传统上侧重于跨提示词泛化（cross-prompt generalization），即模型在遵循一组恒定评分标准（量表/rubrics）的情况下，对来自未见提示词的论文进行评分。然而，现实世界的教育评估通常需要跨量表泛化（cross-rubric generalization）：即模型在由一组量表标注的论文上进行训练，并评估其在处理针对不同写作维度的、此前未见的量表时的能力。这在批判性思维评估中尤其具有挑战性，因为新的量表标准可能会随着时间推移而引入，且为这些新量表获取专家标注的成本极高。

核心挑战在于，模型必须泛化到新的评分标准，而这些标准中相关的文本证据、其解释方式以及对熟练程度（proficiency）的定义都与训练分布不同。本文将该任务定义为将论文映射到由自然语言量表定义的离散熟练度等级，其中模型在不相交的训练量表集 ( $\mathcal{R}_{train}$ ) 和论文集 ( $\mathcal{E}_{train}$ ) 上进行训练，但必须在未见的测试量表 ( $\mathcal{R}_{test}$ ) 下评估论文 ( $\mathcal{E}_{test}$ )。

方法论

作者提出了一种大语言模型（LLM）微调框架，通过两个主要组件来解决跨量表泛化问题：量表无关的中间表示（特征/traits）和目标论文监督策略。

1. 量表无关的特征表示

为了弥合特定量表与通用论文质量之间的差距，作者引入了一组基于论证和批判性思维理论的六个分析特征。这些特征作为一种共享的中间表示 ( $h(e)$ )，捕捉不同量表中反复出现的较低层级属性：

主张明确性 (Claim Explicitness)： 中心观点的清晰度。
结构连贯性 (Structural Coherence)： 思想的组织与连接。
支持性证据 (Supporting Evidence)： 例子与事实的使用。
证据-主张关联 (Evidence–Claim Linkage)： 解释证据如何支持主张。
替代视角 (Alternative Perspectives)： 对其他观点的考量。
分析深度 (Analytical Depth)： 超越描述性的推理。

这些特征被定义为固定的、量表无关的类别（例如：缺失/部分/强）。该框架探索了集成这些特征的四种配置方式：

仅输入 (Input-only)： 将特征值（以及可选的自然语言观察结果）附加到模型输入中。
仅输出 (Output-only)： 训练模型在预测最终量表标签的同时，共同预测特征值（及观察结果）。

2. 监督设置

研究调查了在训练期间论文标签的可获得性如何影响对未见量表的泛化能力，共考虑了三种不同的设置：

无标签 (No Labels, 最难)： 模型仅在 $\mathcal{E}_{train}$ 和 $\mathcal{R}_{train}$ 上进行训练。目标论文 ( $\mathcal{E}_{test}$ ) 在训练期间是不可见的。
伪标签 (Pseudo Labels)： 模型首先在“无标签”设置下进行训练，然后用于在已见量表 ( $\mathcal{R}_{train}$ ) 下为 $\mathcal{E}_{test}$ 生成伪标签。随后在这一增强数据集上训练一个新模型。
金标准标签 (Gold Labels)： 目标论文 ( $\mathcal{E}_{test}$ ) 在训练期间可用，但仅对应于已见量表 ( $\mathcal{R}_{train}$ ) 的人工标注标签。模型在 $\mathcal{E}_{test}$ 处于未见量表 ( $\mathcal{R}_{test}$ ) 的情况下进行评估。

3. 模型架构

作者使用条件文本生成方法微调了 Llama 3.1 8B Instruct。对于每一对“论文-量表”，模型会生成一段自然语言辩护（justification），随后给出量表标签。训练目标是最小化交叉熵损失。

关键结果

实验在包含 500 篇学生批判性思维论文（根据六个量表进行标注）的数据集上进行。结果突出了以下趋势：

特征与监督的影响

最难设置下的特征作用： 在无标签设置（无目标论文监督）中，引入特征显著提升了性能。具体而言，与不含特征的基准模型相比，“输出：特征值”配置将 Macro F1 提升了 5.0%（从 0.353 升至 0.403），准确率提升了 3.7%。预测特征作为输出比将其作为输入更为有效，这表明生成特征层级的抽象有助于促进结构化映射。
监督增加带来的收益递减： 随着监督程度的提高，特征带来的收益逐渐减小。在金标准标签设置中，基于特征的配置并未一致性地优于不含特征的基准模型，这表明直接对目标论文进行监督可以使模型更有效地学习量表无关的表示，而无需中间特征支架。
监督度的影响： 随着监督程度从“无标签”提升到“金标准标签”，性能持续提高。金标准标签设置带来了最强的增益，其 Macro F1 比无标签基准提高了 7.8%。伪标签提供了一个具有竞争力的、实用的替代方案，当无法获得金标准标签时非常有效。

与基准模型的比较

微调 vs. 零样本 (Zero-shot)： 微调开源 Llama 模型的效果显著优于相同模型的零样本提示。F1 分数从 0.222（零样本）增加到 0.353（微调基准），证明了在训练期间接触标签分布对于校准和序数对齐至关重要。
开源 vs. 商业模型： 表现最好的微调模型（金标准标签，无特征）实现了 0.431 的 Macro F1。这超过了商业模型 GPT-5-mini (0.410) 2.1%，且仅落后于更大的 GPT-5 (0.450) 1.9%。

意义与贡献

本文声称有三个主要贡献：

问题形式化： 它将跨量表泛化确立为 AES 中一个独特且关键的挑战，超越了标准的跨提示词设置，转而解决评分标准本身发生变化的场景。
系统性分析： 它对提高泛化能力的两种关键机制进行了系统性研究：量表无关的特征表示和目标论文监督。
实际效用： 结果表明，这些组件以互补的方式提升了泛化能力。特征在低监督设置（无标签）下尤为重要，而强监督则能使微调后的开源模型足以媲美基于提示的商业系统。

作者总结道，基于特征的中间结构和受控监督为基于量表的评估提供了一种可扩展、高性价比且保护隐私的替代方案，特别是在评分标准不断演进的教育环境中。他们指出，未来的工作应研究这些发现对其他数据集和写作领域的普适性，并探索更强的低监督学习技术。