💬 NLP

CHiL(L)Grader: Calibrated Human-in-the-Loop Short-Answer Grading

该论文提出了 CHiL(L)Grader 框架，通过结合校准置信度估计与人类在环工作流，使大语言模型能够自动处理高置信度评分并将不确定案例路由给人工，从而在确保高利害教育评估安全性的同时实现持续学习与适应。

原作者： Pranav Raikote, Korbinian Randl, Ioanna Miliou, Athanasios Lakes, Panagiotis Papapetrou

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Pranav Raikote, Korbinian Randl, Ioanna Miliou, Athanasios Lakes, Panagiotis Papapetrou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 CHiL(L)Grader 的新系统。简单来说，它是一个**“懂得何时该自己干活，何时该喊老师帮忙”的智能助教**，专门用来批改学生的简答题。

为了让你更容易理解，我们可以把现在的教育批改场景想象成一家繁忙的“自动阅卷工厂”。

1. 现在的困境：过度自信的“机器阅卷员”

想象一下，你雇佣了一个刚毕业、充满自信但经验不足的机器人阅卷员。

它的优点：速度极快，能瞬间读完成千上万份试卷。
它的缺点：它太自信了！哪怕它完全答错了，它也会拍着胸脯说：“我 100% 确定这个答案是 3 分！”
后果：如果老师完全信任它，就会给很多错误的分数，导致学生要么被冤枉，要么被“放水”。而且，一旦考试题目变了（比如从考数学变成了考物理），这个机器人就会因为“水土不服”而表现得很差。

2. CHiL(L)Grader 的解决方案：聪明的“守门员”

CHiL(L)Grader 给这个机器人装上了一个**“自我怀疑”的开关和一个“人类导师”的后备系统**。它的核心逻辑可以用三个步骤来概括：

第一步：给机器人戴上“冷静眼镜”（校准置信度）

原来的机器人总是盲目自信。CHiL(L)Grader 先给它做了一次“心理按摩”（技术叫温度缩放）。

比喻：就像给一个总是大喊“我全对！”的运动员戴上耳机，让他学会说：“嗯，这道题我有 80% 把握，但还有 20% 不确定。”
效果：现在，机器人给出的分数旁边，会附带一个**“靠谱程度”的百分比**。如果它说“我有 90% 把握”，那它大概率是对的；如果它说“只有 40% 把握”，那它可能是在瞎蒙。

第二步：设立“自动通道”和“人工通道”（选择性预测）

这是最精彩的部分。系统不再让机器人批改所有试卷，而是设立了两条流水线：

🟢 绿色通道（高置信度）：当机器人说“我有 90% 把握，这题给 4 分”时，系统直接自动通过，不需要老师看。这大大节省了老师的时间。
🔴 红色通道（低置信度）：当机器人说“哎呀，我只敢给 3 分，但我心里没底（40% 把握）”时，系统会立刻拦截，把这份试卷扔给人类老师去批改。
比喻：就像机场安检。机器人负责快速放行那些看起来完全没问题的乘客（自动批改），但把那些神色慌张、行李可疑的乘客（不确定的答案）交给安检员（老师）进行人工检查。

第三步：向老师“偷师学艺”（持续学习）

当老师批改了那些被拦截的“红色通道”试卷后，系统不会把老师的工作做完就扔在一边。

比喻：系统会像学生一样，拿着老师的正确答案，回头去复习（微调模型）。
关键点：它不会只学这一道题，还会把以前学过的老题目（回放缓冲）拿出来一起复习，防止“学了新东西忘了旧东西”（灾难性遗忘）。
结果：经过几轮这样的“老师批改 -> 系统学习”循环，机器人变得越来越聪明，下次遇到类似的难题，它自己就能搞定，不需要再麻烦老师了。

3. 这个系统有多厉害？

论文在三个不同的数据集（数据挖掘、小学科学、工程类）上做了测试，结果非常棒：

自动化率高：它能自动批改 35% 到 65% 的试卷，而且这些自动批改的分数和专家老师判的一样准（质量很高）。
越用越聪明：随着老师不断纠正它的错误，它能适应新的考试题目和评分标准。
安全可控：它不会乱改分数，因为它知道什么时候自己“搞不定”，会乖乖把难题交给老师。

总结

CHiL(L)Grader 就像是一个**“懂得认怂”的智能助教**。
它不再试图扮演全知全能的神，而是诚实地告诉老师：“这部分我会，您放心让我干；那部分我不确定，请您出手。”

通过这种人机协作的模式，既保留了 AI 的速度，又保留了人类老师的智慧和判断力，让大规模的教育评估变得既高效又公平。

1. 研究背景与问题定义 (Problem)

随着在线教育和高教规模的扩大，教师面临巨大的评分压力。虽然大型语言模型（LLM）在自动简答题评分（ASAG）中表现出色，但在高风险教育场景中直接部署全自动系统存在两个核心挑战：

过度自信 (Overconfidence)：指令微调（Instruction-tuned）的 LLM 往往对其预测结果表现出系统性的过度自信，即使预测错误，也会给出极高的置信度分数。这导致教师无法判断何时可以信任模型，何时需要人工介入。
分布偏移下的性能退化 (Distribution Shift)：当课程内容、评分标准（Rubric）或学生回答模式发生变化时，模型的性能会显著下降。静态训练好的模型难以适应不断演变的评分环境，且容易发生“灾难性遗忘”。

核心目标：构建一个既能自动化处理高置信度样本，又能将不确定样本路由给人工评分，并能通过持续学习适应新环境的**校准人机协同（Calibrated Human-in-the-Loop, HiL）**框架。

2. 方法论 (Methodology)

论文提出了 CHiL(L)Grader 框架，其核心架构包含四个关键阶段，形成一个闭环系统（如图 1 和图 2 所示）：

2.1 指令微调 (Instruction-Tuning)

使用文本到文本的 LLM（如 Qwen-2.5-7B）进行指令微调，使其能够严格遵循评分标准（Rubric）。
将评分任务形式化为序列到序列（Seq2Seq）的生成问题，输出结构化的 JSON 字符串（包含预测分数和最大分值）。

2.2 后验校准 (Post-hoc Calibration)

问题：微调后的模型原始置信度不可靠。
解决方案：采用温度缩放 (Temperature Scaling) 技术。
- 在推理阶段，对模型输出的 Logits 向量应用一个可学习的温度参数 $T$ 。
- 通过最小化期望校准误差 (Expected Calibration Error, ECE) 来寻找最优温度 $T^*$ 。
- 这使得输出的置信度分数能真实反映预测的不确定性，而非仅仅反映模型的“自信程度”。

2.3 基于置信度的选择性预测 (Confidence-based Selective Prediction)

设定一个置信度阈值 $\tau$ 。
高置信度 ( $\hat{c} \ge \tau$ )：模型自动接受预测结果，无需人工干预。
低置信度 ( $\hat{c} < \tau$ )：模型拒绝预测，将样本路由给人工评分者（Teacher Review）。
这种机制确保了自动化仅应用于模型确信且可靠的案例，从而在减少人工工作量的同时保证评分质量。

2.4 持续学习与回放增强 (Continual Learning with Replay)

人机协同循环：人工对低置信度样本的修正（Corrected Grades）被收集起来，作为高质量的监督信号。
防止灾难性遗忘：为了在适应新数据（新题目、新评分标准）时不遗忘旧知识，框架引入了回放缓冲区 (Replay Buffer)。
- 从历史训练数据中检索与当前被拒样本相似的样本。
- 将“人工修正样本”与“历史回放样本”混合，仅对 LoRA (Low-Rank Adaptation) 适配器进行微调，保持基座模型权重不变。
动态重校准：每次微调后，重新在当前的接受样本上校准温度参数 $T^*$ ，确保置信度门控依然有效。

3. 主要贡献 (Key Contributions)

首创框架：提出了首个将置信度校准、基于置信度的选择性预测和**原则性的人机延迟（Human Deferral）**统一整合的 ASAG 框架。
解决过度自信：通过基于 ECE 的温度缩放，显著降低了模型的校准误差，使置信度分数成为可靠的决策依据。
适应分布偏移：证明了基于 HiL 的持续学习机制能有效应对评分标准和题目类型的变化，防止性能随时间退化。
专家级性能：在三个不同领域的数据集上，系统能够自动以专家级质量（QWK $\ge$ 0.80）处理 35% - 65% 的学生回答，其余低置信度案例路由给人工。
可复现性：开源了代码、模型配置和评估脚本。

4. 实验结果 (Results)

作者在三个数据集上进行了评估：DAMI（数据挖掘，多评分尺度）、SciEntsBank（小学科学，完全未见题目）、EngSAF（工程，3 点量表）。

校准效果：
- 在 DAMI 数据集上，温度缩放将 ECE 降低了 65%（从 0.270 降至 0.094），使模型进入良好校准区间（ECE < 0.1）。
- 不同数据集需要不同的温度参数（如 DAMI 需 $T < 1$ 锐化，EngSAF 需 $T > 1$ 平滑），证明了校准的必要性。
人机协同性能 (HiL Adaptation)：
- DAMI：经过一轮修正循环，自动接受部分的 QWK 从 0.458 提升至 0.882（超过专家级阈值 0.80），自动化覆盖率达到 35.1%。
- 路由有效性：被接受样本的 QWK 为 0.882，而被拒绝（路由给人工）的样本 QWK 仅为 0.535，两者差距达 +0.347。这证明置信度门控能准确区分可信与不可信案例。
- SciEntsBank：在完全未见题目（UQ）的严苛条件下，经过三轮迭代，QWK 从 0.436 提升至 0.715，展示了模型适应新题型的能力。
消融实验：
- 移除回放缓冲区（Replay Buffer）会导致灾难性遗忘，QWK 暴跌至 0.025。
- 阈值 $\tau$ 的选择至关重要：较高的 $\tau$ 保证质量但降低覆盖率，较低的 $\tau$ 提高覆盖率但可能引入更多错误。

5. 意义与结论 (Significance & Conclusion)

可靠性：CHiL(L)Grader 证明了不确定性量化（Uncertainty Quantification）是实现可靠 AI 辅助评分的关键。没有校准的置信度会导致高风险的自动化决策。
实用性：该框架提供了一种实用的部署方案，既利用了 LLM 处理大量数据的效率，又通过“人在回路”机制保留了人类专家对边缘案例和不确定情况的控制权。
适应性：通过持续学习，系统能够随着课程和评分标准的演变而自我进化，解决了传统静态模型在动态教育环境中的局限性。
未来方向：包括在真实考试环境中评估、研究多教师工作流以及扩展到多模态回答（如图表、代码）的评分。

总结：CHiL(L)Grader 不仅仅是一个评分模型，而是一个自适应的、可信赖的评分生态系统。它通过校准置信度来建立信任，通过选择性预测来优化效率，通过持续学习来确保持续的准确性，为大规模教育评估中的 AI 应用树立了新的标杆。