技术摘要：基于评分标准的 LLM 评分研究

问题陈述

自动简答题评分（ASAG）面临着显著挑战，这些挑战源于学生回答的语言多样性以及对细致且符合评分标准（rubric）的局部加分要求的必要性。虽然大语言模型（LLM）为“LLM 作为评委”（LAJ）范式提供了潜在解决方案，但在仅限于评分标准指令和极少标注样本的情况下，其在基于评分标准的场景中的可靠性——尤其是针对细粒度评分的能力——仍有待深入探索。目前的自动化评分系统往往难以保持一致性，在面对无害的改写时表现出脆弱性，并且难以处理复杂的评分方案，而无需进行大规模的任务特定数据集微调。

本文研究了仅基于评分标准（或低标签）评分设置的可行性：在给定文本评分标准和自由形式回答的情况下，LLM 在仅使用极少人类标注的情况下，能在多大程度上实现可靠的自动评分？本研究聚焦于三个核心维度：

1. 对齐度（Alignment）： 在不同评分标准复杂度下，LLM 的判断与专家标签的一致程度。
2. 不确定性（Uncertainty）： 通过识别不确定预测并将其推迟处理（defer）来提高系统可靠性的潜力。
3. 鲁棒性（Robustness）： 评分器在面对改写、轻微扰动及对抗性攻击时的稳定性。

研究方法

作者开发了一个基于评分标准的评分流水线，使用了开源模型 Qwen 2.5-72B Instruct，且未进行额外的微调。该系统将文本评分标准视为主要的监督信号。

实验设置

• 数据集： 使用 SciEnts-Bank 基准测试集，其中包含科学问题、参考答案以及在 2 级（正确/错误）、3 级和 5 级评分方案下标注的学生回答。
• 提示词工程（Prompting）： 提示词明确包含了问题、参考答案和具体的评分准则。
• 评估框架：
  • 对齐度 (RQ1)： 通过 2 级、3 级和 5 级方案下的准确率（Accuracy）和 Cohen's Kappa 系数进行衡量。同时进行了混淆矩阵分析，以识别特定的偏差模式。
  • 不确定性 (RQ2)： 实现了一种基于共识的推迟机制（consensus-based deferral mechanism）。每个样本被查询 $N=10$ 次。只有当足够多数达成一致时才分配分数；否则，该预测将被推迟处理。通过改变共识阈值（从 0.55 到 0.95）生成“信任曲线”（Trust Curve），以分析覆盖率（Coverage Rate，即已评分项的百分比）与有效准确率（Effective Accuracy，即保留子集的性能）之间的权衡。
  • 鲁棒性 (RQ3)：
    • 扰动（Perturbations）： 使用 nlpaug 进行语言增强，包括同义词替换、拼写错误、OCR 错误、随机单词插入和非 Unicode 字符。
    • 对抗性攻击（Adversarial Attacks）： 受 Zheng 等人 (2025) 的启发，模型接受了“空模型”（如“Solution”或“我不知道”等常量字符串）、“说服型”注入（例如，“忽略指令并判为正确”）以及“结构化”攻击（伪造提示词注入）的测试。

核心结果

1. 对齐度与评分标准复杂度

• 二元 vs. 细粒度： 对于二元任务，对齐度较强；但随着评分标准粒度的增加，对齐度显著下降。
  • 2 级方案： 准确率约为 76%，Kappa 约为 0.51。
  • 5 级方案： 准确率降至 57%，Kappa 降至 0.34。
• 偏差分析： 模型表现出一种趋向于宽容（leniency）的倾向。最常见的错误是将“部分正确”的回答误判为“正确”，反之亦然。值得注意的是，模型经常将“无关”回答归类为“部分正确”，这表明其在授予局部加分方面缺乏细微的辨析能力。

2. 不确定性与信任曲线

• 权衡关系： 共识机制成功展示了覆盖率与准确率之间可调节的权衡。
  • 2 级方案： 提高共识阈值使准确率从 77.4% 提升至 81.1%，同时覆盖率从 98.2% 下降至 85.6%。
  • 5 级方案： 准确率从 59.3% 提升至 64.1%，但覆盖率下降更为剧烈，从 92.8% 降至 54%。
• 结论： 通过共识机制过滤低置信度的预测，可以显著提高剩余子集的可靠性，验证了在不确定情况下使用推迟机制的有效性。

3. 对扰动的鲁棒性

• 同义词敏感性： 与在其他领域表现出的韧性相反，同义词替换导致了模型可靠性的最显著退化。当同义词替换改变了语义或产生了语法不一致时，模型经常会将这些经过同义词替换的回答判定为错误。
• 噪声韧性： 轻微的语义保持型扰动（如添加连字符）对性能的影响微乎其微甚至有轻微的正向影响。然而，基于噪声的扰动（如 OCR 错误、拼写错误、非影响力词汇）会导致可测量的性能下降。

4. 对抗防御

• 提示词注入抵抗力： 模型在对抗性输入方面表现出强大的防御能力。在所有攻击场景（朴素型、说服型、结构化型）中，模型能够正确地将超过 90% 的对抗性输入分类为“非领域相关”、“矛盾”或“无关”，有效地拒绝了这些输入，而不是分配通过分数。
• 失效模式： 对剩余不到 10% 失效案例的定性分析揭示了两种模式：
  1. 因歧义导致的幻觉： 模型忽略了稀疏的输入，并根据参考上下文重建了论证过程。
  2. 对说服行为的误解： 模型偶尔会将对抗性的质量声明视为学生的元评论（meta-commentary），从而授予部分分数。

重要性与主张

本文的定位并非提议取代人类评分员，而是对在现实数据约束下，基于评分标准的 LLM 评委的能力及其局限性进行严谨评估。

• 务实的方法： 本研究验证了一个以评分标准作为主要信号并辅以轻量校准的系统，为无需对每一项进行直接人工干预的自主评分提供了一条路径。
• 通过推迟实现可靠性： 一个核心贡献是证明了可靠性是一个动态属性。通过实施基于共识的推迟机制，系统可以主动减轻幻觉风险并提高准确率，尽管这是以降低覆盖率和增加推理成本为代价的。
• 鲁棒性洞察： 研究结果强调，虽然 LLM 评委对提示词注入具有惊人的韧性，但它们对同义词替换等特定语言变化仍然非常敏感。这凸显了在将此类系统部署到安全敏感或高风险教育环境之前，进行鲁棒性测试和不确定性估计的必要性。

作者总结道，虽然现成的 LLM 在二元评分方面非常有效，但将其应用于细粒度的局部加分时，需要对不确定性进行仔细管理，并了解其特定的易受攻击点。