💬 NLP

From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment

本文提出了一种结合 SHAP 归因与大语言模型生成理由的框架，用于评估基于评分量表的教学质量评分，研究发现虽然微调后的预训练语言模型实现了更高的准确率，但与大语言模型生成的理由相比，SHAP 提供了更具忠实性、连贯性且更具可迁移性的解释。

原作者： Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在批改一叠学生作文的老师。你有一个严格的检查清单（即“评分标准/量规”），用来决定作文中的反馈是好、是坏、还是处于中间水平。现在，想象你雇佣了两种不同的“AI助手”来帮你进行评分。

这篇论文是一份关于这两类AI助手表现如何的成绩单，更重要的是，它们在解释自己为什么给出某个分数时表现如何。

以下是使用简单类比对这项研究进行的拆解：

两大竞争者

研究人员测试了两类用于根据特定的“反馈质量”评分标准对课堂对话（转录文本）进行评分的AI模型。

“专业实习生”（微调后的PLMs）： 这些是标准的AI模型，经过了针对这一特定评分任务的数千个实例的专门训练。它们就像是一个背熟了教科书并练习过一百遍考试的学生。
“博学通才”（提示词驱动的LLMs）： 这些是庞大且强大的AI模型（比如你在网上聊天的那些），它们并没有针对这个特定任务进行过专门训练。研究人员只是给了它们一组指令（提示词），说：“这是评分标准，请根据它评分。”它们就像是一位从未见过这个特定考试、但被要求现场应考的博学专家。

第一项测试：谁能拿对分数？（评分）

研究人员问道：谁给出的分数更准确？

结果： **“专业实习生”**要准确得多。它给出的分数始终非常接近人类专家给出的分数。
陷阱： 这个实习生有一个奇怪的习惯，即表现得非常“保守”。它很少给出最高分（7分）或最低分（1分）。它倾向于把所有的分数都聚集在中间（3、4或5分）。它很准确，但有点乏味且规避风险。
“博学通才”： **“博学通才”**的整体准确性较低。然而，它更加“大胆”。它给出了更多样化的分数，包括极高和极低的分数，即便它并不总是正确的。

总结： 如果你想要一个最精确的数字，请使用经过训练的模型。如果你想要一个不害怕给出极端分数（即使会犯更多错误）的模型，请使用大型聊天机器人。

第二项测试：谁在说实话？（解释）

这是论文中最重要的部分。在教育领域，你不仅想要一个分数，你还想知道为什么。

**“专业实习的实习生”**使用了一种叫做 SHAP 的数学工具。你可以把 SHAP 想象成一名法务会计师。它逐句查看转录文本，并计算每一句话对最终得分的影响程度。它就像一个计算器，会说：“这句话增加了0.5分；那句话减去了0.2分。”
“博学通才”仅仅是在说话。它生成了一系列它认为重要的句子，用自然语言写了出来。它就像一个举手发言的学生说：“我觉得这部分很重要，因为……”

研究人员通过玩一场 “删除并观察” 的游戏来测试谁在说实话：

他们提取了AI所认为重要的句子。
他们从转录文本中删除了这些句子。
他们再次要求AI对空置的转录文本进行评分。

逻辑是： 如果AI真正理解了为什么给出某个分数，那么删除那些“重要”的句子应该会导致分数大幅下降或发生剧烈变化。如果AI只是在编造一个故事，那么删除这些句子对分数的影响应该不大。

结果： “专业实习生 (SHAP)” 是诚实的。当研究人员删除了SHAP标记的句子时，分数发生了很大变化。该AI显然是依赖这些特定句子来做出决策的。
结果： “博学通才 (LLM)” 经常在撒谎。当研究人员删除了LLM所认为重要的句子时，分数几乎没有变化。LLM生成了一个“听起来很有道理”的解释，但这些句子实际上并不是驱动其决策的因素。它就像一个学生在为自己为何值得拿A而发表一段精彩绝伦的演讲，但当你移除他引用的证据时，他的成绩其实并没有改变。

第三项测试：它们能交换笔记吗？（跨模型测试）

研究人员尝试看看这些解释是否具有通用性。

他们提取了“专业实习生”识别出的“重要句子”，并将其从“博学通才”的输入中删除。结果： 通才的分数发生了显著变化。实习生的数学逻辑在通才身上也同样奏效。
他们提取了“博学通才”识别出的“重要句子”，并将其从“专业实习生”的输入中删除。结果： 实习生的分数几乎没有变动。通才的“观点”对实习生来说毫无意义。

总结： 数学解释（SHAP）是一种普遍的真理，它在不同的AI大脑之间都适用。而聊天机器人的解释则是特定于那个聊天机器人的，在接受其他模型测试时无法站得住脚。

最终裁定

论文得出结论，虽然强大且博学的聊天机器人（LLMs）非常擅长生成听起来像是一个好解释的文本，但在像评价教师这样高风险的情况下，它们在解释为什么做出某个决定方面是不可靠的。

SHAP（数学）： 就像一扇透明的窗户。你可以清楚地看到哪些砖块支撑着墙壁。它是值得信赖且一致的。
LLM 的理由（聊天）： 像是魔术师的障眼法。它们看起来令人印象深刻且极具说服力，但如果你仔细观察（通过删除那些“重要”的部分），你会发现它们其实并没有承担起决策的重量。

简而言之： 如果你需要一个可靠的理由来为分数背书，请信任数学（SHAP），而不是聊天机器人的故事。聊天机器人擅长写作，但目前它还不是其自身决策的可靠证人。

技术摘要：从评分到解释

问题陈述

自动化评分模型正越来越多地被用于为复杂的语言表现（如课堂转录文本）分配基于量表的质量评分。然而，这些系统通常以“黑盒”形式运行，仅提供标量分数，而缺乏对其背后推理过程的洞察。这种透明度的缺失在涉及高风险的教育场景中尤为严重，因为利益相关者必须理解、信任并可能对自动化判断提出质疑。虽然大语言模型（LLMs）可以生成自由形式的理由，但近期的文献表明，这些解释可能具有说服力，却并不忠实于模型的实际决策过程。本文旨在解决的核心挑战是：确定哪些文本部分真正驱动了模型的量表评分，以及如何评估解释是否忠实地捕捉到了这些驱动因素。

研究方法

作者提出了一个用于基于量表评分的句子级可解释性的统一框架，该框架在 NCTE 语料库（包含 6,005 个经过标注的小学数学课堂转录片段）的 课堂评估系统（CLASS） 的 反馈质量（QoF） 维度上进行了实例化。

实验设置

本研究对比了两类模型家族：

微调后的预训练语言模型 (PLMs)： 包括 BERT、ALBERT、RoBERTa 和 DeBERTa（基础版和大型变体）。这些模型经过回归任务微调，用于预测 1–7 分的 QoF 分数。
指令微调的大语言模型 (LLMs)： 包括 Llama 3.1、Mixtral、Qwen 3 以及 Mistral 的各种变体。这些模型通过少样本提示（few-shot prompting）进行评分，并通过零样本提示（zero-shot prompting）进行句子排序。

可解释性与评估协议

该框架通过以下三种主要机制评估解释：

解释生成：
- SHAP (SHapley Additive exPlanations)： 在分层 PLM 架构的句子嵌入层面应用，以生成模型无关的特征归因。
- LLM 理由 (LLM Rationales)： 通过提示 LLM 对对给定分数最具影响力的前 10 个句子进行排序。
忠实度分析（基于删除法）： 系统逐步移除由解释方法识别出的前 $k$ 个（其中 $k=10$ ）句子，并重新运行评分模型。预测变化的幅度 ( $\Delta$ ) 作为忠实度的代理指标；变化越大，表明解释成功识别了具有影响力的文本。
跨模型评估： 使用一个模型家族生成的解释（例如来自 PLM 的 SHAP）来扰动另一个模型家族（例如 LLM）的输入，反之亦然。这测试了解释是否能在不同架构间稳健迁移，或者是否仅限于特定模型。
对齐指标： 计算 Jaccard 相似度和 Spearman 秩相关系数，以衡量 SHAP 与 LLM 在句子选择上的重叠程度。

核心贡献

通用框架： 一个原则性的句子级可解释性框架，结合了模型无关的 Shapley 值归因与 LLM 生成的理由，专门针对基于量表的评分进行了定制。
对比分析： 对专门微调的 PLMs 与提示驱动的 LLMs 在评分性能和解释忠实度方面的进行了系统性比较。
忠实度评估： 通过基于删除的测试对解释方法进行了实证评估，结果显示 SHAP 能够识别出可靠驱动预测的句子，而 LLM 的理由往往会导致较小且不连贯的变化。
跨模型一致性： 一种新颖的协议，证明了 SHAP 归因可以在不同架构间稳健迁移，而 LLM 的理由对其他模型的影响有限且不一致。
教育意义： 讨论了透明反馈工具的设计，警告不要在涉及高风险的场景中使用未经验证的 LLM 理由作为权威的辩解。

结果

评分性能 (RQ1)

PLMs： 微调后的 PLMs 在预测准确度上显著优于 LLMs。表现最好的 PLM (DeBERTaV3 large) 达到了 0.96 的平均绝对误差 (MAE)，与常数基准线相当。然而，微调后的 PLMs 表现出标签压缩 (label compression) 现象，很少预测极端分数（1 或 7），而是向中间值（3–5）塌陷。
LLMs： 提示驱动的 LLMs 表现出更高的误差率（最佳 MAE 为 Mistral Small 的 1.02），但其预测覆盖了完整的 1–7 分量程，比 PLMs 更好地保留了分数的变异性。

解释忠实度 (RQ2)

SHAP vs. LLMs： 基于删除的测试表明，由 SHAP 识别的句子产生的预测变化比 LLM 选择的句子更显著且更连贯。
对齐度： SHAP 与 LLM 句子选择之间的重叠度很低（平均 Jaccard 相似度为 0.085；平均 Spearman 相关系数为 0.062）。
稳定性： LLMs 表现出有限的可控性，经常无法返回请求的精确句子数量，且其理由即使应用于生成自身的模型时，也会产生较小且往往不稳定的预测变化。

跨模型迁移 (RQ3)

PLM 到 LLM： 移除由 SHAP（来自 PLM）识别的句子会导致 LLM 的预测发生显著且即时的偏移，这表明 SHAP 识别的是跨架构通用的特征。
LLM 到 PLM： 移除由 LLM 识别的句子对 PLM 产生的预测偏移远小于 SHAP 移除带来的偏移。LLM 的理由往往导致非单调的轨迹，表明它们并不能可靠地捕捉驱动 PLM 预测的特征。

重要性与主张

论文得出结论：与 LLM 生成的理由相比，SHAP 提供了更具忠实度和可迁移性的解释。虽然 LLMs 提供了开箱即用的易用性和更广泛的分数分布，但它们的解释往往不忠实于底层的计算过程，且无法在不同模型架构间实现良好的泛化。

作者断言，所提出的框架为评估高风险教育环境中的评分模型及其解释提供了原则性的基础。他们强调，在教师反馈等信任与可争辩性至关重要的场景中，依赖未经验证的 LLM 理由是危险的。相反，像 SHAP 这样模型无关的归因方法，为透明且具有行动力的自动化评估提供了更稳定的基础。这项工作并非声称 LLMs 在评分方面毫无用处，而是强调目前的理由在没有经过严格忠实度评估的情况下，不应被视为自动化判断的权威依据。