技术摘要：REC-CBM

问题陈述

开放式评分对于实现公平和个性化的教育至关重要，但其仍具有劳动密集型和成本高昂的特点，因此需要自动化解决方案。尽管近期基于神经网络的系统和大型语言模型（LLM）已实现了较高的预测准确率，但它们作为“黑盒”运行。其评分过程和依据是不透明的，导致教育者难以验证其与评分标准的对齐情况、审计具体决策，或在判断存疑时进行干预。这种缺乏透明度的现象削弱了高风险教育情境下的信任度。

概念瓶颈模型（CBMs）通过将预测路由至人类可解释的概念，提供机制性透明度，从而提供了一个潜在的折中方案。然而，标准的 CBM 由于以下三个具体局限性，并不适用于开放式评分：

1. 共享潜在空间：它们假设所有概念都存在于共享空间中，无法捕捉关注回答不同方面的细粒度评分标准维度。
2. 序数语义：它们将概念分数视为无序类别，丢弃了评分标准标注中固有的自然排序信息。
3. 标注噪声：它们假设概念标签是可靠的，忽视了现实世界人工评分中固有的主观性、标注者分歧和歧义。

方法论：REC-CBM

作者提出了 REC-CBM（感知评分标准的误差校正概念瓶颈模型），这是一个旨在通过三个核心组件解决上述局限性的框架：

1. 感知评分标准的概念编码器

REC-CBM 不使用共享表示，而是采用 概念查询库（$Q = \{q_k\}$），其中每个可学习向量 $q_k$ 充当特定维度的检索查询。

• 机制：利用软注意力机制，模型聚合输入文本中特定与每个评分标准维度 $k$ 相关的标记表示。
• 输出：这生成了 distinct 的概念特定表示（$h_k$），随后通过线性分类器预测每个概念的序数分布（$\hat{p}_k$）。
• 损失：使用标准交叉熵损失（$\mathcal{L}_{con}$）来监督概念预测。

2. 序数成对概念校准

为了保留评分标准等级的排序结构，模型引入了 序数成对校准 目标。

• 机制：受 Bradley-Terry 模型启发，系统从预测分布中计算预期的序数分数（$\hat{c}_k$）。随后，它在批次内构建响应配对，其中一个响应的概念标注分数高于另一个。
• 损失：最小化逻辑排序损失（$\mathcal{L}_{rank}$），以确保预测分数尊重观察到的排序（$\hat{c}_i > \hat{c}_j$）。这比将等级视为无序类别更好地捕捉了评分量表的语义。

3. 潜在概念误差校正

认识到概念标注存在噪声，REC-CBM 在最终分数预测之前集成了 潜在误差校正模块。

• 模型：校准后的概念分数被视为潜在概念向量（$z$）的噪声观测值（$\tilde{s}$）。在 $z$ 上放置一个具有可学习精度矩阵（$\Omega$）的多变量高斯先验。
• 校正：模型计算闭式后验均值（$\mu_{post}$），作为去噪后的概念向量。该过程收缩估计噪声较高的概念，并利用评分标准维度之间的相关性（通过 $\Omega$ 中的非对角线条目）来共享统计强度。
• 训练：此阶段最小化任务损失（$\mathcal{L}_{task}$）、去噪对齐损失（$\mathcal{L}_{den}$）以保持校正后的概念接近归一化标注，以及稀疏惩罚（$\mathcal{L}_{spa}$）以防止过拟合依赖关系。

训练范式

REC-CBM 采用 两阶段训练 过程，以防止潜在头部扭曲可解释的瓶颈：

• 阶段 I：使用 $\mathcal{L}_{con}$ 和 $\mathcal{L}_{rank}$ 训练文本编码器、概念查询库和概念分类器。随后冻结这些组件。
• 阶段 II：在固定的概念输出之上，使用 $\mathcal{L}_{task}$、$\mathcal{L}_{den}$ 和 $\mathcal{L}_{spa}$ 训练潜在校正参数（$\Omega$、噪声方差）和任务分类器（$W$）。

主要贡献

1. 问题表述：本文通过透明决策来构建可信的开放式评分，将过程建立在人类可解释的概念之上，以支持教育者的检查和干预。
2. 数据资源：作者使用人机回环流程策划并标注了三个公开开放式评分基准（Mohler、ASAP 2.0、MOCHA），添加了与评分标准对齐的概念标签，创建了用于可解释教育评估的资源。
3. 方法论创新：REC-CBM 集成了感知评分标准的编码、序数成对校准和潜在误差校正，以解决标准 CBM 在评分情境中的具体缺陷。
4. 实证验证：大量实验表明，REC-CBM 在评分准确率方面优于最先进的黑盒模型和透明基线，同时提供了更忠实的概念级推理。

实验结果

作者在三个数据集（Mohler、ASAP 2.0、MOCHA）上使用五种骨干架构（BERT、BART、GPT-2、RoBERTa、T5-Base）评估了 REC-CBM。

• 性能：REC-CBM 在所有骨干架构和数据集中一致地实现了最高的任务准确率和任务 F1 分数。它达到或超过了强黑盒基线（例如微调后的 RoBERTa）的性能，同时保持了可解释性。
• 概念可靠性：与 Vanilla CBM 和其他透明基线（C3M、CT-CBM、CB-LLM）相比，REC-CBM 显著提高了概念级 F1 分数。
• 消融研究：移除任何单个组件（感知评分标准的编码器、序数校准或潜在误差校正）都会导致性能下降，证实了这些模块提供的是互补而非冗余的信号。感知评分标准的编码器被确定为最关键的组件。
• 人工干预：模拟干预表明，修改概念预测（例如，将“错误”标签更正为“神谕”标签）可预测地改变了最终分数，验证了模型的可操作性。相反，破坏证据会降低性能，证明了瓶颈的因果作用。
• 潜在去噪：对 learned 精度矩阵的分析显示，模型成功地将评分标准维度之间密集且嘈杂的经验相关性转化为稀疏、可解释的依赖结构，有效地解耦了相关概念。

意义与主张

本文主张 REC-CBM 提供了一种 实用且可解释的评分解决方案，推动了可信教育的发展。通过使教育者能够检查、验证和干预推理过程，该模型解决了当前 AI 评分系统的“黑盒”局限性。

作者强调，他们的工作不仅仅是提高准确率，而是确保评分过程是 机制上透明的。该框架允许：

• 检查：教育者可以查看哪些评分标准维度和特定的标记跨度促成了该分数。
• 干预：教育者可以覆盖特定的概念分数以观察最终分数如何变化，从而促进反馈循环。
• 信任：明确处理标注噪声和序数语义，确保解释具有鲁棒性并与预期的评分标准结构保持一致。

该工作得出结论，REC-CBM 是实现自动化评分系统的一条可行路径，这些系统既具有高性能，又符合透明度和问责制的教学需求。