技术摘要：通过多源特征实现命名实体识别的实体级事后可靠性校准

1. 问题定义

虽然预训练语言模型（PLMs）已推动命名实体识别（NER）在标准基准测试（如 CoNLL-2003）上的性能趋于饱和，但现有的评估协议很大程度上忽视了预测置信度的可靠性。在实际部署中，模型经常表现出“过度自信但错误”的现象，尤其是在分布偏移（如领域迁移/分布外/OOD）、词表外（OOV）标记以及噪声（拼写错误）等情况下。

目前的局限性包括：

• 粒度不匹配： 大多数校准方法在句子或标记（token）层面运行，未能解决单个实体预测更细粒度的可靠性问题。
• 信号受限： 现有的实体级校准方法（例如 Jagannatha 和 Yu, 2020）仅依赖于模型内部的概率得分，忽略了表示状态、类型语义和结构上下文等多源信息。
• 校准与检测之间的张力： 传统的校准方法可能会改善期望校准误差（ECE），但可能会无意中降低正确预测与错误预测之间的可分性，从而阻碍错误检测和选择性预测的能力。

本文旨在解决开发一种能够输出每个预测实体校准后的正确性概率的需求，且无需修改底层的 NER 主干网络，从而支持下游任务如错误检测、风险排序和预测拒绝。

2. 方法论

所提出的方法是一种事后可靠性校准框架。它将主干 NER 模型视为冻结的黑盒，将句级预测转换为独立的实体级样本，以训练一个轻量级的校准器。

2.1 实体级样本构建

主干模型生成一组预测实体 $\hat{E}$。每个实体被转换为一个带有二元监督标签的样本（对于与金标准实体严格精确匹配的情况，$y=1$；否则 $y=0$）。这实现了可靠性建模与原始 NER 目标的解耦。

2.2 五维多源特征系统

核心创新在于为每个预测实体提取一个特征向量 $\phi_i$，该向量由五个互补的维度组成：

1. 不确定性特征： 源自类别概率分布 $p(c|\hat{e}, x)$。
   • 最大类别概率 ($s_{max}$): 直接的置信度信号。
   • 预测熵 ($H$): 衡量分布的离散程度。
   • 边际值 ($M$): 前两个类别概率之间的差异，捕捉类间竞争。
2. 表示特征： 捕捉内部语义和边界状态。
   • 跨度表示 ($h_{span}$): 实体跨度内隐藏状态的平均池化。
   • 边界表示 ($h_{start}, h_{end}$): 起始和结束标记处的隐藏状态，对于检测边界偏移和截断至关重要。
3. 类型语义特征： 解决预测实体跨度与其类别之间的一致性问题。
   • 该方法并非使用显式的跨空间余弦相似度（这会引入度量偏差），而是直接将预测类型的语义向量 ($z_{c_{pred}}$)（通过预训练编码器编码）与其它特征进行拼接。
4. 结构特征： 反映实体固有难度的显式结构线索。
   • 包括实体长度、句子长度、相对位置，以及嵌套/不连续跨度的二元指示符。
   • 包括用于对复杂度进行离散化的跨度长度桶索引。
5. 邻域特征： 利用训练表示空间的局部结构。
   • 使用在训练跨度表示上构建的 FAISS 索引，检索 $k$ 个最近邻。
   • 特征包括：平均距离 ($\bar{d}_k$)、最小距离 ($d_{min}$)、正确邻居比例 ($\rho_{corr}$)、局部密度 ($dens$) 以及邻域内的标签熵 ($H_{knn}$)。

2.3 轻量级校准器

一个具有两个隐藏层的多层感知器（MLP）将拼接后的特征向量映射为一个标量正确性概率 $r(\hat{e}) \in (0, 1)$。

• 训练： 校准器完全在验证集的实体级样本上进行训练，使用带类别权重的二元交叉熵损失。
• 推理： 主干模型的参数和解码结果保持冻结；校准器作为一个非侵入式的后处理模块运行。

3. 核心贡献

1. 框架设计： 提出了一种实体级事后校准框架，该框架输出适用于下游可靠性任务（错误检测、风险排序、拒绝）的校准后正确性概率，且无需改变主干架构。
2. 特征工程： 设计了一个五维多源特征系统（不确定性、表示、类型语义、结构、邻域），并通过消融实验验证了各维度的独立性和互补性。
3. 面向部署的评估： 构建了一个涵盖分布内（ID）和分布偏移（OOD、OOV、拼写错误）场景的全面评估，使用了三个核心指标：
   • AUPRC： 错误检测能力（将正确实体排在错误实体之前）。
   • AURC： 选择性预测质量（风险与覆盖率之间的权衡）。
   • ECE： 概率校准质量（预测得分与经验准确率的一致性）。

4. 实验结果

实验在 CoNLL-2003、GENIA 和 OntoNotes 4.0 上进行。

4.1 分布内性能

• 错误检测： 在所有数据集上 AUPRC 均显著提升。在 CoNLL-2003 上，AUPRC 从 0.9490 上升至 0.9929。
• 选择性预测： AURC（风险-覆盖率）大幅下降，表明在相同覆盖率下风险更低。在 CoNLL-2003 上，AURC 从 0.0514 下降至 0.0095（降幅达 81.5%）。
• 校准： ECE 得到改善，CoNLL-2003 从 0.0648 下降至 0.0156。

4.2 分布偏移性能

该方法在分布偏移下表现出了鲁棒性：

• OOD（领域迁移）： 表现出最显著的改进，AUPRC 从 0.8291 增加到 0.9409。邻域特征在此处特别有效，为分布外实体提供了参考信号。
• OOV 与 拼写错误： 观察到了持续的改进，但在 OOV 场景下的增益略微保守，这是由于对于未见标记缺乏最近邻。

4.3 对比与消融

• 基准模型： 所提方法在 AUPRC 和 AURC 上显著优于 Platt Scaling 和 Temperature Scaling，尽管基准模型在某些情况下显示出略好的 ECE（因为它们专注于概率对齐）。
• 消融研究： 移除任何特征维度通常都会导致性能下降，尽管特定指标显示出细微的权衡。表示特征对 AUPRC 的提升最大（从 0.9502 升至 0.9890）。虽然“全量”（包含邻域特征）配置实现了最低的 ECE (0.0100)，但“全量（无邻域）”配置实际上实现了略高的 AUPRC (0.9922 vs. 0.9921) 和更低的 AURC (0.0102 vs. 0.0103)。这表明，虽然邻域特征显著提高了概率校准质量，但其在分布内场景中对错误检测排序的边际影响有限，但对于最小化 ECE 仍然至关重要。

5. 意义与主张

本文声称其主要意义在于将 NER 可靠性范式从“预测正确性”转向“估计可信度”。

• 风险控制： 校准后的得分能有效识别高风险预测。例如，在 CoNLL-2003 上，仅拒绝 2.9% 的预测（那些低校准得分的预测）就能使剩余集合的准确率提高到 94.76%，而拒绝的集合包含了 82.93% 的错误。
• 工程可行性： 不同于需要重训主干网络或重新设计复杂解码过程的方法，本方法是即插即用的。它仅需在验证数据上训练一个轻量级的 MLP，使其在实际部署中高度可行。
• 全面的可靠性： 该方法解决了校准与错误检测之间的张力，同时改善了概率对齐（ECE）和过滤错误的能力（AUPRC/AURC）。

作者总结道，该框架提供了一种稳健且非侵入式的机制，用于增强 NER 系统在存在分布偏移和噪声的开放世界环境中的实际适用性。建议未来的工作将其扩展到其他结构化预测任务（关系/事件抽取）以及生成式 NER 范式。