技术摘要：STABLEVAL

1. 问题陈述

人类评估仍然是评估现代 AI 系统的主要标准，但其深受标注者分歧、偏见和变异性的困扰。当前的评估流程主要依赖**多数投票（MV）**聚合，将多标注者的判断压缩为单一硬标签。作者认为，这种方法将分歧视为需要消除的噪声，从而丢弃了关于标注者可靠性和项目级模糊性的关键信息。

因此，基于多数投票得出的系统排名往往脆弱：标注者池构成的微小变化可能导致智能体得分和排名的显著波动。这种不稳定性削弱了 AI 评估的稳健性和可重复性，特别是在标注者行为异质或存在对抗性噪声的场景中。识别出的核心挑战不仅仅是恢复去噪后的真实标签，而是生成稳定且感知不确定性的系统比较，使其在现实的标注者变异性下保持一致。

2. 方法论：STABLEVAL 框架

本文介绍了STABLEVAL，这是一个分歧感知评估框架，旨在建模潜在的项目正确性和标注者特定的混淆模式。与旨在推断每个项目单一潜在标签的经典标签去噪方法（如 Dawid–Skene）不同，STABLEVAL 明确针对稳定的系统评估进行优化。

2.1 概率建模

该框架使用潜变量模型对评估问题进行建模：

• 潜在正确性（$z_i$）：每个项目 $i$ 都有一个未观测的正确性水平 $z_i \in \{0, \dots, K-1\}$，代表分级质量。
• 标注者行为：不假设标注者完全相同。每个标注者 $r$ 通过混淆矩阵 $\pi_r[c, o] = P(y_{ir} = o | z_i = c)$ 进行建模，该矩阵捕获在真实正确性为 $c$ 时报告标签 $o$ 的概率。这使得模型能够区分项目难度与标注者特定行为（如严格、宽容或系统性噪声）。
• 先验：在类别先验（$\mu$）和混淆矩阵上放置狄利克雷先验，以实现贝叶斯估计，并防止在低标注量情况下出现退化解。

2.2 后验推断与评分

STABLEVAL 利用**期望最大化（EM）**算法来估计潜在正确性和标注者可靠性参数。

• E 步：计算项目 $i$ 属于正确性水平 $c$ 的后验概率 $\gamma_{ic}$，该概率以所有观测到的标注和估计的可靠性为条件。
• 后验期望项目信用：STABLEVAL 不将 $\gamma_{ic}$ 压缩为硬标签（例如通过 $\arg\max$），而是保留完整的后验分布。项目的信用定义为期望正确性值：
  $$\text{credit}(i) = \sum_{c=0}^{K-1} \gamma_{ic} v(c)$$
  其中 $v(c)$ 是特定于任务的评分函数。该公式根据后验信念分配部分信用，保留了分级正确性和项目级模糊性。
• 智能体评分：智能体的得分是其评估项目的平均后验项目信用。不确定性通过自助法重采样进行量化，以生成置信区间。

2.3 排名稳定性的形式化

本文将排名稳定性形式化为一等目标。如果智能体排序在标注者随机子采样下保持一致，则该方法具有稳定性。

• 多数投票的不稳定性：作者证明（命题 1），当项目的标签取决于单票优势时，多数投票本质上是不稳定的；移除决定性标注者可能会翻转标签，导致排名波动。
• STABLEVAL 的渐近稳定性：作者证明（命题 2），在模型设定正确的情况下，随着项目数量增加，STABLEVAL 得分收敛到稳定值。由于 STABLEVAL 使用平滑的、可靠性加权的聚合而非离散阈值化，它减轻了由微小标注者扰动引起的排名不连续性。

3. 主要贡献

本文概述了四项主要贡献：

1. STABLEVAL 框架：引入一个分歧感知框架，生成校准的后验项目信用而非硬标签，实现分级且感知不确定性的评分。
2. 稳定性的形式化：将排名稳定性定义为正式评估标准，并进行理论分析，证明多数投票在标注者子采样下的固有不可靠性。
3. 目标的区分：阐明标签去噪（恢复真实标签）与评估稳定性是截然不同的目标；恢复潜在标签并不能保证稳健的系统排名。
4. 实证验证：在合成压力测试和真实世界基准测试中进行了广泛验证，表明与多数投票和 Dawid–Skene 相比，STABLEVAL 在标注者异质性和对抗性噪声下能产生更稳定且统计基础更坚实的排名。

4. 实验结果

作者在合成配置和四个真实世界数据集（MT-Bench、ConvAbuse、QAGS、MSLR）上评估了 STABLEVAL 与多数投票（MV）和 Dawid–Skene（DS）的表现。

4.1 合成压力测试

• 标签恢复与稳定性：DS 在潜在真实标签方面的均方误差（MSE）最低，这与其去噪目标一致。然而，低 MSE 并不能保证稳定的排名。
• 异质性与噪声：在对抗性条件下（高达 40% 的对抗性标注者）和异质的严格/宽容群体中，MV 表现出日益增加的得分误差和排名不稳定性。**后验期望信用（PEC）**在误差减少和排名一致性（Kendall's $\tau$）方面始终优于 MV。
• 困难项目：在智能体质量差距紧密或存在“困难”项目的情况下，离散的 MV 阈值化导致更剧烈的排名敏感性。在 MV 表现下降的场景中，PEC 保持了近乎完美的排名稳定性（Kendall's $\tau \approx 1.0$）。

4.2 真实世界基准测试

• 高分歧场景（MT-Bench）：MT-Bench 仅有 16.6% 的一致同意，显示出 MV 存在显著的不稳定性。PEC 在标注者子采样下产生了最稳定的排名，而 DS 处于中间水平。标注者诊断揭示了可靠性的显著差异，STABLEVAL 成功地对这种差异进行了建模。
• 高共识场景（ConvAbuse, QAGS）：在高一致性数据集（例如 ConvAbuse 中有 78.4% 的一致同意）中，所有方法都收敛到相同的排名和完美的稳定性。这表明当分歧极小时，STABLEVAL 不会引入不稳定性。
• 有限标注者场景（MSLR）：在小标注者设置中，所有方法都显示出增加的变异性。虽然在此特定受限情况下，MV 和 DS 的变异性略低于 PEC，但 PEC 提供了更丰富的项目级模糊性估计。

5. 意义与主张

本文主张，建模分歧对于稳健且可重复的 AI 评估至关重要，特别是在标注者变异性显著的情况下。

• 评估重构：该工作将稳定性重构为一等目标，区别于标签恢复。它认为，将不确定性压缩为硬标签会丢弃稳定比较所需的信号。
• 情境价值：作者谦逊地指出，STABLEVAL 的价值在高分歧场景（如毒性检测或复杂推理等主观任务）中最为显著。在高共识设置中，像多数投票这样更简单的方法可能就足够了，STABLEVAL 并未声称在所有情境下都具有普遍优越性。
• 实际影响：通过保留后验不确定性并建模标注者行为，STABLEVAL 为评估流程提供了原则性基础，使其对标注者池的具体构成不那么敏感。这对于安全评估、内容审核和医疗基准测试等高利害领域至关重要，因为在这些领域中，脆弱的排名可能导致次优的模型选择。

作者总结道，随着 AI 评估越来越依赖人类或基于模型的评判者，超越多数投票并显式地建模分歧和不确定性，对于实现稳健且可重复的系统比较是必要的。