技术摘要：用于可靠无标签分类器评估的奇异模型选择

1. 问题陈述

本文探讨了机器学习分类器可靠无标签评估中的关键问题。在无法获得地面真值标签（Ground-truth labels）的情景下（例如由于成本、不可靠性或使用大语言模型作为评价者），性能通常通过**潜在类别模型（Latent Class Models, LCMs）**进行估计。这些模型通过仅基于评价者之间的共识模式，来推断不完美评价者的准确性和潜在类别的流行率。

识别出的核心问题是，标准的模型选择标准——特别是赤池信息准则（AIC）和贝叶斯信息准则（BIC）——在处理此类任务时在渐近意义上是无效的。LCMs 在构造上属于奇异模型（Singular Models）：

• 当潜在类别具有相似的响应特征时（这在弱信号或低流行率机制中很常见），费舍尔信息矩阵（Fisher information matrix）会变得退化。
• 最大似然估计（MLE）的集合不是一个孤立的点，而是一条曲线或一个曲面。
• 因此，对 BIC 的经典辩护（假设模型是正则的，且具有非退化的费舍尔信息，并带有 $d/2$ 的惩罚项，其中 $d$ 是参数数量）失效了。
• 使用欧几里得参数计数（$d/2$）会导致系统性的欠选择（Under-selection）。在实践中，这会将真实的多元类别结构坍缩为一个单类别，使得报告的灵敏度、特异度和流行率变得无法解释（坍缩为边缘基率）。

2. 方法论

作者建议使用源自**奇异学习理论（Singular Learning Theory, SLT）**的方法来替代标准准则，该理论考虑了模型的几何退化性。

理论框架

• 实对数正则性阈值（Real Log-canonical Threshold, RLCT）： 对于奇异模型，边际似然的渐近行为受学习系数 $\lambda$（其中 $\lambda \le d/2$）而非 $d/2$ 控制。对数边际似然的行为遵循 $\hat{\ell} - \lambda \log n + (m-1)\log \log n$。
• 提出的准则：
  1. 奇异 BIC (sBIC)： 由 Drton 和 Plummer 提出，该准则用从模型几何结构中导出的学习系数 $\lambda$ 的界限来替换 $d/2$ 惩罚项。它在嵌套模型的偏序集上求解一个不动点方程。
  2. 广义适用 BIC (WBIC)： 由 Watanabe 提出，该方法通过在逆温度 $\beta = 1/\log n$ 下的温控后验进行热力学积分，直接估计自由能（对数边际似然），而无需闭式解形式的 $\lambda$。

实验设计

本研究通过以下方式验证这些方法：

• 模拟实验： 通过改变信号强度 ($s$)、样本量 ($n$)、流行率 ($\eta$) 和测试/评价者数量 ($p$) 进行全面的模拟研究。地面真值包括 $K^*=1$（反向检查）和 $K^*=2$（主要分支），并扩展到 $K^*=3$ 以及条件依赖情况。
• 现实应用：
  1. 临床应用： 重新分析了一个包含 118 张组织学切片的数据集，由 7 名病理学家进行分级（无金标准）。
  2. 众包机器学习： 分析了 "Bluebirds" 数据集（108 张图像，39 名评价者），其中金标准标签仅存在于外部验证中，不用于拟合。
• 验证：
  • 热力学积分 (TI)： 直接计算自由能，以验证有效学习系数确实低于 $d/2$。
  • 反向检查： 确保准则在真值为单类别时不会过度选择。
  • 实现： 一个经过验证的、可复现的 Python 引擎，并与 poLCA 和 sBIC 包进行了对比。

3. 关键结果

模拟表现

• BIC 失效： 在弱信号和低流行率机制下，标准 BIC 会系统性地欠选择，高概率地将真实的二类别结构坍缩为单类别（例如，在低信号下 $\Psi_{BIC} \le 0.02$）。
• sBIC 与 WBIC 的恢复能力： 奇异准则在 BIC 失效的广泛过渡带内能够恢复正确的结构（$K=2$）。例如，在 $s=0.30, n=400$ 时，sBIC 的正确选择率为 0.81，而 BIC 仅为 0.21。
• AIC 对比： 虽然 AIC 避免了欠选择，但它面临严重的过度选择（Over-selection）问题，即会凭空创造出伪类（例如，当 $K^*=2$ 时选择了 $K=3$），且这种现象会随样本量增加而加剧。
• 机制： 这种恢复优势并非通用的统计功效提升，而是对惩罚项的精确修正。经验性的切换点与理论上的位置一致，即累积信息 ($nD$) 达到特定惩罚项（$\lambda \log n$ vs. $d/2 \log n$）的位置。
• 条件依赖： 文中指出一个关键区别：选择类别数量是一个奇异问题（sBIC 有所帮助），但建模条件依赖是一个正则扩展。如果未对依赖关系建模，奇异惩罚可能会导致过度选择（将依赖关系吸收进一个伪类中）。因此，推荐的工作流是先对依赖关系建模，然后再使用奇异准则选择 $K$。

现实应用

• 癌细胞分级： 在全数据集 ($n=118$) 上，所有准则均一致认为 $K=3$。然而，在子采样实验（较小的 $n$）中，当 $n=80$ 时，BIC 在 75% 的情况下欠选择为 $K=2$，而 sBIC 在 97% 的情况下恢复了 $K=3$。$K=3$ 模型揭示了一个具有临床意义的“不一致”层级，而 BIC 的 $K=2$ 模型将其合并到了两极。
• 众包数据： 无论评价者数量多少，BIC 始终选择 $K=2$。随着评价者数量的增加，sBIC 和 WBIC 能够恢复额外的结构（最高达 $K=4$），从而分离出一个经由外部金标准验证的“争议”层级。

4. 核心贡献

1. 使奇异性具象化： 本文证明了无标签评估本质上是一个奇异模型选择问题，并且在筛查和弱信号的操作机制下，标准准则（BIC/AIC）在理论上是不合理的。
2. 恢复可靠性： 研究表明，使用奇异准则（sBIC, WBIC）可以防止潜在结构的“坍缩”，从而确保报告的性能指标（灵敏度、特异度）具有可解释性，而非仅仅是合并模型的产物。
3. 定量机制： 研究提供了一个定量的解释，将经验性的恢复边界映射到欧几里得惩罚（$d/2$）与真实学习系数（$\lambda$）之间的差距。
4. 定义工作流： 明确了一个两步工作流：(1) 指定条件依赖（一个正则问题），(2) 使用奇异准则选择潜在类别的数量。
5. 验证： 通过热力学积分确认有效系数确实低于 BIC 界限，从而解决了关于学习系数的“循环论证质疑”。

5. 重要性与主张

本文主张，诚实的复杂度控制是实现可靠无标签评估的前提条件。

• 上游失效： 选择正确类别数量的失败是一个上游错误，它会导致下游的准确性估计变得无法解释。当 BIC 将二类别模型坍缩为单类别时，报告的灵敏度和特异度会退化为边缘基率，且约登指数（Youden index）降至零。
• 泛化性： 虽然是在诊断性 LCMs 上进行的演示，但作者认为这种生成式结构构成了近期评估大语言模型（LLMs）及无地面真值集成方法的底层逻辑。
• 研究范围的适度性： 作者对局限性保持谦逊，指出奇异准则依赖于学习系数的界限（尽管已通过验证是保守的）并依赖于先验。他们强调，恢复保证是在以正确指定依赖结构为条件的情况下成立的。本文并不声称解决了所有 LCM 问题（如极小样本下的可辨识性问题），而是专门针对奇异机制下的模型选择惩罚。

总之，本文认为，AI 评估指标的“可靠性”取决于是否使用了正确的渐近工具（奇异学习理论），以避免标准统计学在沉默中忽视的几何失效问题。