技术摘要：多重假设检验中的无标签校准

问题陈述

大规模假设检验通常旨在为单个假设提供概率声明，例如通过经验贝叶斯方法估计局部错误发现率（lfdr）。然而，在解释这些得分时存在一个关键差距：一个报告的得分 $g(p)$ 只有在它是**经过校准的（calibrated）**时才有意义，即在被分配了得分 $g(p)$ 的测试中，原假设为真的概率恰好等于 $g(p)$。

在标准的监督学习中，校准是通过地面真值标签（ground-truth labels）来评估的。在多重假设检验中，“标签”（即原假设为真还是为假）是无法观测到的。因此，标准的校准诊断工具无法直接应用。虽然经验贝叶斯传统承认测试统计量的分布包含结构化信息，但在缺乏地面真值的情况下，特别是在模型误设（model misspecification）的情况下，如何正式评估或强制执行校准，目前相关研究仍十分有限。

方法论

作者将多重假设检验重新定义为一个随机监督二分类问题。他们将 $p$ 值视为协变量，将原假设是否为真的未知状态视为二元标签 $Y_i \in \{0, 1\}$。目标是估计回归函数 $lfdr(p) = P(Y=1|p)$。

1. 伪标签构建

为了弥补缺失标签造成的鸿沟，作者利用有序 $p$ 值的间距（spacings）构建了伪标签（pseudo-labels）。令 $p_{(1)} \le \dots \le p_{(m)}$ 为有序 $p$ 值，$\hat{\pi}_{null}$ 为对真零假设比例的估计。第 $i$ 个观测值的伪标签定义为：
$$\tilde{Y}_i := m \hat{\pi}_{null} (p_{(R_i)} - p_{(R_i-1)})$$
其中 $R_i$ 是 $p_i$ 的秩。

其理论依据依赖于阶统计量间距的渐近性质（Pyke, 1965）。随着 $m \to \infty$，这些伪标签满足具有乘性指数误差的回归模型：$\tilde{Y}_i | p_i \approx lfdr(p_i) E_i$，其中 $E_i \sim \text{Exp}(1)$。至关重要的是，期望值 $E[\tilde{Y}_i | p_i]$ 近似于真实的 $lfdr(p_i)$，这使得伪标签可以作为标准校准工具中真实标签的替代品。

2. 保序校准与等价性

作者提出通过对伪标签进行**保序回归（isotonic regression）**来强制执行单调性（即较小的 $p$ 值应产生较小的错误概率）。他们证明了三种不同的方法论途径会产生完全相同的估计量：

1. 保序回归： 最小化预测值与伪标签之间的平方误差（相邻违反者算法，PAVA）。
2. 极大似然估计： 最小化源自指数误差模型的负对数伪似然（等价于最小化 Itakura–Saito 距离）。
3. 非参数经验贝叶斯： 使用 Grenander 估计量（非增密度的极大似然估计）估计 $p$ 值的边缘密度，并应用贝叶斯法则。

所得估计量（记作 $\widehat{lfdr}^\uparrow$）是一个阶梯函数，它将相邻的 $p$ 值合并到局部错误发现比例（FDP）估计为单调的区间中。

3. 评估与诊断

该框架允许将监督校准诊断应用于多重假设检验：

• 可靠性图（Reliability Diagrams）： 通过对伪标签进行分箱，可以将平均预测得分绘制在经验“真零假设”频率（通过伪标签估计）之上。
• Brier 遗憾（Brier Regret）： 作者为他们的保序估计量定义了一个有限样本下的 Brier 遗憾界限（即相对于最佳单调预测器的超额 Brier 分数）。

核心贡献

1. 伪标签构建： 本文引入了一种从 $p$ 值间距中生成回归目标的方法，这些间距的条件期望即为 $lfdr$。这开启了在没有地面真值的情况下，利用完整的监督校准工具箱（如可靠性图、保序校准）进行多重假设检验的途径。
2. 理论统一： 作者证明了在伪标签上的保序校准、指数误差模型下的极大似然估计，以及通过 Grenander 估计量进行的非参数经验贝叶斯估计在数学上是等价的。
3. 有限样本保证： 他们建立了保序估计量的有限样本 Brier 遗憾界限。即使真实的 $lfdr$不是单调的（违反了形状约束），只要经验累积分布函数收敛，该界限也会随着$m \to \infty$ 而消失。这一结果在 true $lfdr$ 并非严格单调的情况下依然成立，因为该估计量针对的是 isotonized $lfdr$（即 true $lfdr$在单调函数类上的$L_2$ 投影）。
4. 误校准的经验证据： 通过模拟和真实数据分析，作者展示了标准误差度量（特别是 q-value）可能存在严重的误校准，其表现有时甚至比原始 $p$ 值更差。

结果

模拟研究

作者比较了三种预测器的 Brier 遗憾：原始 $p$ 值、Storey 的 $q$-value 以及他们的保序估计器 ($\widehat{lfdr}^\uparrow$)。

• 收敛性： $\widehat{lfdr}^\uparrow$ 的遗憾值随测试数量 $m$ 的增加而稳步下降，呈多项式速率收敛。
• 停滞性： $p$ 值的遗憾值保持平稳（因为它们是恒等函数），而 $q$-value 的遗憾值在大多数场景下仍显著高于保序估计器。
• 鲁棒性： 即使在真实的 $lfdr$ 非单调（违反形状约束）的情景下，保序估计器也能收敛至 isotonized $lfdr$，并相对于最佳单调预测器保持趋于零的遗憾值。

真实数据应用

该方法应用于包含约 27,000 个来自认知神经科学和实验心理学文献的 $t$ 统计量数据集（Szucs and Ioannidis, 2017）。

• 校准检查： 可靠性图显示，原始 $p$ 值和 $q$-value 都存在严重的误校准现象（点位显著偏离对角线 $y=x$）。
• 性能： 保序估计器 $\widehat{lfdr}^\uparrow$ 生成的得分非常接近对角线，这表明校准后的得分可以作为单个研究有效的局部概率声明。

意义与主张

本文认为，校准应该是大规模假设检验中的主要推断目标，它有别于单纯的多重比较校正。通过将多重假设检验视为带有隐藏标签的分类问题，作者表明即使在模型误设的情况下，也能建立有意义的错误概率。

这项工作的意义在于：

• 可解释性： 它提供了一条路径，使得即使在模型误设的情况下，也能将得分解释为校准后的概率，因为校准是得分本身的属性，而非生成模型的属性。
• 方法论桥梁： 它成功地将概率预测和监督学习（特别是保序校准和可靠性图）的工具引入了多重假设检验领域。
• 批判性洞察： 关于 $q$-value 等流行度量可能存在校准不良的经验发现，挑战了标准 FDR 度量本质上对于单个假设评估是可靠的这一假设。

作者对局限性保持了审慎态度，指出其理论依赖于 $p$ 值在原假设下服从均匀分布。他们指出，为非均匀零分布（如 $z$-score 或高维统计量）构建类似的伪标签是未来研究的一个开放性问题。