Why Constants Matter in Distribution Testing: From Uniformity to Calibration

技术摘要：为什么常数在分布测试中至关重要：从均匀性到校准

问题陈述
虽然分布拟合优度测试的理论已经建立了稳健的“速率级”（rate-level）结果——定义了样本量如何随字母表大小（$N$）、分离度（$\epsilon$）和误差概率进行缩放——但这些渐近速率在实际应用中留下了关键的空白。具体而言，速率级理论无法区分那些具有相同最优样本复杂度阶数（例如 $n \asymp \sqrt{N}/\epsilon^2$）但表现出显著不同误差概率或统计功效的多种测试。本文旨在解决对“常数级”（constant-level）分析的需求，以确定精确的渐近风险、识别有效的信噪比，并指导校准测试等实际应用中的调优参数选择。

方法论与框架
本文采用尖锐的极小极大风险（minimax risk）框架，超越了检测边界，转而刻画极限风险曲线 $R^*(\epsilon, n, N)$。

• 模型： 分析聚焦于大字母表的均匀性测试，其中数据 $(V_1, \dots, V_n)$ 是来自 $N$ 个类别的分布 $q$ 的独立同分布（i.i.d.）样本。零假设为 $H_0: q = u$（均匀分布），备择假设为 $q$ 与均匀分布在 $\ell_1$ 距离 $\epsilon$（总变差距离的两倍）处分离。
• 泊松化（Poissonization）： 分析利用泊松化模型来推导极限分布。
• 类比： 本文将此过程与参数估计进行类比（其中费舍尔信息量决定了尖锐的渐近方差），以及与非参数估计进行类比（其中 Pinsker 常数定义了尖锐的极小极大风险）。在此，目标是找到分布测试中等效于“费舍尔信息量”的概念。
• 校准还原： 本文将这些发现扩展到校准测试。它将预测模型概率积分变换（PIT）的评估框架化为一个均匀性测试问题。由于连续的 PIT 值被离散化为 $N$ 个箱（bins）用于测试，该问题便转化为一个多项式拟合优度测试，其中 $N$ 作为分辨率参数。

核心结果

1. 尖锐极小极大风险公式：
   在风险收敛于非平凡常数的中间状态下，针对 $\ell_1$ 分离备择假设的均匀性测试的极小极大风险由高斯形式刻画：
   $$R^*(\epsilon, n, N) = 2\Phi(-u/2) + o(1)$$
   其中 $\Phi$ 是标准正态分布的累积分布函数，$u$ 是有效信噪比。
   本文推导出了 $u$ 的显式形式：
   $$u = \sqrt{2N} \sinh\left(\frac{n\epsilon^2}{2N}\right)$$
   在小信号状态下，该式简化为 $u \sim \frac{n\epsilon^2}{\sqrt{2N}}$。

2. 最优测试统计量：
   分析确定了渐近极小极大意义下的最优统计量，它是占用直方图（occupancy histogram，即恰好出现 $m$ 次的类别计数 $Z_m$）的线性泛函。

• 在极稀疏状态下，最优统计量由碰撞（collisions, $Z_2$）驱动。
• 在较稠密状态下，该统计量的行为类似于卡方检验，但带有一个特定的稳定项。本文提出了如下统计量：
  $$T_N = \sqrt{\frac{N}{2n^2}} \sum_{j=1}^N \left[ (O_j - n/N)^2 - O_j \right]$$
  该统计量在稀疏且 $N$ 较大的状态下稳定了方差，并且对样本量波动（例如服从泊松分布的 $n$）保持稳健。

3. 校准中的分箱权衡：
   将这些常数应用于校准测试，揭示了选择箱数 $N$ 时存在的根本权衡：

• 离散化偏差（小 $N$）： 箱数过少会导致局部失校准（例如振荡误差）在箱内相互抵消，从而降低表观误差（$ECE^{(N)} \le ECE$）。
• 统计噪声（大 $N$）： 箱数过多会导致样本量 $n$ 被过度分散，从而降低信噪比 $u$，导致测试失去功效。

本文推导出了能够保持期望风险水平 $R$（或第一类/第二类误差约束 $\alpha, \beta$）的最大箱数（$N_{max}$）的闭式表达式：
$$N_{max} = \left\lfloor \frac{n^2 \epsilon^4}{8[\Phi^{-1}(1 - R/2)]^2} \right\rfloor$$
或者等价地使用分位数 $z$：
$$N_{max} = \left\lfloor \frac{n^2 \epsilon^4}{2(z_{1-\alpha} + z_{1-\beta})^2} \right\rfloor$$

4. 振荡示例：
   本文通过一个振荡失校模型（$q(v) = 1 + a \cos(2\pi k v)$）说明了这些结果。它展示了虽然连续误差是恒定的，但分箱误差受 $k/N$ 之比的 sinc 函数的影响而衰减。推导出的 $N_{max}$ 准确识别了测试从受偏差主导（箱数太少）向受噪声主导（箱数太多）转变的分辨率临界点。

意义与主张
本文认为，尖锐常数不仅仅是装饰性的精细化，它们对于将渐近理论转化为定量设计规则至关重要。

• 区分能力： 常数能够区分那些虽然速率最优但在实际应用中功效不同的测试。
• 信噪比识别： 它们揭示了控制问题的精确有效信噪比，从而允许将风险目标直接转化为样本量或分辨率要求。
• 操作理论： 在校准测试的背景下，本文声称尖锐常数提供了一种选择箱数的原则性方法。这使问题从工程启发式转向统计设计规则：“使用在保持所需测试功效的前提下最精细的分箱分辨率”。

最终，本文指出，均匀性测试可以作为理解如何在现代数据流水线中设计可靠测试的实验室，其中分辨率（箱数）的选择直接决定了失校是否可被检测。