技术摘要：最大未观测概率置信区间

问题陈述

本文探讨了确定是否需要增加采样，以检测出所有流行度（prevalence）超过预设阈值 $\varepsilon$ 的类别的统计挑战。这一问题存在于生态学、基因组学、安全分析和语言模型等领域，其目标是确保没有任何未观测到的结果其概率质量大于 $\varepsilon$。

作者将其在 伯努利乘积（发生）模型（Bernoulli product/incidence model） 中进行了形式化描述。在此设定下，对于一组符号（类别）$j \in \{1, \dots, M\}$ 和采样单元 $i \in \{1, \dots, n\}$，观测值为表示符号 $j$ 在单元 $i$ 中是否存在或缺失的二元指标 $X_{ij}$。发生概率 $p_j$ 在各单元间保持不变。字母表大小 $M$ 可以是有限的（有界）或可数无穷的（无界）。

推断目标是 最大未观测概率，记作 $M_{\max}$：
$$M_{\max} = \max_{j: N_j = 0} p_j$$
其中 $N_j = \sum_{i=1}^n X_{ij}$ 是符号 $j$ 观测到的出现次数。目标是构建一个非渐近、分布无关的上置信界 $U_n(\alpha)$，使得以至少 $1-\alpha$ 的概率满足 $M_{\max} \leq U_n(\alpha)$。该界限可作为停止规则：一旦 $U_n(\alpha) \leq \varepsilon$，即可停止采样。

方法论与理论框架

本文针对两种机制开发了统一理论：有界字母表（有限且已知 $M$）和 无界字母表（可数无穷且满足求和条件 $\sum p_j < \infty$）。

1. 有界字母表机制 ($M < \infty$)

• 基准： 作者将经过多重性调整的“三法则”（Bonferroni 校正）作为基准：$T_{\text{Bonf}} = \log(M/\alpha)/n$。他们指出，由于该法则假设所有 $M$ 个类别均未被观测到，因此是保守的。
• 最差情况数据无关界： 定理 2.1 利用 $\ell_r$-范数方法和马尔可夫不等式对 Bonferroni 界进行了改进。通过优化参数 $r$，他们导出了一个 $T_{\text{wc}}(n, M, \alpha)$，该界限在保持数据无关性的同时，改进了 Bonferroni 界的非渐近常数。
• 数据依赖界： 定理 2.2 引入了一个适应经验发生计数（empirical incidence counts）的界。它使用数据依赖的有效字母表大小 $m_{b_n}(\hat{p}) = \sum (1-\hat{p}_j)^{b_n}$ 取代了最差情况下的因子 $M$，其中 $\hat{p}_j = N_j/n$。随着调节参数 $b_n$ 的增加，该量会向未观测类别集中。该界限是通过使用 McDiarmid 不等式来控制经验和与真实和之间的偏差而推导出的。
• 最优性： 定理 2.3 建立了匹配的下界，证明了没有任何统一有效的上置信界能优于 $\log(K/\alpha)/n$ 的阶数，其中 $K$ 是未观测类别的数量。这证实了所提出的数据依赖界在近优性方面的表现。

2. 无界字母表机制 ($M = \infty$)

• 不可能结果： 定理 3.1 表明，在可求和流行度序列类上，不存在任何非平凡的、数据无关（最差情况）的有效上界。这是因为在无界情况下，相关泛函的期望会发散。
• 数据依赖界： 为了克服这一问题，定理 3.4 提出了一个完全数据依赖的界。它利用了一个基于 $r$-范数的构造，该构造利用了总质量 $S = \sum p_j$ 的有限性。该程序通过无偏估计量 $\hat{S}$ 估计 $S$，并构建上置信界 $S^*$。随后通过选择随 $\log n$ 缩放的数据依赖参数 $R^*$ 来优化界限 $U_n$。
• 最优性： 定理 3.5 提供了匹配的下界，表明所提程序实现的速率 $n^{-1}(\log n - \log \log n)$ 在无界机制下本质上是接近最优的。

3. 序列停止规则

导出的置信区间被用于构建序列停止规则。当第一个样本量 $n$ 满足 $U_n(\alpha) \leq \varepsilon$ 时，程序停止。作者通过覆盖度诊断和物种累积曲线评估了这些规则，特别测试了其对污染（伪低流行度类别）的鲁棒性。

关键结果与实证发现

• 模拟性能：
  • 在具有轻尾分布（即大多数符号已被观测到）的 有界设置 中，所提出的 Bounded 界优于标准的 Bonferroni 基准。
  • 在 重尾设置（存在许多稀有/未观测符号）中，Unbounded 界即使在真实字母表有限但规模很大时，也比 Bounded 和 Bonferroni 界产生的区间显著更短。
  • 所提方法在所有测试场景下均达到了标称覆盖水平（经验上接近 100%）。
• 选择启发式方法： 本文提出了一个实用的启发式方法（公式 10）和视觉诊断工具（累积曲线），用以指导在 Bounded 和 Unbounded 程序之间进行选择。当总概率质量相对于有效字母表大小较小，或者累积曲线显示持续增长且没有明显渐近线时，建议使用 Unbounded 方法。
• 鲁棒性： 在存在污染（模拟测序误差的人造低流行度类别）的情况下，$M_{\max}$ 停止规则保持稳定且具有鲁棒性。相比之下，基于覆盖度的标准可能会过早停止或需要过多的采样工作量。
• 实际应用 (TCGA)： 在应用到癌症基因组图谱 (TCGA) 体细胞突变数据时，由于基因组变异空间在实际上是无限的，因此认为 Unbounded 程序是合适的。该方法为未观测变异的流行度提供了有限样本保证，提供了超越简单预期发现计数的严谨不确定性量化。

意义与主张

本文声称提供了对伯努利乘积模型中最大未观测概率置信区间的首次 非渐近、分布无关 的分析，涵盖了有界和无界情形。

核心贡献包括：

1. 理论极限： 表征了数据无关界的极限，特别是证明了在无界机制下有效的最差情况界是不存在的。
2. 最优性： 建立了匹配的下界，证明了所提数据依赖程序在两种机制下均具有近优性（minimax optimality）。
3. 实用价值： 提供了一个原则性的序列停止框架，该框架对污染具有鲁棒性，解决了现有生态学和基因组学停止规则中常见的缺陷（这些规则通常依赖渐近假设或易受稀有伪影影响）。
4. 有限样本保证： 为未观测事件提供严谨的不确定性量化，这对于安全至上的应用（如临床试验、可靠性工程）尤为重要，因为在这些场景中，观测到零事件并不意味着可以得出零风险的结论。

作者将其工作定位为对现有“三法则”启发式方法和覆盖度诊断的改进，提供了在理论上基于极小极大最优性（minimax optimality）的更紧凑、具有数据适应性的界限。