论文技术总结：Nobody Puts Bonferroni in a Corner

论文标题：Nobody Puts Bonferroni in a Corner
作者：Mårten Schultzberg (Spotify, Confidence 实验平台团队)
核心观点：Bonferroni 校正在在线实验（A/B 测试）中比通常认为的更具优势，是控制族系错误率（FWER）的最佳选择，特别是在结合正确的决策框架时。

---

1. 研究背景与问题 (Problem)

在在线实验平台中，同时测试多个假设会导致假阳性率（Family-Wise Error Rate, FWER）膨胀。例如，在 8 个指标上以 $\alpha=0.05$ 进行测试，FWER 会膨胀至约 34%。

• 现状：许多从业者为了避免 Bonferroni 校正带来的“保守”和“低功效（Power）”代价，往往跳过校正，或者转向更复杂的 FWER 方法（如 Holm, Hommel）或 FDR 方法（如 Benjamini-Hochberg, BH）。
• 痛点：
  • FDR 的不适用性：FDR 方法（如 BH）旨在基因组学等真效应较多的场景。在产品实验中，约 70% 的测试效应为零（Null），FDR 的宽松性会导致大量假阳性被误报为真发现，损害实验平台的可信度。
  • 置信区间（CI）的缺失：许多高级校正方法（如 Holm, Hommel, BH）难以提供对所有指标都一致、无条件且包含数值边界的联合置信区间。
  • 样本量计算的困难：复杂的校正方法在实验前进行功效计算（Power Calculation）时缺乏可操作性。
  • 决策框架的误用：通常将所有指标（包括护栏指标）同等对待进行校正，导致分母过大，校正过于保守。

2. 方法论与核心论点 (Methodology & Key Arguments)

作者提出了四个主要论点来支持 Bonferroni 校正，并结合了 Spotify 的实证数据（1,296 个实验）和模拟研究进行验证。

2.1 置信区间的一致性 (CI Coherence)

• Bonferroni 优势：Bonferroni 校正的置信区间构建简单（将 $\alpha$ 替换为 $\alpha/m$），且对所有指标提供无条件联合置信区间。如果检验在 $\alpha/m$ 水平显著，则 $1-\alpha/m$ 的 CI 排除零，且整个族系以 $1-\alpha$ 的概率同时覆盖真实参数。
• 其他方法的缺陷：BH 方法需要基于假覆盖率（FCR）构建条件置信区间，通常不可用或不直观；Hommel 和 Holm 方法对显著指标的置信区间往往缺乏数值边界（仅指出在拒绝域内），无法有效评估“赢家诅咒”（Winner's Curse）。

2.2 决策框架与校正分母 (Decision Framework & Denominator)

这是论文的核心贡献之一。作者指出产品实验中的指标角色是不对称的：

• 成功指标 (Success Metrics)：采用并 - 交 (Union-Intersection, UI) 逻辑。只要至少一个显著即可发货。这是 FWER 控制的关键，需要校正。
• 护栏指标 (Guardrail Metrics)：采用交 - 并 (Intersection-Union, IU) 逻辑。所有指标必须通过（非劣效）才能发货。
  • 关键洞察：护栏指标的假阳性（错误地认为指标未退化）只会让发货变得更容易，而不会导致错误的发货决策（因为发货还需要成功指标显著）。护栏指标的错误主要增加的是假阴性（误杀好方案），而非假阳性。
• 结论：Bonferroni 校正的分母应仅为成功指标的数量 ($S$)，而非实验中的总指标数。
  • 示例：2 个成功指标 + 10 个护栏指标。传统做法分母为 12 ($\alpha/12$)；正确做法分母为 2 ($\alpha/2$)。这使得有效显著性水平从 0.004 提升至 0.025，大幅降低了保守性。

2.3 样本量计算的可行性 (Sample Size Tractability)

• Bonferroni 允许在实验前进行简单、诚实的功效计算。只需将 $\alpha$ 替换为 $\alpha/S$ 代入标准公式。
• 相比之下，BH 等方法的样本量计算依赖于未知的真零假设比例 ($\pi_0$) 和统计量的联合分布，这在实验设计阶段无法获知，导致无法进行可靠的预实验规划。

2.4 序列测试的兼容性 (Sequential Testing)

• 在组序贯测试（Group Sequential Testing）中，不同指标的信息量分数（Information Fraction）不同。Bonferroni 允许为每个指标分配独立的 $\alpha$ 预算，使其能独立运行各自的序贯测试，避免了复杂的联合边界计算问题。

3. 实证结果 (Results)

作者利用 Spotify 的 "Confidence" 平台数据（1,296 个实验，1,840 次处理 - 对照比较）和蒙特卡洛模拟进行了分析。

3.1 模拟研究

• 稀疏效应场景（大多数产品实验的特征，即只有少数指标非零）：当非零指标数量 ($k$) 较少时（如 $k=1$），Holm、Hommel 和 BH 相对于 Bonferroni 的功效提升微乎其微（差距接近 0）。
• 高相关性场景：即使在高相关性下，如果非零指标很少，差距依然很小。只有当所有指标都非零且高度相关时，BH 才显示出显著的功效优势（约 13pp），但这不符合典型产品实验的稀疏性假设。
• Holm 的局限性：在效应量均匀分布的模拟中，Holm 与 Bonferroni 功效相同；其优势仅在 $p$ 值异质性高时显现。

3.2 实证分析 (Spotify 数据)

• 正确指定家族 (Success-only Family)：
  • 当仅对成功指标进行校正时，Holm 和 Hommel 的发货率（Ship Rate）比 Bonferroni 高出 4.5–4.6 个百分点。
  • 这表明在正确框架下，高级方法确实有轻微优势，但差距并不巨大。
• 错误指定家族 (Naive Family)：
  • 如果将护栏指标也包含在校正家族中（错误做法），Holm 和 Hommel 与 Bonferroni 几乎无法区分（差距仅 0.5–0.6pp）。
  • 原因：在逐步下降（Step-down）过程中，护栏指标占据了排序靠后的位置（$p$ 值大），消耗了排序步骤，导致成功指标无法充分利用逐步放松的阈值优势。
• 方差缩减 (Variance Reduction)：方差缩减技术略微降低了指标间的相关性，使得 Bonferroni 的实际保守性低于名义值，进一步缩小了与其他方法的差距。

4. 主要贡献 (Key Contributions)

1. 重新定义校正分母：从理论上和实证上证明，在包含护栏指标的决策框架中，FWER 控制的分母应仅为成功指标数量，而非总指标数。这极大地缓解了 Bonferroni 的保守性。
2. 强调置信区间的实用性：指出 Bonferroni 是唯一能简单、一致地为所有指标提供无条件联合置信区间的 FWER 方法，这对工程和产品决策至关重要。
3. 揭示“稀疏性”下的功效差异：通过模拟和实证证明，在产品实验常见的“稀疏真效应”场景下，复杂方法（Holm, Hommel, BH）相对于 Bonferroni 的功效优势几乎可以忽略不计。
4. 决策框架的完整性：论证了 Bonferroni 在样本量规划、序列监控和置信区间解释上的全流程一致性，这是其他复杂方法难以企及的。

5. 意义与结论 (Significance & Conclusion)

• 对实践的指导：
  • 不要盲目放弃 Bonferroni。在正确指定“成功指标家族”的前提下，Bonferroni 是简单、稳健且足够高效的选择。
  • 如果团队追求 Holm/Hommel 带来的额外 4-5% 的发货率提升，必须首先实施正确的决策框架（区分成功指标和护栏指标），否则这些高级方法在实践中等同于 Bonferroni。
  • 对于大多数产品实验（稀疏效应、少量成功指标），Bonferroni 的“代价”极小，而其带来的可解释性、置信区间一致性和规划便利性价值巨大。
• 核心结论：Bonferroni 并非过时的方法，而是最适合在线实验环境的 FWER 控制方法。它提供了在统计严谨性、工程可操作性和决策信任度之间的最佳平衡。论文呼吁从业者减少对 Bonferroni 的恐惧，转而关注如何正确定义实验指标家族。