📊 statistics

A closed-form sample size correction for always-valid inference with optional stopping

本文引入了一种闭式样本量修正因子，用于对始终有效序列检验中的固定样本计算进行调整，从而在无需模拟的情况下实现准确的功效估计，并使所需的样本预算比保守的最后一点规则减少 8–20%。

原作者： Mårten Schultzberg

发布于 2026-06-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Mårten Schultzberg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解案件（即 A/B 测试）的侦探，目的是看新线索（实验组）是否比旧线索（对照组）更好。你想确保自己不会犯错，但同时也希望在获得足够证据时能立即停止调查。

问题所在：“终点陷阱”

在过去，侦探们使用一种被称为**“终点规则”（Last-Stop Rule）*的准则。他们会说：“我会每天查看证据，但我只会在第 100 天正式宣布获胜。我需要确保专门在第 100 天这一天*，我有 95% 的把握抓到罪犯。”

为了保险起见，他们会计算需要多少天才能达到这 95% 的把握。但问题在于，因为他们在第 100 天之前每天都可以查看证据，所以罪犯可能在第 10 天、第 50 天或第 99 天就被抓住了。“终点规则”忽略了所有这些早期的机会。

由于忽略了早期的机会，这个规则显得过于保守。它告诉侦探：“你需要 100 天才能确保安全”，但实际上，他们可能只需 85 天就足够安全了。这意味着他们在不必要的长期调查中浪费了时间、金钱和资源。

解决方案：“魔法乘数”

本文作者 Mårten Schultzberg 发现了一个闭式修正因子（这是一个高级数学术语，指无需进行复杂计算机模拟即可计算出的简单“魔法数字”）。

你可以把它看作是一个**“魔法乘数”**（称为 $k^*$ ）。与其猜测要运行多久实验，不如拿你的标准“固定”计算结果乘以这个魔法数字。

旧方法： “我们需要 1,000 人才能确保安全。”（这实际上太多了）。
新方法： “我们需要 1,000 人，但乘以这个魔法数字 0.85。所以，我们只需要 850 人。”

这种新方法考虑到了你在持续检查证据这一事实。它意识到，因为你在时刻观察，所以你不需要等待那么久就能确定结果。

它是如何运作的（隐喻）

想象一下，证据就像是一个沿着山坡向上滚动的球。

边界（Boundary） 是山顶处的一道篱笆。如果球越过了篱笆，你就停止并宣布胜利。
旧规则 假设球只需要在赛道的终点越过篱笆。为了保险，他们建造了一条非常长的赛道。
新方法 意识到球可以在赛道的任何地方越过篱笆。
作者使用了一个巧妙的技巧：他们画了一条直线（切线），这条线恰好在终点处触碰到篱笆的顶端。因为篱笆是弯曲的（越往上越难越过），所以这条直线会位于实际篱笆的上方。
通过计算球越过这条“直线”而非“弯曲篱笆”的概率，数学计算变得简单且可解。这种直线近似法非常精确，它能准确告诉你赛道可以缩短多少。

结果：节省金钱与时间

论文将这个“魔法乘数”与 Spotify 等公司使用的三种不同类型的“篱笆”（统计边界）进行了对比测试。

节省程度： 通过使用这种新公式，公司可以节省 8% 到 20% 原本需要收集的样本量。
- 类比： 如果你原本计划为 100 人准备蛋糕，这种新方法会告诉你：“实际上，你只需要准备 85 人的食材，同时你仍有 95% 的把握确保蛋糕是美味的。”
准确性： 当他们进行数千次计算机模拟时，新方法几乎完美地达到了目标成功率（误差在 3 个百分点以内）。
现实世界的证明： 作者在 Spotify 实验平台的真实数据上测试了该方法。在 713 次不同的测试中，该方法使样本量中位数节省了 9.5%。这节省了大量的资金和时间。

重要限制

论文指出，当数据表现良好（如符合正态分布/钟形曲线）并且你有合理的初始数据量（称为“预热期/burn-in”）时，这个“魔法数字”效果最好。如果你测试的是非常罕见的事物（例如发生率仅为 1/10,000 的疾病），数学计算会变得不稳定，节省的效果也可能不再那么可靠。

总结

简而言之，这篇论文为实验者提供了一个简单的、预先计算好的样本量“折扣码”。它让那些允许持续监测的实验不再过度准备，从而在不牺牲结论安全性的前提下，节省了大约 10–20% 的预算。

技术摘要：针对可选停止（Optional Stopping）下始终有效推断（Always-Valid Inference）的闭式样本量修正

问题陈述
序列检验（Sequential tests）允许连续监测（即始终有效推断），已被广泛应用于 A/B 测试平台，以实现能够在证据明确时进行早期停止。然而，确定这些测试的适当样本量在计算上是非常昂贵的。传统的序列检验功效计算（Power calculations）依赖于大量的模拟，这在需要监控数千个指标的大型实验平台中难以扩展。

一种常见的启发式方法是“最后一点规则”（last-point rule），该方法通过增加固定样本量（ $n_z$ ）直到计划终点处的边际拒绝概率达到目标功效（ $1-\beta$ ），从而来确定实验规模。论文指出该方法存在一个关键缺陷：始终有效（AV）的功效定义为在运行期间任何时间点发生边界穿越的概率，而不仅仅是在终点处。因此，最后一点规则过于保守。在标准操作特性（ $\alpha=0.05, 1-\beta=0.80$ ）下，该规则导致的经验功效在 0.86 到 0.88 之间，实际上使实验过度设计了 7–9 个百分点。

方法论
作者提出了一个闭式修正因子 $k^*(\alpha, \beta, t_0)$ ，用于调整固定样本量 $n_z$ ，使得总样本量 $n = k^* \cdot n_z$ 能够近似达到目标 AV 功效，而无需进行模拟。

该方法论依赖于以下组成部分：

重缩放时间与布朗运动近似： 问题被映射到一个重缩放的时间变量 $t = n/n_z$ 。在备择假设（ $H_1$ ）下，标准化累积过程 $Y_t$ 被近似为一个具有漂移项 $\mu_d = z_\alpha + z_\beta$ 和单位方差率的布朗运动。
切线线性化： 近似法的核心在于使用计划终点 $t=k$ 处的切线来替换弯曲的序列边界 $b(t)$ 。这种线性代理形式允许应用 Bachelier 第一穿越公式（Bachelier first-passage formula）。
解析推导： 作者推导了在区间 $[t_0, k]$ $[t_{0}, k]$ 内穿越线性边界的概率，其中 $t_0 = m/n_z$ $t_{0} = m / n_{z}$ 是预热期（burn-in）比例（即开始监测的点）。该推导通过高斯配方法和二元正态累积分布函数（CDF） $\Phi_2$ $Φ_{2}$ 对 $t_0$ $t_{0}$ 时刻过程的初始值进行积分。
- 所得的功效近似值 $\pi_{closed}(k)$ 由三项组成： $t_0$ 时的即时拒绝概率、在 $(t_0, k]$ 期间穿越线性边界的概率，以及一个反射修正项。
边界特定性： 修正因子仅通过其在终点处的数值 $b(k)$ $b (k)$ 和斜率 $b'(k)$ $b^{'} (k)$ 取决于特定的序列边界。论文明确推导了三种常见边界的这些参数：
- Waudby-Smith 等人 [2023] (WSKR) 置信序列。
- Maharaj 等人 [2023] 置信序列。
- Johari 等人 [2022] 混合序列概率比检验 (mSPRT)。

核心贡献

闭式修正因子： 论文提供了一个显式公式用于计算 $k^*$ ，该公式可以使用初等函数和二元正态 CDF 进行评估，从而消除了对基于模拟的功效计算的需求。
泛化性： 该近似法适用于任何光滑的凹边界，只要已知其在终点处的数值和斜率。
预热期敏感性： 分析考虑了预热参数 $m$ ，展示了修正因子如何随监测窗口开始位置的变化而变化。
经验验证： 作者通过每单元 50,000 次重复的蒙特卡洛模拟，在三种不同的边界族和广泛的 $(\alpha, \beta)$ 参数网格上验证了该修正法的准确性。

结果

准确性： 将样本量设置为 $k^* \cdot n_z$ 可使经验功效在测试网格内达到目标值的误差约在 3 个百分点以内。在高斯模拟中，经验功效通常略高于 $1-\beta$ ，这种保守偏差归因于切线位于凹边界之上。
效率提升： 与最后一点规则相比，修正因子带来了显著的样本量节省。在整个操作范围内，节省幅度在 8% 到 20% 之间。
- 例如，在 $\alpha=0.05$ 且 $1-\beta=0.80$ 时，取决于边界类型，节省约为 10–14%。
生产环境验证： 作者将该修正法应用于 Spotify 实验平台中的 713 个指标（使用 Maharaj 边界）。观察到的中位数样本量减少为 9.5%，平均值为 9.8%。
预热期影响： 论文指出，虽然现实的预热值（ $m \ll n_z$ ）由于置信序列变宽会导致总样本预算增加（通常是固定样本量的 2–3 倍），但修正因子相对于未修正的最后一点规则仍能提供实质性的节省。
局限性： 作者指出，在极低基础率（例如 $p_C \le 0.01$ ）的情况下，中心极限定理（CLT）近似会退化，闭式因子可能会低于目标功效。

意义
论文声称，最后一点规则虽然简单，但对于序列检验而言是低效的，会导致不必要的资源支出。通过提供闭式修正因子，作者为实验平台提供了一种可扩展的方案，用于精确设定始终有效测试的样本量。这使得平台能够在不损害统计有效性的前提下，减少 8–20% 的样本量，从而加速决策过程并降低实验成本。这项工作弥合了理论序列分析与工业界大规模落地实践之间的鸿沟。