📊 statistics

Precision and Decisiveness as Goals: Reliable Sequential Hypothesis Testing with a Dual Stopping Criterion

本文介绍了“决定性精准是目标”（Decisive Precision is the Goal, DPitG），这是一种全新的序贯假设检验框架，它同时满足精准性和决定性标准，以消除提前停止带来的假阳性风险以及仅追求精准的方法所导致的高不确定率，从而为获得确定性的统计结论提供了一种可靠且可预注册的方法。

原作者： Eyal A. Kazin

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Eyal A. Kazin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大侦探搜寻赛：何时停止寻找

想象你是一名正在试图破解谜团的侦探：一枚新硬币是公平的，还是被动了手脚？在科学的世界里，研究人员一直在玩这场游戏。他们收集数据——比如抛硬币或测试一种新药——来验证他们的直觉是否正确。但棘手之处在于：你需要抛多少次硬币，才能自信地说：“好了，我知道答案了！”？

如果你停止得太早，你可能会因为捕捉到一次连续的正面向上的运气，就错误地指控一枚公平的硬币被动了手脚。这就像一名侦探仅仅因为看到某人跑了一次，就逮捕了一个无辜的人，而没有了解整个故事。另一方面，如果你永远不停地抛硬币，你可能永远无法完成你的报告，白白浪费时间和金钱。几十年来，科学家们一直试图寻找完美的“停止规则”。他们想要一种既足够快以发挥作用，又足够谨慎以确保正确的方法。本文深入探讨了统计学中的一个特定分支——序贯假设检验（Sequential Hypothesis Testing），它研究的是如何在数据不断涌入的过程中做出决策，而不是等待达到预设的抛掷次数。它专注于两个核心概念：精确度（Precision）（你的估计有多紧凑）和决定性（Decisiveness）（你是否真的能对问题给出“是”或“否”的回答）。

“窥探”的问题与“也许”陷阱

文章首先研究了科学家尝试解决这一难题的两种流行方法，并发现两者都存在致命缺陷。

第一种方法就像一名侦探，一旦看到看起来可疑的线索就会立即停止。如果数据看起来像是硬币被动了手脚，他们就会停止并宣布其有罪；如果看起来是公平的，他们就会停止并宣布其清白。问题在于？如果你过早地窥探数据，你可能会捕捉到一个随机的偶然现象。论文显示，这种“一见苗头就停止”的方法会导致系统性误差：它会大约 6.3% 的时间错误地指控公平的硬币。这就像仅仅因为某人看起来紧张了一次，就定罪一个无辜的人。

第二种方法被称为“以精确为目标”（PitG），它要谨慎得多。它说：“无论结果看起来如何，在你的估计变得极其精确之前，不要停止。”想象一位侦探，在收集到足够的证据以百分之百确定事实之前，拒绝进行逮捕。这种方法阻止了虚假指控，但也创造了一个新问题：“也许”陷阱。当硬币实际上是公平的时，这种方法经常会在结果虽然精确但仍处于中间位置时停止，无法说出是“有罪”还是“清白”。在作者进行的模拟实验中，当硬币实际公平时，这种方法竟然有 62% 的时间停留在“我不知道”的状态。这可是大量的未解案件！

新英雄：“决定性精确”

于是，论文提出了新的解决方案：决定性精确为目标（DPitG）。

将 DPitG 想象成一名拥有严格清单的侦探。他们不会停止调查，直到两个条件同时满足：

精确度： 证据必须清晰锐利（“HDI”宽度必须小于目标值，例如 0.08）。
决定性： 证据必须明确指向“有罪”或“清白”（结果必须完全位于“实际等效区域”，即 ROPE 的外部或内部）。

论文运行了大规模的模拟——5,000 次不同的抛硬币实验——来观察这个新侦探与旧侦探的表现对比。

以下是他们的发现：

旧有的“窥探”侦探 (HDI+ROPE)： 速度很快但会犯错。它大约有 6.3% 的时间会错误地指控公平的硬币。
“也许”侦探 (PitG)： 非常谨慎但经常放弃。当硬币实际公平时，它有 62.1% 的时间以“不确定”的结论结束。
新的 DPitG 侦探： 它兼具了两者的优点。它将“不确定”率从 62.1% 降低到了仅 2.2%。更棒的是，它将虚假指控率保持在了 0%。

正确的代价

你可能会问：“如果 DPitG 如此完美，为什么大家不都用它呢？是不是因为它太慢了？”

论文显示，DPitG 确实需要更多的耐心。在模拟中，为了得出最终答案，这种新方法平均比“也许”侦探多需要约 4.7% 的抛硬币次数。然而，这点微小的代价换来了可靠性的巨大提升。虽然“也许”侦探在大多数情况下都卡在说“我不知道”，但 DPitG 几乎每次都能给出一个清晰、正确的答案。

作者还提供了一个“魔法公式”（闭式规划方程），研究人员可以使用它在开始实验前，根据他们想要的精确度计算出究竟需要多少样本。他们甚至建立了一个在线计算器并分享了代码，以便任何人都可以尝试。

这为什么重要

这不仅仅关乎硬币。论文解释说，这种方法适用于任何类型的数据，从测试一种新药是否有效，到检查网站改版是否提高了销售额。核心结论是：我们可以鱼与熊掌兼得——我们既可以要求高质量、高精确度的证据，又可以得到一个明确的答案，而不会陷入虚假指控或无尽犹豫的陷阱。

论文总结道，只要研究预算能够支持收集达到该精确度所需的最低样本量，DPitG 就是寻求可靠结论时的首选方法。它是为那些希望对数据保持诚实、并在证据真正准备好发声之前拒绝宣布胜负的科学家们准备的工具。

技术摘要：作为目标的高精度与确定性在序贯假设检验中的应用

1. 问题陈述

序贯假设检验通过允许在数据积累过程中进行评估，提供了比固定样本设计更高的灵活性。然而，在停止规则（何时停止收集数据）与决策准则（如何解释数据）之间存在着一种关键的张力。

耦合问题（The Coupling Problem）： 广泛使用的方法，如 HDI+ROPE 算法（Kruschke, 2011, 2013, 2015），将停止规则直接与决策准则耦合。该算法一旦后验最高密度区间（HDI）完全落在实际等效区域（ROPE）之外或之内，便立即停止。虽然这允许对零假设进行积极的接受（不同于零假设显著性检验/NHST），但由于“过早窥视”（early peeking）的风险，可能导致确认偏差。在不具代表性的早期样本上，较宽的 HDI 可能过早满足决策准则，从而产生系统性的假阳性成本。
解耦问题（The Decoupling Problem）： 为了消除偏差，“以精度为目标”（Precision is the Goal, PitG） 方法（Kruschke, 2015）将停止规则与决策解耦。它仅在达到目标后验精度（HDI 宽度， $\omega_{goal}$ ）时停止，而不论假设结果如何。虽然这消除了过早窥视带来的偏差，但引入了新的失效模式：当零假设为真（或在实际意义上为真）时，PitG 经常产生不确定结果（即 HDI 跨越了 ROPE），而非正确接受零假设。这种高不确定率限制了其在需要严谨确认零假设的领域（如生物等效性试验或软件回归测试）中的应用价值。

本文识别了一个空白点：需要一种既能保持基于精度的停止规则的无偏特性，又能确保高决策确定性（特别是在零假设为真时）的方法。

2. 方法论

作者提出了一种新的算法——“以确定性为目标的精度”（Decisive Precision is the Goal, DPitG）。该算法通过要求同时满足两个条件来修改 PitG 框架，只有当这两个条件均满足时才停止：

精度条件： 后验 HDI 的宽度 ( $\omega_{HDI}$ ) 必须小于或等于预设的目标值 ( $\omega_{goal}$ )。
确定性条件： HDI 必须完全位于 ROPE 内部（接受）或完全位于 ROPE 外部（拒绝）。

核心组件

统一决策规则： 所有三种算法（HDI+ROPE、PitG、DPitG）都使用基于 95% HDI 与 ROPE 边界关系的相同决策规则：
- 接受零假设： HDI $\subset$ ROPE。
- 拒绝零假设： HDI $\cap$ ROPE = $\emptyset$ 。
- 不确定（Inconclusive）： HDI 跨越 ROPE。
停止准则差异：
- HDI+ROPE： 一旦做出决定性决策，立即停止（耦合）。
- PitG： 一旦达到 $\omega_{goal}$ ，立即停止（解耦），然后进行决策检查。
- DPitG： 继续采样直到 $\omega_{HDI} \le \omega_{goal}$ 且 可以做出确定性决策 时停止。

理论框架

本文推导了一个基于正态近似（中心极限定理）的期望样本量（ $N_{goal}$ ）的闭式规划公式：
$N_{goal} \propto \frac{V}{\omega_{goal}^2}$
其中 $V$ 是观测方差。对于伯努利参数 $\theta$ ， $V \propto \theta(1-\theta)$ 。该公式允许研究人员预先指定实现目标精度所需的最小预算，作为当 $\theta_{null} = 0.5$ 时的保守上限。

实验设计

作者使用基于伯努利试验（单组二元数据）的合成数据模拟对这些方法进行了评估：

规模： $M = 5,000$ 个独立的序列，每个序列最多包含 $N_{max} = 1,500$ 次试验。
参数： $\theta_{null} = 0.5$ ，ROPE = $[0.45, 0.55]$ ( $\Delta_{ROPE} = 0.1$ )，以及 $\omega_{goal} = 0.08$ 。
场景： 在 $\theta_{true}$ 从 0.5 到 0.8 的一系列真实参数范围内进行测试，包括 $\theta_{true} = \theta_{null}$ 的“公平硬币”情形。

3. 关键结果

模拟表明，DPitG 成功平衡了偏差、确定性与采样成本之间的权衡。

“公平硬币”情形下的表现 ( $\theta_{true} = 0.5$ )

HDI+ROB： 实现了较高的确定性率（98.2%），但产生了 6.3% 的假阳性率（错误地拒绝了零假设）。
PitG： 实现了 零假阳性，但遭受了 62.1% 的不确定率，在大多数零假设为真的情况下未能提供结论。
DPitG： 在公平硬币场景下实现了 97.8% 的确定性率 且 零假阳性。
- 成本： DPitG 的中位数采样成本仅比 PitG 高出 4.7%。
- 效率： 虽然 PitG 在 $N_{goal}$ 处停止，但 DPitG 在精度与确定性早期对齐的情况下也会在 $N_{goal}$ 处停止；而在需要解决不确定状态时，它会适度延长采样。

敏感性与总体趋势

对 $\omega_{goal}$ 的鲁棒性： 当 $\omega_{goal}$ 变紧或变松时，PitG 的确定性率波动巨大（在 $\omega_{goal} = 0.10$ 时降至 0%），而 DPitG 在整个范围内均保持了高确定性率（>97%）。
偏差： HDI+ROPE 算法表现出显著的估计偏差 ( $\hat{\theta}$ )，因为它可能会在偏斜且低精度的样本上停止。PitG 和 DPitG 均保持了 接近于零的总体偏差，涵盖所有 $\theta_{true}$ 值。然而，论文指出，虽然总体差异微乎其微，但 当对称性被打破时（例如 $\theta_{true} \neq 0.5$ ），某些偏差会显现；在 ROPE 内部，PitG 在确定性实验中的偏差略高于 DPitG，而在不确定实验中情况则相反。
泛化性： 当 $\theta_{true}$ 远离零假设时，DPitG 优于 PitG 的优势（更高的确定性且成本增加可忽略不计）依然存在，且该框架可扩展至连续型结果和两组比较。

4. 核心贡献

提出的算法 (DPitG)： 一种新的序贯停止规则，通过强制执行双重准则（精度 + 确定性）来消除 PitG 的高不确定率，同时保持其近乎零偏差的特性。
闭式规划公式： 推导了 $N_{goal} \propto V/\omega_{goal}^2$ ，为研究人员提供了一种可预先指定、符合预注册标准的计算方法，用于根据给定的精度目标计算必要的样本量。
实证验证： 全面的模拟证据表明，在公平硬币场景下，DPitG 将 PitG 的不确定率从约 62% 降低到约 2%，而中位数成本仅增加了约 5%，且未产生耦合方法的假阳性成本。
实用工具： 提供在线交互式计算器和开源代码，以促进这些方法在应用场景中的采用。

5. 意义与主张

本文将 DPitG 定位为适用于需要 可靠结论 且研究能够承担至少 $N_{goal}$ 次观测成本的场景的首选方法。

解决张力： DPitG 通过将精度设定为停止的 必要但不充分 条件，解决了 PitG 中固有的张力。它确保了当研究停止时，结果既是精确的，也是具有确定性的。
科学严谨性： 该方法支持对零假设进行严谨的确认，而这正是 NHST 所缺乏且目前受限于 PitG 高不确定率的能力。这对于生物等效性、"无害化"测试和失效停止（futility stopping）等领域至关重要。
预注册兼容性： 由于停止规则是完全预先指定的（基于 $N_{goal}$ 和 $\omega_{goal}$ 而非依赖数据的阈值），它符合预注册标准，并解决了设计阶段不精确性所引发的问题。
认识论上的诚实： 作者认为精度要求是一个特性而非缺陷。它强制执行现实的规划，防止分析师在数据不足的情况下宣布结论。如果数据无法在预算内支持结论，DPitG（与 PitG 一样）不会强行给出错误结论，但与 PitG 不同的是，它通过仅在必要时延长采样预算，最大限度地减少了此类“不确定”结果出现的频率。

论文总结道，虽然在某些场景下 DPitG 可能需要比 PitG 略微增加样本量，但与获得确定性以及避免像 HDI+ROPE 这种耦合方法所带来的系统性假阳性错误相比，这一成本是微不足道的。