📊 statistics

Balancing Evidentiary Value and Sample Size of Adaptive Designs with Application to Animal Experiments

本文提出实验单元信息指数（EUII），这是一种新颖的指标，通过平衡统计误差率与样本量来量化单个实验单元的证据价值，并展示了其在优化适应性动物实验中的效用，即能在保持可靠推断的同时减少样本量。

原作者： Leonhard Held, Fadoua Balabdaoui, Saverio Fontana, Samuel Pawel

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Leonhard Held, Fadoua Balabdaoui, Saverio Fontana, Samuel Pawel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位在动物身上进行实验的科学家。你的目标是确定一种新疗法是否有效。但同时，你也肩负着道德和实际的双重责任：你希望在确保结果真实可靠、而非仅仅是运气使然的前提下，尽可能少地使用动物（即“减少”原则）。

通常，科学家们会进行一种微妙的平衡。如果使用的动物太少，可能会漏掉真实的效果；如果使用的动物太多，则是在浪费资源。传统上，他们通过比较两个数值来评估不同的实验设计：犯“假警报”错误的频率（I 类错误）和成功发现真实效果的频率（统计功效）。

但本文提出了一种看待该问题的新方式。它问道：“一只单独的动物究竟能给我们提供多少有用的信息？”

以下是他们观点的分解，辅以简单的类比：

1. 旧方法的弊端

想象你试图判断一枚硬币是公平的还是偏倚的。

方法 A：你抛掷硬币 100 次。你得到了一个明确的答案。
方法 B：你抛掷硬币 10 次，但你稍微“作弊”了一点：你提前窥视结果，一旦发现某种模式就停止。你更快地得到了答案，但这种“作弊”会使你的错误率略微升高。

传统上，比较方法 A 和方法 B 很困难，因为它们关于“作弊”（错误率）的规则不同，成本（抛掷次数）也不同。仅凭查看原始数据，你很难轻易断定哪一种“更好”。

2. 新工具：“动物信息得分”（EUII）

作者们创造了一个名为实验单元信息指数（EUII）的新得分。你可以将其理解为"每只动物的价值"得分。

为了理解这一点，他们借用了医学诊断中的一个概念，即诊断优势比。

想象一种针对某种疾病的医学检测。一个“好”的检测是指：阳性结果强烈暗示你患病，而阴性结果强烈暗示你健康。
作者们意识到，统计实验就像医学检测一样。这里的“疾病”就是“疗法有效”这一假设。
他们计算出了一个得分，告诉你：“如果我在实验中再增加一只动物，我在辨别真伪方面的能力会提高多少？”

如果得分很高，意味着你使用的每只动物都在竭尽全力为你提供清晰的答案。如果得分很低，则意味着你正在将动物浪费在那些帮助不大的数据上。

3. “提前停止”技巧（适应性设计）

本文重点关注适应性设计。这就像一位不固守僵化计划的侦探。

原计划：“我将采访 100 名证人。”
适应性转折：“我将逐一采访证人。如果在第 20 号证人那里我找到了确凿证据（效力停止），我会立即停止；如果在第 30 号证人那里我发现故事毫无逻辑，我会立即停止，因为继续下去是浪费时间（无效停止）。”

这节省了动物（或证人），因为一旦你已经知道了答案，就不必再采访其余的人。然而，提前停止会改变数学计算。由于使用的动物数量不再是固定的，这使得“每只动物的价值”计算变得棘手。

4. 他们的发现

作者们将这种新的“每只动物的价值”得分应用于数千项真实的过往动物实验（约 2,700 项），以观察如果采用这些“提前停止”规则会发生什么。

重大胜利：他们发现，使用“提前停止”规则（特别是其中一种称为Pocock 设计的类型）可以节省大量动物。在他们的模拟中，通过在结果显而易见时提前停止，他们本可以在这些研究中节省超过13,000 只动物。
权衡：有时，提前停止意味着你拒绝“零假设”（即断言疗法有效）的频率略低于刚性设计。但作者们认为这没关系，因为剩余动物所提供的信息质量更高。
胜出者：在不同的“提前停止”策略中，Pocock 方法（使用一致且略微宽松的提前停止阈值）通常给出了最高的“每只动物的价值”得分。它在从每只被使用的动物身上榨取信息方面是最有效率的。

5. "N 黑客”争议

本文还考察了另一位名为 Reinagel 的研究人员提出的一种称为"N 黑客”（或“约束性样本扩充”）的方法。

理念：如果结果看起来“几乎显著”，就再添加几只动物，看看是否能跨过那条线。如果看起来毫无希望，就停止。
陷阱：这种方法在技术上增加了犯假警报（I 类错误）的几率。
裁决：作者们发现，即使错误率较高，Reinagel 的方法在节省动物方面也非常高效，并且拥有很高的“每只动物的价值”得分。然而，他们指出，严格控制错误的 Pocock 方法仍然是一个强有力的竞争者，并且在不同情况下往往表现得同样好甚至更好。

结论

这篇论文不仅仅是在说“少用动物”。它提供了一把数学标尺，用于精确衡量每只动物贡献了多少信息。

通过使用这把标尺，他们表明，提前停止实验（当答案清晰或当情况无望时）是遵循“减少”原则的明智之举。它使科学家能够在减少动物使用的同时获得可靠的答案，而无需牺牲科学的可靠性。Pocock 设计脱颖而出，成为在动物研究中实现这一平衡的首选方案。

技术摘要：平衡适应性设计的证据价值与样本量及其在动物实验中的应用

问题陈述
在动物研究中，3R 原则（替代、减少、优化）中的“减少”（Reduce）支柱主张在保持可靠统计推断的同时，最小化实验单元的数量。标准统计假设检验通常侧重于控制第一类错误率（ $\alpha$ ）并最大化检验效能，往往忽略预期样本量或将其视为固定约束。这在比较不同实验设计时构成了挑战，特别是那些允许为有效性或无效性而提前终止的适应性设计（例如，组序贯设计）。此类设计导致样本量随机化，使得直接比较效能和错误率变得困难，尤其是当设计具有不同的第一类错误率或预期样本量时。现有的性能评分往往未能考虑样本量的变化，或者需要对各组成部分进行任意加权。本文旨在解决对统一指标的需求，该指标需平衡第一类错误、检验效能和样本量，以量化单个实验单元的证据价值。

方法论
作者提出了一种名为**实验单元信息指数（EUII）**的新颖度量。该方法论基于以下逻辑步骤构建：

诊断似然比：作者将诊断测试中的概念调整应用于统计假设检验。他们定义了测试结果的阳性和阴性似然比（ $LR_+$ 和 $LR_-$ ）：
- $LR_+ = \text{检验效能} / \text{第一类错误率}$
- $LR_- = (1 - \text{检验效能}) / (1 - \text{第一类错误率})$
  这些比率关联了在获得显著或非显著结果时，备择假设（ $H_1$ ）为真的几率。
诊断优势比（DOR）：DOR 定义为这些似然比的比率（ $DOR = LR_+ / LR_-$ ）。它量化了测试区分 $H_1$ 和 $H_0$ 的能力，既可从频率学派角度解释为 $H_1$ 与 $H_0$ 下显著性几率的比率，也可从贝叶斯学派角度解释为给定显著与非显著结果时 $H_1$ 的后验几率的比率。
样本量归一化（EUII）：为了考虑实验单元数量（ $n$ ），作者提出取 DOR 的 $n$ 次方根：
$EUII = DOR^{1/n} = \frac{(LR_+)^{1/n}}{(LR_-)^{1/n}}$
这代表了单个实验单元对整体证据价值的几何平均贡献。一个有用的测试其$EUII > 1$。
扩展至适应性设计：对于样本量 $N$ 随机的适应性设计，作者对 EUII 进行了推广。由于似然比以乘法方式作用于几率，该指数使用显著（ $N_+$ ）和非显著（ $N_-$ ）发现时的预期逆样本量来定义：
$EUII = (LR_+)^{E(1/N_+)} / (LR_-)^{E(1/N_-)}$
该公式考虑了样本量的变异性（通过变异系数），并需要输入备择假设的先验概率 $Pr(H_1)$ ，以加权零假设和备择假设下的预期逆样本量。

主要贡献与结果

理论性质：本文推导了固定样本量下 EUII 的渐近值。对于单样本 $z$ 检验， $\lim_{n \to \infty} EUII = \exp(\delta^2/2)$ ，其中 $\delta$ 是标准化效应量。对于双样本检验，该极限为 $\exp(\delta^2/8)$ 。这表明渐近证据价值仅取决于备择假设下假设的效应量。
激励性案例研究（Bonapersona 等人，2021）：作者重新分析了 2,738 项神经科学和代谢领域的动物实验。通过模拟中期分析，他们证明了带有无效性终止的组序贯设计可以节省大量动物（例如，带有无效性终止的 Pocock 设计在该数据集中节省了约 13,500 只动物），同时保持合理的拒绝率。
组序贯设计的比较：在比较 Pocock、O'Brien-Fleming 和 Haybittle-Peto 设计（有无无效性终止）的模拟中，EUII 揭示：
- 适应性设计通常比固定样本量设计产生更高的 EUII 值。
- Pocock 方法始终表现出最高的 EUII，特别是与无效性终止结合使用时。这归因于其恒定的名义显著性水平，允许在零假设下更早终止，从而减少非显著发现时的预期样本量。
- EUII 对先验概率 $Pr(H_1)$ 敏感，尽管方法的相对排序通常保持稳定。
对“约束样本扩增”（N-hacking）的评估：本文评估了 Reinagel（2023）提出的“约束样本扩增”方法，该方法涉及在观察到“显著性趋势”时添加数据，前提是如果 $p > 0.1$ $p > 0.1$ 则应用无效性终止。
- 虽然该方法会膨胀第一类错误率，但 EUII 分析显示，它每单元可实现较高的证据价值，通常优于不带无效性终止的标准组序贯方法。
- 然而，当标准组序贯方法（如 Pocock）也配备基于预测效能的无效性终止时，它们通常能达到或超过 Reinagel 方法的 EUII，特别是在效应量较大的情况下。

意义与主张
本文主张，EUII 提供了一种“单个实验单元证据价值的度量”，允许直接比较具有不同第一类错误率、检验效能水平和预期样本量的统计设计。

实用价值：作者认为，EUII 在动物研究中尤为有用，因为该领域的目标是最大化每只动物的信息量。它提供了一个单一指标来平衡错误率与样本量效率之间的权衡。
设计选择：结果表明，对于动物实验，结合无效性终止的具有恒定显著性阈值（如 Pocock）的组序贯设计通常是最佳的，因为它们在不牺牲证据价值的情况下，最小化了零假设下的预期样本量。
适度范围：作者承认，EUII 依赖于先验概率 $Pr(H_1)$ 的设定和假设的效应量。他们指出，在实践中，EUII 通常需要通过模拟进行估计。本文并不主张 EUII 是检验效能计算的替代品，而是作为设计选择和优化的补充指标，特别是在 3R 原则的背景下。

本文结论认为，EUII 成功地将频率学派的错误率与贝叶斯后验几率整合为一个经样本量调整的指标，为评估和优化临床前研究中的适应性实验设计提供了一个稳健的框架。