📊 statistics

Selective Randomization Inference for Adaptive Experiments

本文提出了一种名为选择性随机化推断的通用框架，该框架利用条件事后推断和有向无环图，在不依赖建模假设或独立同分布数据的情况下，为自适应实验执行有效的统计检验并构建置信区间。

原作者： Tobias Freidling, Qingyuan Zhao, Zijun Gao

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Tobias Freidling, Qingyuan Zhao, Zijun Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，正在试图解开一个谜团。在标准的调查中，你在开始查看线索之前，就确切地决定了要问哪些问题以及如何收集证据。你坚持该计划，并在最后根据这一固定计划计算你猜对的概率。

但在现实世界中，科学往往运作方式不同。它更像是一名侦探，查看了前几条线索后，意识到嫌疑人藏匿在某个特定街区，于是决定将所有精力集中在那个街区。这被称为适应性实验。它很聪明，因为它节省了时间和资源，但也制造了一个棘手的统计问题：选择偏差。

问题：“不公平”的比较

这篇论文解释说，如果你根据所见内容改变计划，就不能仅仅使用旧规则来评判你的结果。

骰子的类比：
想象你正在掷骰子，以查看一款新游戏是否公平。

第一轮： 你掷骰子 10 次。你看到数字"6"不断出现。
决定： 因为"6"看起来很有希望，你决定：“好吧，从现在开始，我只关心数字 6。我将忽略所有其他数字。”
第二轮： 你又掷了 10 次骰子，但这次你只计算"6"。

如果你尝试使用标准数学来计算出现如此多"6"的概率，你会算错。为什么？因为你不仅仅是掷了骰子；你选择专注于"6"，是因为你在第一轮看到了它发生。你“挑拣”了数据。如果你将你的结果与标准掷骰子（即你没有挑选任何数字的情况）进行比较，那就是在拿苹果和橘子做比较。你本质上是在游戏进行到一半后通过改变规则来作弊。

解决方案：“选择性随机推断”

作者 Tobias Freidling、Qingyuan Zhao 和 Zijun Gao 提出了一种新的数学方法，称为选择性随机推断（Selective Randomization Inference）。

把它想象成一个尊重你侦探工作的“如果”模拟。

他们不再问：“如果我坚持原计划，这种情况发生的概率是多少？”（这不公平，因为你并没有坚持原计划），而是问：

“如果我在第一轮以不同的方式掷骰子，但最终仍然决定专注于数字 6，我的结果出现的可能性有多大？”

用论文的语言解释其工作原理：

设置： 他们使用“有向无环图”（DAG），这只是一个展示事物如何相互关联的复杂流程图（例如：查看数据 $\to$ 选择子群 $\to$ 分配处理）。
条件： 他们只将你的实际实验与那些会导致完全相同的专注于该特定子群决定的其他可能实验进行比较。
结果： 这为你提供了一个“选择性 P 值”。它告诉你在你做出了特定选择的前提下，你的结果发生的概率。

为什么这比“数据拆分”更好

在这篇论文之前，针对这个问题的常见建议是数据拆分。

旧方法： 扔掉你的前半部分数据（即让你改变想法的那部分），只使用后半部分进行计算。
隐喻： 这就像一位厨师尝了汤，决定需要加更多盐，然后为了证明盐有效而扔掉前半部分汤。这很安全，但很浪费。你丢失了大量信息。

作者的新方法就像数据雕刻。

新方法： 你保留所有数据。你只是承认部分“风味”（信息）被用于做出加盐的决定。你在数学上“雕刻”出用于决策的部分，仅将剩余的“剩余”信息与类似场景进行比较。
好处： 你获得了更强大的检验。你使用了所有可用的数据，但不会因中途做出了选择而被误导。

“保留”技巧

这篇论文还提到了一种实用的技巧，可以使数学计算更简单，结果更平滑。有时，如果你使用所有数据来做决定，数学计算会变得参差不齐且不稳定（就像一条颠簸的道路）。

为了解决这个问题，他们建议使用一个**“保留”组**。

隐喻： 想象你是一位正在给班级打分的老师。你查看前 10 名学生的试卷，以决定哪个主题最难。然后，你决定将期末考试的重点放在该主题上。但是，为了公平地给期末考试打分，你只查看最后 10 名学生的分数，他们不属于你用来做决定的那个群体。
在论文中，他们表明，如果使用“保留”组（未用于决策的数据），数学计算会变得更加平滑和可靠，同时仍然非常强大。

主张总结

该论文声称：

适应性实验很常见（在医学、社会科学等领域），但由于规则会根据数据而变化，因此难以分析。
标准方法失效，因为它们忽略了研究人员根据数据做出选择这一事实，从而导致假阳性（认为某种治疗有效，而实际上并非如此）。
他们的新方法（选择性随机推断）通过仅将真实实验与研究人员会做出相同选择的“平行宇宙”进行比较，解决了这一问题。
它不需要对数据分布做出任何假设（它不假设数据遵循正态分布或相互独立），仅依赖于处理分配的随机性。
它比扔掉数据（数据拆分）更强大，因为它使用了所有可用信息，只是加上了更谨慎的数学过滤。

简而言之，这篇论文为科学家提供了一套新的、公平的规则手册，用于分析那些在游戏过程中改变策略的实验，确保他们的结论是坚实的，而不仅仅是他们选择查看数据的方式带来的幸运巧合。

技术摘要：自适应实验的选择性随机化推断

问题陈述

自适应实验利用初步数据分析来指导后续阶段的招募和治疗分配，在医学和社会科学中日益普遍。然而，标准统计推断方法在这些设定中往往失效，因为零假设和实验设计变得依赖于数据。这种“选择”引入了偏差，使得朴素的随机化检验无效，因为它们忽略了未来的设计选择是基于过去结果这一事实。虽然现有解决方案存在，但它们通常局限于特定的自适应设计（例如多臂多阶段试验），或者依赖于在有限总体中可能不成立的强参数假设和渐近近似。此外，简单的数据拆分方法虽然有效，但效率低下，因为它们丢弃了用于选择的第一阶段所包含的信息。

方法论

作者提出了一种选择性随机化推断（Selective Randomization Inference, SRI），这是一种用于分析自适应实验的通用、无模型框架。核心方法论将条件选择后推断与随机化推断原则相结合。

1. 因果框架与假设

作者使用有向无环图（DAGs）对具有 $K$ 个阶段的自适应实验进行建模。他们定义了一个涉及以下内容的通用设置：

招募（ $R_k$ ）： 建模为随机事件，其中被招募单元的集合可以依赖于先前的数据。
治疗分配（ $Z_k$ ）： 由实验者随机化，但可能依赖于协变量和过去的结果。
选择统计量（ $S_k$ ）： 观测数据的确定性函数，决定后续阶段的设计（例如，招募哪些亚组）。

有效性需要三个最小假设：

(A1) 已知顺序分配： 治疗分配 $q(z | r, x, y)$ 的分布是已知的。
(A2) 条件独立性： 给定过去观测数据和当前协变量，第 $k$ 阶段的治疗分配与潜在结果条件独立。
(A3) 选择充分性： 选择统计量 $S_{k-1}$ 捕获了所有影响第 $k$ 阶段招募和治疗分配的先前阶段信息。

2. 选择性随机化 P 值

核心贡献是定义了一个选择性随机化 P 值（ $P_{sel}$ ）。与将观测到的治疗分配 $Z$ 与所有可能的随机分配进行比较的朴素 P 值不同， $P_{sel}$ 以发生的具体选择事件为条件。

形式上，设 $Z^*$ 为从顺序分配分布中抽取的反事实治疗分配。P 值定义为：
$P_{sel} = P\left( T(Z^*, \dots) \leq T(Z, \dots) \mid R, X_R, Y_R(\cdot), Z, S(Z^*) = S(Z), G(Z^*) = G(Z) \right)$
其中：

$T$ 是检验统计量。
$S(Z^*) = S(Z)$ 确保反事实分配导致与观测数据相同的设计选择。
$G(Z^*) = G(Z)$ 是“部分尖锐”零假设所需的额外条件统计量，以确保未观测到的潜在结果可以被插补。

作者证明，该 P 值在随机序上占优于均匀分布，从而控制了选择性第一类错误（即在给定选择事件条件下的错误率）。

3. 计算方法

由于条件分布的支持集（满足 $S(Z^*)=S(Z)$ 的分配）通常难以枚举，作者提出了蒙特卡洛近似：

拒绝采样： 简单，但如果满足选择约束的概率较低，则可能效率低下。
随机游走 Metropolis-Hastings (RWM)： 一种在可行分配空间上构建链的马尔可夫链蒙特卡洛（MCMC）算法。作者提供了理论保证，证明该链收敛到正确的平稳分布，并且由此产生的 P 值即使在链被限制在特定通信类中时，也能控制选择性第一类错误。

4. 估计与置信区间

该框架通过反转选择性假设检验扩展到构建同质治疗效应的置信区间。作者指出，以选择为条件可能导致非单调的 P 值曲线，使区间构建复杂化。为了缓解这一问题，他们建议使用保留单元（未用于选择的数据）来平滑 P 值曲线，并确保行为良好的置信集。

关键结果

该论文通过模拟研究和对真实世界数据（SPRINT 试验）的假设分析验证了该方法：

有效性： 在零假设为真的模拟中，朴素随机化检验（RT）表现出膨胀的第一类错误率（置信区间覆盖率不足），而提出的 SRT 和数据拆分方法（RT 2nd）则正确控制了选择性第一类错误。
功效： SRT 通常显示出比数据拆分方法（RT 2nd）更高的统计功效。通过以选择事件为条件而不是丢弃第一阶段，SRT 利用了初始阶段“被遗漏”的信息，从而产生更紧的置信区间和对错误零假设更高的拒绝概率。
计算： 虽然拒绝采样很直接，但在选择约束罕见时计算成本可能很高。RWM 采样器提供了一种更高效的替代方案，其性能在测试场景中很大程度上不受窗口大小选择的影响。
真实数据应用： 在源自 SPRINT 试验的假设性两阶段富集试验中，对于选定的亚组，SRT 产生的 P 值（0.048）小于数据拆分方法（0.314），证明了其能够检测到因样本量减少而可能被数据拆分方法遗漏的效应。

意义与主张

该论文声称提供了一种用于自适应实验推断的通用、无模型框架。其意义在于以下几个关键方面：

通用性： 与局限于特定设计（例如响应自适应随机化或多臂试验）的先前方法不同，该方法适用于广泛的自适应设计类别，包括富集设计和复杂的招募规则。
无模型性质： 该方法仅依赖于治疗分配的随机性，无需对结果分布、数据点的独立性或参数模型做出任何假设。这使其成为随机化实验的稳健“默认”检验。
效率： 它通过利用所有可用数据并严格校正选择偏差，克服了数据拆分的低效性。
监管相关性： 作者认为，从监管角度来看，控制条件第一类错误至关重要，因为它将选定的假设视为既定事实，从而允许在随机化实验中对证据进行客观评估。

作者将这项工作定位为对现有超总体框架的补充，提供了一种最小化建模假设的有限总体替代方案。他们承认，虽然理论框架已经建立，但关于最佳检验统计量选择和处理脱落病例的实际扩展仍是未来研究的领域。