Prior-Free Sample Size Design for Test-and-Roll Experiments

技术摘要：测试 - 推广实验的无先验样本量设计

问题表述
本文解决了在规模为 $N$ 的有限总体中进行的“测试 - 推广”（test-and-roll）实验的样本量设计问题。在此设定下，决策者首先对 $m$ 个单元的子集进行随机对照试验（RCT），其中 $m/2$ 个单元被分配至处理组，$m/2$ 个单元被分配至对照组。基于观测到的结果，决策者将剩余的 $N-m$ 个单元分配给在实验中表现更优的处理臂。

目标是最大化整个总体的预期总福利，即 $E[\sum_{i=1}^N Y_i]$。这产生了一个根本性的探索 - 利用权衡：

1. 探索成本：增加 $m$ 会提高识别更优处理的准确性，但会对实验单元造成福利损失，因为事后有一半的单元不可避免地会被分配至较差的处理。
2. 利用风险：减少 $m$ 会降低实验单元的即时福利损失，但会增加做出错误推广决策的风险，从而将较差的处理分配给更大的剩余总体（$N-m$）。

核心挑战在于，真实的处理效应在事前是未知的。本文寻求一种无先验的设计规则，以避免现有基于福利的方法所特有的对主观贝叶斯先验或任意超参数的敏感性。

方法论与对现有标准的批判
作者首先分析了标准的绝对极小化最大遗憾（Absolute Minimax Regret）准则，该准则选择样本量 $m$ 以最小化相对于知晓真实处理效应的“神谕”（oracle）的最坏情况遗憾。

• 局限性：本文证明，该准则会导致实验样本量小得不可思议（例如，当 $N=10,000$ 时，$m/N \approx 2.3\%$）。
• 失效机制：在绝对极小化最大遗憾框架中，最坏情况的对手集中在最大化绝对处理效应（$|\tau|$）的参数值上。在这种极端情况下，探索成本（$m/2 \cdot |\tau|$）主导了遗憾函数，导致该准则过度惩罚探索并将样本量抑制至接近零。

为了解决这一问题，作者提出了最坏情况边际收益（Worst-case Marginal Benefit, WMB）规则。

• 核心概念：WMB 规则不是最小化总的最坏情况遗憾，而是在边际上评估权衡。它将增加一个匹配对到实验中的最坏情况边际收益与相应的边际探索成本进行比较。
• 停止规则：只要额外增加一个匹配对的最坏情况边际收益超过边际成本，实验就继续进行。最优样本量 $\hat{m}_{WMB}$ 是最小的偶数 $m$，使得最坏情况边际收益比率 $\eta(m, \mu_1, \mu_0)$ 降至 1 或以下。
• 定义：
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  其中 $\eta$ 衡量每单位新增探索成本所减少的预期推广错误（即节省的单元数）。

主要结果

1. 三分之一法则基准：
   本文建立了一个简单、无先验的最优样本量基准：
   $$\hat{m} \approx \frac{N}{3}$$
   该结果在两种不同条件下成立：

   • 伯努利结果：通过高斯近似，WMB 准则得出 $\hat{m} \approx N/3$。作者严格证明，精确的伯努利问题需要排除一种“边界罕见事件病理”情况（即一个处理臂的方差为零，而另一个处理臂的成功概率为 $O(1/N)$ 量级且趋于零）。在这种病理情况下，最优样本量趋近于 $N/2$。然而，对于规则的内部状态（即处理效应非退化），最不利的参数集中在对角线附近（$\mu_1 \approx \mu_0$），高斯近似变得有效，从而导出了 $N/3$ 法则。
   • 高斯结果（已知方差）：对于服从具有已知公共方差的高斯分布的结果，$N/3$ 基准精确成立，无需渐近近似或排除边界情况。边际比率函数的连续松弛产生了一个闭式解，其中最坏情况边际收益 $\leq 1$ 当且仅当 $m \geq N/3$。

2. 对手的行为：
   在 WMB 规则下，最坏情况对手的行为与在绝对极小化最大遗憾下不同。对手不是选择极端的处理效应以最大化总遗憾，而是选择最大化继续实验的边际收益的参数值。在内部区域，这些最不利的状态集中在对角线附近（$\mu_1 \approx \mu_0$），即区分处理最为困难的地方。

3. 数值验证：
   数值研究证实，对于较小的 $N$，边界效应会将样本量推向 $N/2$。随着 $N$ 的增加，最不利的参数远离边界，最优样本量稳定在 $N/3$ 附近。

意义与贡献
本文声称提供了一种可实际实施的、无先验的基于福利的样本量设计指南。

• 实用性：所得规则（$m \approx N/3$）仅依赖于总体规模 $N$。它不需要决策者指定主观先验、先验方差或其他调整参数，而这些在实践中往往难以证明其合理性。
• 理论稳健性：通过从总遗憾最小化转向边际收益分析，本文避免了标准极小化最大遗憾准则中固有的对探索的“过度惩罚”。
• 福利导向：与传统的功效分析（用于控制假设检验中的 I 类/II 类错误）不同，该方法直接优化有限总体的福利目标，明确平衡了实验成本与次优推广风险。

作者得出结论，WMB 规则为有限总体测试 - 推广实验中的探索 - 利用权衡提供了一个稳健的解决方案，提供了一个清晰、理论依据充分且独立于主观先验信念的停止规则。