📈 economics

When and How to Pilot: Design Rules for Two-Wave Experiments

本文针对两阶段实验提出了一种条件最小化最大遗憾（Conditional Minimax Regret, CMR）规则，该规则通过最小化有限样本置信集上的最坏情况遗憾，在平衡分配的稳健性与内曼分配（Neyman allocation）的效率之间实现了最优平衡，从而既避免了自适应方法在小规模试点阶段造成的严重精度损失，又捕捉到了其在大规模实验中的收益。

原作者： Juan C. Yamin

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Juan C. Yamin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜团的侦探，但你的线索储备有限。你想知道哪个嫌疑人是有罪的，但你不知道谁隐藏了最多的秘密。在科学世界中，研究人员运行“实验”来寻找答案，比如测试一种新药是否有效，或者一种新的教学方法是否能帮助学生学习。为了做到这一点，他们将人群分为两组：一组是接受“治疗”组（获得新事物），另一组是“对照”组（什么都不得到，或者得到旧事物）。目标是通过比较这两组来观察差异。

但棘手的部分在于：并不是每个人的反应都一样。有些人非常稳定；而另一些人则完全不可预测。如果“治疗”组里全是变幻莫测的人，你就需要测试更多的他们才能得到清晰的答案。如果“对照”组里全是这种“变数”，你也需要更多的他们。大问题是：在正式调查开始之前，你如何知道哪一组是那个“变数”组？

科学家们通常会先进行一次微小的“试点”（pilot）测试——即对真实情况进行一次小规模的尝试——以获取一些暗示。但这产生了一个困境。如果你太信任试点，你可能会被一个偶然现象所欺骗（就像抛两次硬币都是正面，就以为这枚硬币是被操纵的）。如果你完全忽略试点，你可能会失去一个获得更精准答案的机会。这篇论文讨论的是如何在利用这些微小的试点暗示来设计大型实验时，在过于谨慎和过于鲁莽之间找到完美的平衡。

伟大的实验平衡术

想象一下，你是一位正在为1,000名宾客准备盛大宴会的厨师。你有两道主菜：香辣咖喱和清淡炖菜。你想知道人们更喜欢哪一个。但你也知道，有些食客非常挑剔（他们的口味变化很大），而另一些人则非常稳定。如果你把香辣咖喱端给一群挑剔的食客，你需要为更多的人提供咖喱，才能弄清楚平均意见。如果你把清淡炖菜端给一群稳定的食客，你就不需要那么多人。

“完美”的计划应该是，如果咖喱是针对挑剔食客的，那么你会把咖喱分给800人，把炖菜分给200人。这被称为内曼分配（Neyman allocation）（以一位几十年前发现此规律的统计学家命名）。这是获取答案最有效率的方式。

但问题在于，你现在还不知道谁是那些挑剔的食客！你必须在宴会开始前决定分配比例。

于是，你决定先做一顿微小的“试点”餐。你邀请了30个人来试吃这些菜肴。至关重要的一点是，每个人只能尝试一道菜。 有些人吃咖喱，有些人吃炖菜。根据这些特定人群的反应，你来规划那场盛大的宴会。

旧有的方式：

“不愿冒险”的厨师： 这位厨师完全忽略试点。他们只是将1,000名宾客进行50/50的平分。这很安全。无论发生什么，他们都不会意外地导致咖喱供应不足以应对挑剔的食客。但如果试点确实显示出巨大的差异，他们可能会错失获得超高精确度的机会。
“信任试点”的厨师： 这位厨师看了看那30名试点试吃者，说道：“嘿，咖喱组的表现超级不稳定！我要把咖喱分给900人！”但如果那30名试点试吃者只是恰好那天心情不好呢？如果咖喱其实很好，但试点组只是刚好表现得很“吵闹”（数据波动大）呢？这位厨师可能会最后把咖喱分给900人，而实际上他们只需要200人，从而浪费资源，并得到比平分时更差的结果。在最坏的情况下，如果其中一道菜的试点组表现得非常完美（每个人对它的喜爱程度完全一致），这位厨师可能会决定给零人提供那道菜，导致完全没有数据可用。

新的解决方案：条件极小极大遗憾（Conditional Minimax Regret, CMR）法则
本文作者胡安·亚明（Juan Yamin）提出了另一种思考方式。他称之为**条件极小极大遗憾（CMR）**法则。

把CMR想象成一位非常聪明、甚至带点“被害妄想症”的厨师，他利用试点数据来绘制一个“安全区”，而不是仅仅做一个单一的猜测。

他不会说：“咖喱肯定是不稳定的。”相反，他会说：“基于这3于30个人，咖喱可能是不稳定的，但也可能是稳定的。这是一个可能性的范围。”
如果试点数据很弱（只有30人），“安全区”就会很大。厨师会意识到：“我还不能确定，”所以他们会紧贴着安全的50/50分配比例。
如果试点数据很强（有500人），“安全区”就会缩小。厨师现在可以说：“好吧，我挺确定咖喱是那个‘变数’了，”于是他们会将分配比例向咖喱组倾斜。

CMR的魔力在于，除非证据足够强大到可以排除“运气不好”的情景，否则它绝不会移动得“太过分”。它附带一份证书（certificate）——一张小纸条，上面写着：“即使我错了，这是最坏的情况，而且情况也不会太糟。”

这篇论文的研究结果

这篇论文不仅仅是在空谈理论；它通过数学进行了证明，并通过使用著名过去实验（如在非洲对儿童进行驱虫研究或测试简历中的就业歧视问题）的真实数据进行了模拟测试。

结果：

“信任试点”的厨师（可行性内曼分配法）在试点规模较小时非常危险。 当试点规模较小（如30人）时，这种方法经常犯下巨大错误。在模拟中，它有时会导致实验效率极低，仿佛研究人员扔掉了半数的数据。在某些情况下，它甚至试图给某个实际需要测试的组分配零人，这简直是一场灾难。
“不愿冒险”的厨师虽然安全但错失良机。 他们从不犯大错，但也无法获得一个好的试点所能提供的额外精确度。
CMR厨师是“金发姑娘原则”下的完美选择（既不过度也不不足）。 当试点规模较小时，CMR会保持接近安全的50/50分配，从而避免“信任试点”厨师那种巨大的灾难。但随着试点规模变大、数据变得清晰，CMR会平滑地转向理想的分配比例，几乎捕捉到了“信任试点”法的所有好处，同时规避了风险。

在模拟中，当试点规模较小（30人）时，“信任试点”法有时会彻底失败（损失无限），而CMR则保持安全。当试点规模增长到500人时，CMR赶上了进度，其表现几乎与完美方法一样出色，但它自带一种保证：即便试点只是个偶然的偏差，它也不会崩溃。

为什么这很重要

这篇论文解决了一个科学家每天都会遇到的非常具体且令人烦恼的问题：我该在多大程度上信任我的小型测试运行？

答案是：信任它到足以让你做出调整，但不要信任到让你坠入悬崖。

论文表明，你不需要在“胆小鬼”（忽略试点）和“赌徒”（把一切押注在试点上）之间做选择。你可以使用一种规则，即：“我会根据证据允许我确信自己不会犯错的程度，来精确地调整我的计划。”它将小型数据的可怕不确定性转化为了一个可控且安全的进步步骤。

作者通过四种不同的现实场景测试了这一理论，在每种情况下，他们的新规则都保护了研究人员免受最严重的错误影响，同时在数据良好时仍能让他们获得最佳答案。这就像是一个安全带，只有当你真的遇到颠簸时才会收紧，在保证安全的同时，又不会让旅途变得不舒适。

技术摘要：两阶段实验的设计规则

问题陈述
本文探讨了两阶段实验的设计问题，其中试点研究（pilot study）为后续主阶段的治疗分配概率 ( $\pi$ ) 提供信息。其目标是使平均处理效应（ATE）估计量的方差最小化。虽然最优分配已知为内曼分配（Neyman allocation）——即向具有较高结果方差的一臂分配更多的观测值——但这种分配需要预先知道真实的潜在结果方差 ( $\sigma^2_1, \sigma^2_0$ )，而这些在设计阶段是未知的。

核心矛盾在于如何利用带有噪声的试点估计值。两种经典的方案代表了两个极端：

均衡分配（Balanced Assignment）： 忽略试点，设定 $\pi = 1/2$ 。这是极小极大风险（minimax-risk）最优的（针对最坏情况分布最为安全），但它无法根据“某一臂具有更高噪声”的证据进行调整，从而错失了潜在的精度增益。
可行内曼分配（Feasible Neyman Allocation, FNA）： 直接将试点样本方差代入内曼公式。虽然在渐近意义上是有效的，但在有限样本下非常脆弱。如果试点产生的样本方差为零或接近于零（这在小样本或二元结果中很常见），FNA 可能会向具有正真实方差的一臂分配零或极小的概率，从而导致无限大或任意大的精度损失。

本文将其形式化为一个有限样本统计决策问题：噪声较大的试点证据应该对主阶段设计拥有多少权威？

方法论：条件极小极大遗憾（Conditional Minimax Regret, CMR）
作者提出了**条件极小极大遗憾（CMR）*规则，该规则将决策论的焦点从最小化整个模型类上的最坏情况风险，转向最小化基于实现之试点的有限样本置信集*上的最坏情况遗憾。

该程序的操作如下：

置信集构建： 在观察到试点后，实验者为方差对 $(\sigma^2_1, \sigma^2_0)$ 构建一个联合置信矩形 $\hat{\Theta}_\alpha(\omega)$ 。该矩形通过结合各臂的标准差的单侧经验伯恩斯坦界（empirical Bernstein bounds）来构建，确保真实方差对落在该矩形内的概率至少为 $1-\alpha$ 。
优化： CMR 规则选择分配概率 $p^{CMR}$ ，使其最小化该特定置信矩形上的最坏情况遗憾：
$p^{CMR}(\omega) \in \arg\min_{p \in (0,1)} \sup_{\theta \in \hat{\Theta}_\alpha(\omega)} r(p, \theta)$
其中 $r(p, \theta)$ 是相对于不可行的内曼分配的遗憾。
闭式解： 对于二元处理，该解具有闭式形式。该规则对标准差置信区间的中点应用内曼公式。如果置信矩形很宽（缺乏信息量），则中点趋于一致，规则将退化为均衡分配。随着矩形收缩（信息量增加），规则将向真实的内曼分配移动。
认证（Certification）： 在进行分配的同时，规则报告一个“证书”（ $U^{CMR}$ ），即该置信集上的最坏情况遗憾。这提供了一个关于所选设计所导致的精度损失的有限样本界限。

主要贡献与结果

有限样本安全性： 与 FNA 不同，除非置信集明确排除了某臂存在正方差的可能性（这在所提构造下需要极强的证据），否则 CMR 绝不会分配零概率。该规则保证其遗憾不会差于无试点均衡分配（至多为方差尺度的 1/4），其概率至少为 $1-\alpha$ 。
渐近有效性： 随着试点规模的增大，置信矩形会塌缩到真实方差。CMR 规则以标准的平方根倒数速率 ( $O_p(M^{-1/2})$ ) 收敛于不可行的内曼分配。因此，实现的遗憾和证书以逆试点速率 ( $O_p(M^{-1})$ ) 缩小。
极小极大遗憾率： 本文证明了 CMR 的最坏情况期望遗憾匹配了任何基于试点的规则的理论极小极大遗憾下界（在常数范围内）。因此，CMR 在不需要计算极其困难的精确事前（ex-ante）极小极大问题的条件下，实现了最佳的最坏情况性能速率。
扩展性： 该框架可自然扩展至：
- 多臂设计： 其中一个共享对照组与 $K$ 个处理组进行比较。
- 分层设计： 试点同时为层内抽样边际和层内分配概率提供信息。
- 二元结果： 使用折叠二项分布（folded-binomial distribution）的精确反转来收紧小样本下的置信集。

模拟证据
使用来自四个实地实验（Miguel & Kremer, 2004; Bertrand & Mullainathan, 2004; Thornton, 2008; Abel et al., 2020）的数据进行的校准模拟展示了其实际意义：

FNA 失效： 在现实的试点规模下（例如 $M=30$ ），由于边界失效（向具有正方差的臂分配零概率），FNA 在几种设计中会导致无限大或极大的效率损失。
CMR 表现： 在试点数据足够提供信息以排除最坏情况配置之前，CMR 保持均衡状态。一旦获得信息，它能捕捉到大部分可获得的精度增益。
权衡： 在自适应增益较小（通常 <1%）的两臂设计中，CMR 作为一种“保险”，在几乎不产生上升成本的前提下，防止了 FNA 无限下行的风险。在增益更大且 FNA 更脆弱的多臂和分层设计中，CMR 的严谨性带来了显著的净收益。

意义与主张
本文声称提供了一个将统计不确定性直接整合进实验设计的模板。作者认为，在“忽略试点（均衡）”与“盲目信任试点（FNA）”之间进行选择是一个伪命题。CMR 规则允许设计“仅在试点证据所允许的范围内进行调整，且不多做一步”。

其意义在于三个特征：

可操作性： 它为有限样本提供了一个可计算的、闭式的规则，不同于通常难以处理的精确极小极大解。
认证性： 它将设计决策与关于精度损失的有限样本保证（证书）相匹配，这是标准插件法（plug-in approaches）所缺失的特征。
稳健性： 它解决了有限样本安全性与渐近有效性之间的张力，在无需大规模试点即可安全运行的情况下，实现了极小极大遗憾速率。

作者总结道，对于实践中常见的有限试点，CMR 提供了一种既能实现设计自适应，又能防御因噪声较大的方差估计而导致的严重精度损失的原则性方法。

伟大的实验平衡术

这篇论文的研究结果

为什么这很重要

类似论文