📊 statistics

Power-Optimal Covariate Adjustment for Switchback Experiments

本文提出了一种针对不等规模集群的开关实验（switchback experiments）的幂最优 CUPAC 方法，该方法通过专门平衡随机化单元之间及单元内部的噪声预测，而非仅仅针对整体预测准确性，从而提高了统计功效。

原作者： Sergei Pankratev

发布于 2026-09-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Sergei Pankratev

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在在线平台的世界里，每小时都有数百万次交易发生，公司依赖实验来决定一项新功能是否真的有效。想象一下，一家美食外送应用正在测试一种新的司机调度方式。为了了解这一变化是否有帮助，公司不能简单地将其应用于一半用户而忽略另一半；因为用户之间是相互关联的，且订单的时机至关重要。相反，研究人员使用了一种称为“开关实验”（switchback experiment）的方法。在这种设置中，整个系统会在旧方式和新方式之间进行短时间的切换，就像灯塔的光束扫过水面一样。每隔一小时或几分钟，整个网络就会切换到新方法，然后再切回原样。这创造了一系列时间块，在这些时间块内，整个系统被视为一个单一单元。

这些实验的目标是尽可能精确地衡量结果的差异，例如送餐所需的时间。为了从噪声中获得清晰的信号，数据科学家经常使用一种称为“协变量调整”（covariate adjustment）的技术。这可以想象为利用天气预报来预测今天的气温。如果你知道昨天的温度和季节，你对今天气温的预测会比仅仅靠猜测要准确得多。在实验中，科学家使用实验开始前的数据来预测如果没有这项新功能，原本会发生什么。通过将实际结果与这些预测进行比较，他们可以剔除随机波动，从而看到变化的真实影响。这个过程是标准做法，但它假设每一条数据都是同等重要的。

Sergei Pankratev 在 DoorDash 的一项新研究挑战了这一假设，针对这类开关实验。研究表明，在这些特定类型的测试中，使用过去数据来清理结果的标准方法实际上遗漏了最重要的部分。在开关实验中，数据是以“块”的形式进来的：特定的一组司机和客户在特定的一个小时内。这些块（或称之为“单元”）的大小差异巨大。有些小时非常繁忙，有数千个订单；而有些小时则很冷清，只有寥寥数个。标准方法将每一笔订单都视为相等的数据点，试图预测每一笔订单的结果。然而，由于实验是同时切换整个系统的，真正的确定性来源并不是单个订单，而是这些时间块之间的差异。标准方法将精力花在预测单个订单的噪声上（而实验设计已经平均化了这些噪声），却忽略了决定实验成功或失败的关键——即时间块之间的剧烈波动。

Pankratev 开发了一种能够解决这种错位的新方法。该方法不再训练预测模型去精准预测每一个订单，而是训练模型去精准预测每个时间块的平均结果。它迫使计算机关注大局：系统在繁忙的小时与冷清的小时表现如何。研究表明，这种重心的转移不仅仅是一个微小的调整，它是对模型学习内容的一次根本性的重新加权。研究人员发现，在单个订单具有高度不可预测性的情况下，标准方法无法降低实验的不确定性。它会让结果变得模糊，难以判断一项变化是否真实存在。相比之下，新方法通过聚焦于时间块，显著降低了不确定性，并增强了实验的效力。

为了证明这一点，研究人员在计算机上运行了数千次模拟实验。他们创建了一个数字世界，包含 200 个不同的地点和 24 小时的活动，生成了 4,800 个截然不同的时间块。在这些模拟中，他们测试了两种不同的训练预测模型的方法。一组使用传统方法，即将每个订单视为平等；另一组使用新方法，即优先考虑时间块平均值的准确性。他们还改变了计算机模型的复杂度，使其既有决策点较少的简单模型，也有复杂的模型。结果清晰且一致。当单个订单充满混乱且不可预测时，传统方法表现挣扎。即使研究人员使用了更大、更强大的计算机模型，传统方法也没有得到明显的改善。这就像是给一个看错了星空方向的人配了一台更好的望远镜；额外的力量被浪费了，因为目标本身就没对准。

然而，新方法在这些混乱的条件下表现出色。通过专注于时间块，模型学会了预测对系统至关重要的波动。随着模型规模的扩大，新方法变得更加有效，稳步降低了实验的不确定性。研究表明，这种改进直接转化为更高的检测真实效应的机会。在噪声最高的极端困难场景下，新方法比旧方法将实验的统计功效（statistical power）提高了 26 到 35 个百分点。这意味着，使用相同数量的数据，公司可以对结果更加自信，或者可以用更少的测试时长达到同样的置信度。

研究还涉及了过程的第二个部分：实验结束后如何计算最终数值。研究发现，仅使用新的训练方法是不够的。如果模型被训练为关注时间块，但在最终计算时仍将每笔订单视为相等，那么收益就会消失。研究人员表明，计算步骤也必须进行调整，以与训练相匹配。当训练和计算都统一聚焦于时间块时，实验才能发挥其全部潜力。如果两者不匹配，增益就会消失。这种两步走的对齐确保了投入到模型训练中的努力能在最终答案中得到充分实现。

研究结果表明，对于运行此类实验的公司来说，准备数据的方式与实验设计本身同样重要。这项研究并非声称旧方法毫无用处；在系统非常稳定且时间块差异较小的情况下，旧方法运作良好。但在在线平台这种现实且混乱的世界里——有些小时拥挤不堪，有些则空空如也——旧方法会让价值流失。新方法提供了一种从相同数据中提取更多清晰度的方法，将嘈杂的信号转化为清晰的答案。它提醒我们，在科学领域，我们用来测量世界的工具必须根据我们要测量的世界的具体性质进行调整。通过将关注点从个体重新加权到群体，研究人员为观察变化如何真正影响我们日常依赖的系统提供了一个更精确的镜头。

技术摘要：针对切换实验（Switchback Experiments）的幂次最优协变量调整

问题陈述

在在线实验中，切换设计将处理分配给空间簇与时间窗口（单元格/cell）的交叉组合，而非单个个体。虽然标准的方差缩减技术，如 CUPED（利用实验前数据进行控制）和 CUPAC（利用预测值作为协变量进行控制），在随机化与分析发生在同一个体层级的标准 A/B 测试中非常有效，但在切换实验中却是次优的。

核心问题在于单元格大小不均以及数据的层级结构。在切换实验中，处理效应估计量的方差主要由单元格间差异（随机化单元之间的差异）而非单元格内特有的噪声所主导。标准的 CUPAC 模型旨在最小化个体层级的均方误差（MSE）；由于个体级 MSE 隐含地将单元格内误差与单元格间误差等同对待，模型会将有限的容量分配给减少单元格内噪声——而这种噪声在实验设计中自然会被平均掉——从而忽略了真正决定统计功效（Statistical Power）的单元格间信号。此外，标准的分析时调整系数通常通过个体层级的普通最小二乘法（OLS）进行估计，这同样重复了这种错位，即对单元格间的关系权重过低。

方法论

本文提出了一个统一的**幂次最优 CUPAC（Power-Optimal CUPAC）**框架，旨在使协变量训练目标与分析时的调整系数与切换实验的特定方差分解保持一致。

1. 理论框架与方差分解

作者将单元格 $b$ 中个体 $i$ 的结果 $y_{b,i}$ 公式化为一个包含宏观层级效应（空间簇、时间窗口及其交互项）和特有残差噪声的多层模型。他们推导出了处理效应估计量方差的精确分解式：
$\text{Var}(\hat{\tau}) \approx \frac{4}{JH} \left[ \frac{S_{res}}{\bar{n}} + S_{macro} \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \right]$
其中：

$\bar{n}$ 是平均单元格密度。
$cv^2$ 是单元格大小的平方变异系数。
$S_{res}$ 和 $S_{macro}$ 分别代表单元格内和单元格间的方差份额。

项 $1 + \bar{n}(1 + cv^2)$ 作为一个惩罚因子，放大了单元格间方差相对于单元格内方差的权重。在典型的规模化场景中，这个因子可能比 1 大出数百倍，这意味着单元格间的误差对统计功效的影响远比单元格内误差更为严重。

2. 幂次最优训练损失

为了最小化估计量方差，控制变量 $g$ 的训练必须旨在最小化特定的加权预测误差之和，而非标准的个体级 MSE。作者定义了幂次最优损失（ $L_{power}$ ）：
$L_{power}(g) = \frac{1}{\bar{n}} \text{MSE}_{within}(g) + \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \text{MSE}_{macro}(g)$
该损失函数显式地通过因子 $1 + \bar{n}(1 + cv^2)$ 提升了单元格间（宏观）预测误差的权重。这迫使模型优先学习在随机化单元之间变化的信号，而这正是决定统计功效的部分。

3. 匹配的分析时系数

论文证明，如果使用标准的个体级 OLS 来估计分析时的调整系数 $\theta$ ，那么即使使用 $L_{power}$ 进行训练也是不足够的。最优系数 $\theta^*$ 也必须使用与训练权重相匹配的损失函数进行估计。作者指出，标准的个体级 OLS 系数会以相同的因子 $1 + \bar{n}(1 + cv^2)$ 低估单元格间的协方差，从而抵消了优化训练所带来的收益。提出的解决方案是使用与训练时相同的复合损失来估计 $\theta$ 。

核心贡献

识别错位问题： 论文指出，标准的 CUPAC 工作流与切换设计是不匹配的，因为它们将单元格内误差与单元格间误差视为同等重要，尽管设计使得单元格间误差在统计功效上的重要性高出几个数量级。
推导幂次最优损失： 作者推导出了一个闭式形式的训练损失（ $L_{power}$ ），它是估计量方差的一个仿射泛函。最小化该损失可以直接最小化估计量实际方差的上界。
两阶段对齐： 研究表明，为了实现最大功效，必须对训练阶段（损失函数）和分析阶段（系数估计）都进行相同的设计特定因子的重加权。
理论边界： 论文证明，只要协变量经过校准，即使在重新优化分析系数的情况下，最小化 $L_{power}$ 也能为估计量方差提供一个紧致的上界。

模拟结果

作者使用梯度提升树（LightGBM）在不同模型容量（叶子节点数）和方差机制（ $S_{macro}$ ）下进行了蒙特卡洛模拟，以验证该框架。

方差机制依赖性： 当单元格内噪声占主导时（ $S_{macro} = 0.15$ ），标准个体级 MSE 表现较差（相对标准误差 $\approx 0.85$ ），而配合匹配系数的幂次最优损失实现了 $\approx 0.51$ 的相对标准误差。当单元格间变异较高时（ $S_{macro} = 0.50$ ），差距缩小，但最优方法仍然表现更优。
模型容量： 增加模型规模（从 4 个叶子到 255 个叶子）并不能补偿错位的训练目标。由于贪婪分裂准则优先考虑减少单元格内方差，使用个体级 MSE 训练的模型无论规模如何增大，都无法改善其单元格间相关性（ $\rho_m$ ）。相反，幂次最优损失能有效地利用增加的容量来提升 $\rho_m$ 。
系数匹配： 当模型容量有限时，匹配系数（ $\theta^*$ ）带来的收益最为显著。随着模型变得更大并能很好地拟合两个层级，个体级系数与匹配系数之间的差异会逐渐减小。

意义与主张

论文声称，所提出的框架提供了一个具有理论依据且可实现的解决方案，可以在无需改变实验设计本身的情况下，最大限度地提高切换实验的统计功效。

实用性： 该方法仅需通过单元格大小分布计算两个设计常量（ $\bar{n}$ 和 $cv^2$ ），即可重新加权训练损失和分析系数。
高效性： 它允许从业者从现有数据中提取最大功效，特别是在具有高单元格内噪声和高单元格密度的指标场景下，这些场景中标准方法效率最低。
鲁棒性： 该方法对于未知的方差构成是鲁棒的；幂次最优方法在不同的方差机制下都能表现出一致的良好性能，而标准方法在单元格内噪声占主导时性能会显著下降。

作者总结道，这种对齐是必要的，因为“标准默认”的个体级 MSE 与集群化、时间窗口化实验的方差结构本质上是不兼容的。通过将学习目标重新加权以匹配设计的方差分解，该方法确保了模型容量被用于处理真正驱动统计功效的信号。