Randomization Tests in Switchback Experiments

这是一份关于论文《Switchback Experiments 中的随机化检验》（Randomization Tests in Switchback Experiments）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
Switchback 实验（即随时间交替进行干预和对照的实验）在在线平台（如市场、交通、广告）中广泛应用，特别是在无法进行单元级随机化、结果仅以聚合形式观测或存在用户干扰（Interference）的场景下。

核心挑战：

1. 样本量有限与快速决策： 产品迭代周期快，实验持续时间短，导致样本量较小，传统的渐近推断（Asymptotic Inference）往往校准不佳（例如，Bojinov et al. (2023) 指出可能需要 $T=1200$ 个周期才能校准）。
2. 时间序列特性： 结果数据具有序列相关性、季节性以及偶尔的厚尾冲击（Heavy-tailed shocks），导致正态近似失效。
3. 时间干扰（Temporal Interference）：
   • 遗留效应（Carryover）： 当前结果受过去干预的影响。
   • 预期效应（Anticipation）： 结果可能受未来干预计划的影响。
     这些干扰使得许多零假设（Null Hypotheses）不再是“尖锐”的（Sharp），导致基于 Fisher 随机化检验（FRT）的朴素方法失效或不可行。

目标：
开发一种框架，能够在不依赖参数假设（Parametric Assumptions）的情况下，利用已知的分配机制，为 Switchback 实验中的关键假设提供**有限样本有效（Finite-sample valid）且分布自由（Distribution-free）**的 p 值。

---

2. 方法论 (Methodology)

本文提出了一套基于**条件随机化检验（Conditional Randomization Tests, CRTs）**的框架。

2.1 基本假设

为了进行推断，作者对潜在结果施加了两个原始条件：

1. 非预期性（Non-anticipation）： $t$ 时刻的结果仅依赖于 $t$ 及之前的分配，不依赖未来分配。
2. 有限遗留窗口（Finite Carryover Horizon, $m$）： $t$ 时刻的结果仅依赖于最近 $m+1$ 个时刻的分配（$W_{t-m:t}$），更久远的历史不影响当前结果。

2.2 核心机制：预定义区段（Predetermined Sections）与条件化

为了解决非尖锐假设下的不可推断性（Imputability）问题，作者引入了**预定义区段（Predetermined Sections）**的概念：

• 构造： 在实验开始前，将设计块（Design Blocks）贪婪地合并为若干不相交的时间区段（Sections），确保每个区段长度至少为 $m+1$。
• 条件化事件： 基于实际观测到的分配路径 $W_{obs}$，筛选出那些在 $W_{obs}$ 下保持恒定（即整个区段内干预状态一致）的预定义区段。
• 焦点单元（Focal Units）： 在每个恒定区段内，剔除受区段边界外遗留效应影响的“烧录期”（Burn-in）时间，仅保留受该恒定区段内部历史完全覆盖的时间点作为焦点单元。
• 不变性（Invariance）： 由于区段是预定义的，在重新随机化（Resampling）时，只要保持这些区段内的分配恒定，条件事件本身就不会改变。这满足了退化条件化机制（Degenerate Conditioning Mechanism）的不变性要求，确保了检验的有效性。

2.3 具体检验方法

1. 总处理效应检验（Total Treatment Effect）：

   • 针对零假设 $H_0^{\text{tot}}: Y_t(1^T) = Y_t(0^T)$。
   • 利用上述 CRT 框架，在恒定区段内对分配标签进行蒙特卡洛重采样，计算统计量（如加权均值差）的 p 值。
   • 定理 3.1 证明了在有限样本下，该检验对给定的 $\alpha$ 水平是有效的。

2. 遗留效应窗口诊断（Carryover Horizon Diagnostics）：

   • 针对未知 $m$ 的情况，提出检验 $H_0^m$：遗留效应在 $m$ 期后消失。
   • 利用嵌套假设结构（$H_0^0 \subset H_0^1 \subset \dots$），设计顺序检验程序（Algorithm 3）。
   • 采用“交替保留”（Alternating Holdout）策略：偶数区段作为焦点结果，奇数区段作为随机化标签，以检测结果是否受前序区段分配影响。
   • 定理 3.2 保证了该顺序检验能控制族系错误率（FWER）。

3. 非预期性检验（Non-anticipation Test）：

   • 针对 $H_0^{\text{na}}$：结果不依赖未来分配。
   • 由于预期效应涉及未来，难以构建简单的条件化事件，因此采用无条件随机化检验，基于 Zhong (2024) 的成对插补随机化检验（PIRT）。
   • 通过限制随机化路径与观测路径共享前缀（Prefix-preserving），确保存在足够的“可插补时间”（Imputable Times）来比较潜在结果。

4. 弱零假设检验（Weak-null Hypotheses）：

   • 针对平均效应（Average Effect），特别是存在会话内季节性（Within-session Seasonality）的情况。
   • 提出学生化 CRT（Studentized CRTs），使用 Horvitz-Thompson 估计量及其保守方差上界进行标准化。
   • 定理 4.1 证明了在 mild 矩条件和稳定化条件下，该检验对弱零假设具有渐近有效性。

---

3. 主要贡献 (Key Contributions)

1. 有限样本有效的推断框架： 首次为 Switchback 实验提供了无需参数假设、在有限样本下严格有效的随机化检验方法，解决了传统渐近方法在短周期实验中校准失败的问题。
2. 处理时间干扰的通用策略： 通过“预定义区段”和“条件化”技术，巧妙地将非尖锐的零假设转化为可推断的子集，同时保持了随机化分布的精确性。
3. 诊断工具的开发： 提供了检验遗留效应长度（$m$）和非预期性假设的统计工具，帮助实践者验证模型假设的合理性。
4. 弱假设下的渐近理论： 建立了学生化 CRT 在存在序列相关和厚尾分布下的渐近有效性理论，并给出了基于超总体模型（Superpopulation Model）的统计功效近似公式。
5. 设计指导： 通过功率分析，揭示了块长度（Block Length）、烧录期（Burn-in）和区段合并（Pooling）如何共同决定信噪比，为实验设计提供了量化指导。

---

4. 实验结果 (Results)

作者通过蒙特卡洛模拟验证了理论结果：

• 第一类错误控制（Size Control）：
  • 提出的 CRT 在高斯噪声和厚尾噪声（如 t 分布）下均能保持接近名义水平（0.05）的拒绝率。
  • 相比之下，基于错误尖锐假设的 Fisher 随机化检验（FRT）在厚尾分布下严重过度拒绝（Over-rejection）；Horvitz-Thompson 渐近检验在短样本下往往过于保守。
• 统计功效（Power）：
  • 在 Gaussian 噪声下，CRT 的功效与渐近检验相当。
  • 在厚尾干扰下，CRT 在保持有效性的前提下，功效显著优于其他方法（因为其他方法要么失效，要么为了控制错误率而牺牲过多功效）。
• 诊断性能：
  • 遗留效应检验（Carryover CRT）能准确控制大小，且功效随效应量和样本量增加而提升。
  • 非预期性检验（PIRT）在控制大小的同时提供了有意义的功效，尽管其功效受限于“可插补时间”的数量。

---

5. 意义与影响 (Significance)

1. 实践指导意义： 为互联网平台在短周期、高噪声环境下的 A/B 测试提供了更可靠的统计工具。特别是当实验无法进行大规模单元随机化时，该方法填补了方法论空白。
2. 方法论扩展： 该框架不仅适用于 Switchback 实验，还可自然扩展到其他时间索引实验设计（如时间序列实验、交叉设计），为处理时间维度上的干扰提供了统一的推断视角。
3. 稳健性： 对厚尾分布和序列相关性的鲁棒性，使得该方法在面对现实世界数据（通常包含异常值和复杂动态）时比传统方法更具优势。
4. 设计优化： 提供的功率近似公式帮助研究人员在实验设计阶段权衡块长度、合并策略和样本量，以最大化检测灵敏度。

总结： 本文通过引入条件随机化检验和预定义区段技术，成功解决了 Switchback 实验中因时间干扰和有限样本导致的推断难题，提供了一套从假设检验、假设诊断到实验设计优化的完整、严谨且实用的解决方案。