Sequentially-Rerandomized Switchback Experiments

该论文提出了一种名为“序列重随机化开关实验”（SRSB）的新实验设计，通过在每个时间段基于历史观测值对预定义的预后变量进行重随机化以强制平衡，从而在单位数量有限、存在异质性、非平稳性及潜在滞后效应等复杂场景下，显著提升了大规模在线平台政策评估的精度与可靠性。

要点

这篇论文提出了一种名为**“序列重随机化切换实验”（SRSB）**的新方法，用来帮助大公司（比如 Airbnb、Uber 或广告平台）更精准地测试新政策的效果。

为了让你轻松理解，我们可以把做实验比作**“在拥挤的舞会上测试新舞步”**。

1. 背景：为什么传统的“抛硬币”不管用了？

想象一下，你是一家大公司的产品经理，你想测试一种新的“跳舞姿势”（新政策）能不能让大家更开心（提高收入）。

• 传统方法（A/B 测试/完全随机）： 你找了一群舞者（比如 100 个地区），让其中一半人跳新舞步，另一半人跳旧舞步。你是通过抛硬币决定的：正面跳新的，反面跳旧的。
• 遇到的问题：
  1. 人数太少： 你只有几十个地区，不像有上亿用户，所以随机分配很容易“翻车”。比如，运气不好，把几个特别爱跳舞的“巴黎大区”全分到了旧舞步组，结果旧舞步组看起来特别开心，让你误以为新舞步没用。
  2. 环境在变： 舞会的气氛是流动的。也许周五晚上大家都累了，周六晚上大家都嗨了。如果新舞步组刚好在周六测试，旧舞步组在周五测试，那结果就不公平了。
  3. 余波效应（Carryover）： 如果你今天教了大家一个复杂的舞步，他们明天可能还沉浸在兴奋中，或者因为太累而跳不动。今天的决定会影响明天的表现。

传统的“抛硬币”法在这些复杂情况下，就像是在暴风雨中用指南针找路，往往不准，甚至误导你。

2. 核心方案：SRSB（聪明的“重洗牌”）

为了解决这个问题，作者提出了 SRSB。这就像是一个**“超级挑剔的 DJ"**。

它的核心逻辑是：
不要一次性决定谁跳什么，而是每天（每个时间段）都重新洗牌，但在洗牌之前，先看看昨天的表现和今天的状态。

• 步骤一：看过去（利用历史数据）
  DJ 会看昨天谁跳得开心，谁跳得累，以及今天大家的情绪（协变量）。
• 步骤二：尝试分配（随机）
  DJ 试着把大家分成两组：一组跳新舞步，一组跳旧舞步。
• 步骤三：检查平衡（重随机化）
  DJ 会问：“这两组人昨天的状态差不多吗？如果昨天‘巴黎大区’在旧舞步组里表现特别好，而新舞步组里全是‘小村庄’，那这组分配就不公平，扔掉！"
  DJ 会不断重新随机分配，直到找到一组**“势均力敌”**的分组：两组人的历史表现、情绪状态都差不多。
• 步骤四：执行
  一旦找到完美的平衡组，就执行这一天的测试，然后观察结果。

比喻：
这就好比你要比较两辆车的油耗。

• 传统方法： 随便找两辆车，一辆开 A 路，一辆开 B 路。如果 A 路刚好是下坡，B 路是上坡，你就测不准了。
• SRSB 方法： 你每天换一次路线。但在换之前，你会检查：今天这两辆车之前的行驶记录、载重、天气。如果今天 A 车刚跑完长途很累，B 车刚加满油很精神，你就重新分配，让 A 车去 B 路，B 车去 A 路，或者重新挑车，直到两辆车在起跑线上状态完全一致。

3. 两种情况的处理

论文还考虑了两种特殊情况：

情况 A：没有“余波效应”（今天的事不影响明天）

如果今天的舞步不会让舞者明天累，那就简单了。

• SRSB 的做法： 每天重新平衡。因为每天的状态都差不多，只要保证今天两组人“底子”一样，结果就准。
• 效果： 就像给天平两边不断加砝码，直到完全平衡，测出来的重量（效果）非常精准。

情况 B：有“余波效应”（今天的事影响明天）

如果今天跳了新舞步，明天大家可能还兴奋，或者腿还酸。这时候，简单的“今天平衡”就不够了，因为明天的分组会受到今天决定的影响。

• SRSB 的升级版（分块重随机化）：
  作者想了一个绝招：“分块”。
  把舞者分成两组：
  • A 组： 昨天跳了新舞步的人。
  • B 组： 昨天跳了旧舞步的人。
    然后，在 A 组内部重新洗牌，决定今天谁继续跳新舞步（Stay），谁换回旧舞步（Switch）；在 B 组内部也做同样的事。
• 比喻：
  这就好比你要测试“连续吃辣”和“连续吃清淡”对胃的影响。
  你不能随便把人分两组。你必须把昨天已经“吃辣”的人聚在一起，把昨天“吃清淡”的人聚在一起。然后，在“吃辣组”里，让一半人继续吃辣，一半人换清淡；在“吃清淡组”里，让一半人继续清淡，一半人换辣。
  这样，你比较的是“连续吃辣”和“连续吃清淡”的人，排除了昨天饮食的干扰。

4. 为什么这个方法好？（模拟实验结果）

作者用了很多数学模型和真实数据（比如全球各国的 GDP 数据）来模拟。

• 结果： 使用 SRSB 方法，就像是用高倍显微镜看实验结果，而传统方法像是在雾里看花。
• 优势：
  1. 更准： 误差（RMSE）大幅降低。
  2. 更稳： 即使数据波动很大，或者只有很少的测试对象，它也能给出靠谱的结果。
  3. 灵活： 无论是有“余波”还是没“余波”，都有对应的策略。

总结

这篇论文告诉大公司：别再盲目地抛硬币做实验了！

在动态变化的世界里，利用历史数据，每天重新检查并平衡实验分组，甚至针对昨天的影响进行分层处理，能让你用更少的数据、更短的时间，得出更准确、更可信的结论。

这就好比，与其在混乱的舞池里随机找人跳舞，不如请一位懂心理、懂节奏的 DJ，时刻调整舞池的布局，确保每一场对比都在最公平、最清晰的状态下进行。

技术摘要

论文技术总结：顺序重随机化切换实验 (SRSB)

1. 研究背景与问题 (Problem)

在大型在线平台和市场系统中，评估新策略通常需要在多个运营单元（如地理区域、集群）和多个时间周期上进行实验。传统的 A/B 测试在这些场景下面临以下挑战：

• 单元数量少：实验单元（如国家或大区域）数量有限，导致基于大样本渐近理论的推断不可行。
• 单元异质性强：不同单元之间存在显著差异（如巴黎大区与其他地区），不平衡会严重影响估计精度。
• 非平稳性与动态环境：结果数据具有季节性、趋势或序列相关性。
• 遗留效应 (Carryover Effects)：当前周期的处理可能会影响未来周期的结果（例如广告活动的滞后效应）。

现有的切换实验 (Switchback Experiments) 虽然通过随时间切换处理来解决干扰问题，但通常采用简单的随机分配（如完全随机化或分块随机化），未能充分利用历史观测数据（如过去的结果和协变量）来优化分配，导致估计方差较大。

2. 方法论 (Methodology)

作者提出了一种新的实验设计：顺序重随机化切换实验 (Sequentially-Rerandomized Switchback Experiments, SRSB)。

核心思想：
在每个时间周期 $t$，利用截至 $t$ 时刻已观测到的结果和协变量，自适应地构建处理分配方案。具体做法是反复抽取候选分配方案，直到满足预定义的平衡准则（通常基于马氏距离），然后实施该分配。

关键假设与框架：

• 设计基础框架：采用有限总体视角，潜在结果和协变量视为固定，随机性仅来源于处理分配。
• 无遗留效应假设：$Y_{i,t}$ 仅依赖于 $W_{i,t}$。
• 一阶遗留效应假设：$Y_{i,t}$ 依赖于 $W_{i,t-1}$ 和 $W_{i,t}$。

具体算法流程：

1. 定义平衡变量 ($H_{i,t}$)：通常包含当前协变量 $X_{i,t}$ 和滞后结果 $Y_{i,t-1}$。
2. 重随机化循环：
   • 生成一个候选分配向量 $W^*_{1:N,t}$（确保处理组和对照组数量平衡，如各占 $N/2$）。
   • 计算处理组与对照组在平衡变量上的均值差异向量 $\hat{\theta}^*_t$。
   • 计算马氏距离 $d^* = (\hat{\theta}^*_t)^\top \hat{\Sigma}_t^{-1} \hat{\theta}^*_t$。
   • 如果 $d^*$ 小于预设阈值 $c$，则接受该分配；否则丢弃并重新抽取。
3. 实施与观测：实施接受的分配，观测结果，进入下一周期。

针对遗留效应的扩展 (Blocked SRSB)：
当存在一阶遗留效应时，直接平衡当前处理组会导致“保持处理” ($W_{t-1}=1, W_t=1$) 和“保持控制” ($W_{t-1}=0, W_t=0$) 两组不可比。为此，作者提出了分块 SRSB：

• 根据上一期的处理状态 $W_{i,t-1}$ 将单元分为两个块（Block）。
• 在每个块内部独立进行重随机化，确保块内的“保持”组与“切换”组具有可比性，从而保证最终定义的“保持”组之间的平衡。

3. 理论贡献与推断 (Theoretical Contributions & Inference)

A. 无遗留效应场景

• 方差缩减：证明了通过平衡预测性强的滞后结果和协变量，SRSB 能显著降低差异均值估计量的方差。方差缩减幅度取决于平衡变量对潜在结果的预测能力 ($R^2$)。
• 推断方法：
  1. 精确随机化推断 (Randomization Inference)：在尖锐零假设下，基于蒙特卡洛模拟构建 $p$ 值，适用于小样本 ($N, T$ 固定)。
  2. 渐近推断 (Asymptotic Inference)：当时间周期 $T \to \infty$ 时，利用鞅中心极限定理 (Martingale CLT) 证明估计量服从渐近正态分布。即使 $N$ 固定或随 $T$ 增长，只要总方差发散，结论依然成立。

B. 一阶遗留效应场景

• 估计量构造：定义估计量为“保持处理”组与“保持控制”组之间的平均差异。
• 理论保证：由于分块设计破坏了标准的鞅结构（估计量依赖于 $F_{t-2}$ 而非 $F_{t-1}$），作者利用混合鞅 (Mixingales) 和 Bernstein 求和 技术，证明了分块 SRSB 估计量的渐近正态性。
• 方差估计：提出了一种基于预测残差的保守方差估计器，无需观测潜在结果即可构建置信区间。

4. 实验结果 (Results)

作者通过大量模拟实验验证了 SRSB 的有效性：

1. 无遗留效应模拟：

   • 基于自回归模型 (AR(1)) 生成数据。
   • 结果：与完全随机化相比，SRSB 显著降低了均方根误差 (RMSE)。随着协变量或滞后结果对未来的预测能力增强（$\rho$ 增大），SRSB 的相对增益越大（RMSE 降低比例可达 50%-70%）。

2. 一阶遗留效应模拟：

   • 引入分块 SRSB。
   • 结果：分块 SRSB 在 RMSE 上优于完全随机化、无分块的 SRSB 以及简单的分块随机化。分块设计稳定了“保持”组的样本量，减少了估计波动。

3. 半合成数据实验 (Penn World Table GDP)：

   • 使用 111 个国家 48 年的 GDP 数据，拟合潜在因子模型作为基准。
   • 结果：在无遗留效应和一阶遗留效应设置下，SRSB 均表现出更低的 RMSE。
   • 鲁棒性分析：在马尔可夫遗留效应模型（高阶遗留）中，虽然 SRSB 的偏差随遗留强度增加而增加，但在遗留效应较弱时，其方差缩减带来的 RMSE 降低依然显著。

5. 意义与结论 (Significance & Conclusion)

• 实践价值：为在线平台（如 Airbnb、Uber 等）提供了一种在有限单元、动态环境下进行高效实验的实用工具。通过利用历史数据平衡协变量，显著提高了实验的统计功效，降低了达到相同精度所需的样本量或时间。
• 理论创新：
  • 将重随机化 (Rerandomization) 思想从静态单元扩展到了时间序列切换实验场景。
  • 建立了基于鞅理论和混合鞅的渐近推断框架，解决了自适应分配带来的依赖性问题。
  • 提出了处理遗留效应的分块重随机化策略，解决了传统切换实验中“保持组”不可比的难题。
• 局限性：目前主要关注有限阶遗留效应。如果遗留效应是无限阶的（如长期记忆），基于有限阶近似的估计量可能会产生偏差（如模拟中所示）。未来的工作可探索无限阶遗留效应下的设计以及更精确的方差估计器。

总结：SRSB 是一种自适应、基于设计的实验方法，它通过在每个时间步强制平衡预测性变量，有效解决了小样本、非平稳和遗留效应带来的挑战，显著提升了切换实验的估计精度和推断可靠性。