Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities

1. 研究背景与问题 (Problem)

背景：
在现代自适应随机实验（如响应自适应临床试验、上下文 Bandit、大规模平台实验）中，分配概率（propensities, $\pi_t$）会随着数据积累而动态更新，以平衡探索（learning）和利用（deployment）。然而，许多平台仍需要在预定的实验结束时间点（Fixed Horizon）报告平均处理效应（ATE）的置信区间。

核心挑战：
在自适应分配下，倾向性过程 $\{\pi_t\}$ 是数据依赖的。这导致 AIPW（Augmented Inverse Propensity Weighted）或 DML（Double Machine Learning）估计量的得分增量（score increments）的**可预测二次变差（predictable quadratic variation）**可能保持随机性，而不会收敛到一个确定的长期方差极限。

• 传统方法的失效： 传统的 Wald 统计量通常假设方差收敛到一个确定性常数。如果实际实现的方差机制（variance regime）与假设的确定性目标不一致，基于单一确定性方差目标的标准化会导致统计量在给定实现路径下的条件校准失效（即覆盖率偏离名义水平），即使边际覆盖率看起来尚可。
• 现有局限： 现有文献通常通过“方差稳定化”（stabilization）或设计约束（如分批次 batching）来强制方差收敛，但这限制了自适应策略的灵活性。

研究目标：
提出一种无需方差稳定化假设的固定视界推断方法，即使在没有确定性方差极限的情况下，也能保证 Wald 统计量的渐近正态性。

---

2. 方法论 (Methodology)

作者提出了一种基于鞅（Martingale）理论的自归一化推断框架，核心在于利用记录的执行倾向性（Logged Executed Propensities）和可预测的干扰项拟合（Predictable Nuisance Fitting）。

2.1 核心假设与数据契约

1. 记录完整性 (Logging Integrity, Assumption 3.2)： 平台必须记录每个单元 $t$ 实际用于随机化的执行倾向性 $\pi_t$。这是设计阶段的可审计条件。
2. 可预测的干扰项拟合 (Predictable Nuisance, Assumption 4.5)： 用于计算单元 $t$ 得分的干扰项回归模型（如 $m_{t-1}$）必须仅基于 $t$ 之前的历史数据构建（即 $F_{t-1}$ 可测）。这通过**前向交叉拟合（Forward Cross-Fitting）**实现，防止了“窥探”（peeking）未来数据。
3. 其他标准假设： 无干扰（SUTVA）、序列随机化、执行重叠（Overlap，即 $\pi_t$ 远离 0 和 1）、以及矩条件。

2.2 估计量构造

• 得分函数： 使用标准的 AIPW/DML 伪结果（pseudo-outcome）$\phi_t$，但其中的倾向性使用记录的 $\pi_t$，干扰项使用基于过去数据拟合的 $\hat{m}_{t-1}$。
• 鞅结构： 在上述条件下，中心化的得分增量 $\xi_t = \hat{\phi}_t - \theta_0$ 构成了一个精确的鞅差分序列（Martingale Difference Sequence, MDS）。
• 自归一化统计量：
  • 不使用确定性方差，而是使用实现的二次变差（Realized Quadratic Variation） $Q_T = \sum \xi_t^2$ 或其样本方差估计 $\hat{V}$ 进行标准化。
  • 统计量形式为：$T_n = \frac{\sqrt{n_{eff}}(\hat{\theta} - \theta_0)}{\hat{V}^{1/2}}$。

2.3 理论工具

利用自归一化鞅中心极限定理（Self-normalized Martingale CLT）。该理论表明，只要可预测二次变差 $V_T^2$ 趋于无穷大（非退化），且满足一定的矩条件，即使 $V_T^2/n_{eff}$ 不收敛到常数，标准化后的统计量依然渐近服从 $N(0, 1)$。

---

3. 主要贡献 (Key Contributions)

1. 可审计的鞅评分契约 (Auditable Martingale Scoring)：
   形式化了“记录执行倾向性”和“仅使用过去数据拟合干扰项”的合同。证明了在这些条件下，AIPW/DML 得分增量构成精确的鞅差分序列（引理 5.3），替代了传统 i.i.d. 数据中依赖的折叠独立性。

2. 固定视界自归一化 Wald 推断 (Fixed-Horizon Self-Normalized Inference)：
   证明了即使没有确定性长期方差极限（即 $V_T^2/n_{eff}$ 不收敛），基于实现二次变差的学生化统计量在预定视界下依然渐近服从 $N(0, 1)$（定理 5.14）。这允许倾向性在实验过程中任意波动、震荡或收敛到随机极限。

3. 可行的学生化 (Feasible Studentization)：
   证明了实践中使用的样本方差估计量 $\hat{V}$ 一致地估计了实现的二次变差，因此基于 $\hat{V}$ 的置信区间继承了相同的固定视界有效性（命题 4.11）。

4. Oracle 基准与干扰项学习效应：
   提供了条件二阶矩分解（命题 5.8），展示了 Oracle 回归（真实条件均值）最小化条件方差。证明了干扰项的学习精度主要影响精度（Precision/区间长度）而非有效性（Validity/覆盖率）。只要满足可预测性，即使干扰项收敛速度很慢，推断依然有效。

---

4. 实验结果 (Results)

作者通过模拟研究验证了理论，并与传统方法进行了对比：

• 设计 A（随机长期方差）： 模拟了一个根据初始估计结果切换倾向性（0.8 或 0.2）的场景，导致方差在两个截然不同的值之间随机切换。
  • 结果： 传统的固定方差 Wald 区间（Fixed-V）在低方差模式下过于保守（区间过宽），在高方差模式下严重覆盖不足（区间过窄）。而提出的自归一化（SN）区间在两种模式下均保持了接近 95% 的覆盖率，且区间长度自适应。
• 设计 B（方差稳定基准）： 在方差恒定的场景下，SN 方法与固定方差方法表现一致，验证了方法的兼容性。
• 设计 C1（泄露压力测试）： 测试了违反“可预测性”假设（使用未来数据拟合干扰项）的情况。
  • 结果： 泄露（Leaky）方法导致覆盖率严重下降（如 82%），证明了前向交叉拟合和严格的时间顺序对于维持鞅结构至关重要。
• 设计 D（自适应策略与日志完整性）： 模拟了复杂的上下文 Bandit 策略。
  • 结果： 使用正确记录的 $\pi_t$ 和可预测拟合的 SN 方法表现良好。若错误假设 $\pi_t=0.5$（忽略实际日志），导致严重的偏差和覆盖率崩溃（接近 0%），强调了记录执行倾向性的必要性。

---

5. 意义与结论 (Significance)

• 操作层面的可行性： 该方法不需要改变现有的自适应实验流程（如不需要强制分批次或方差稳定化），只需在数据管道中增加两个可审计的环节：记录实际执行的倾向性和确保干扰项模型仅使用过去数据。
• 解决“方差 regime"问题： 为那些策略频繁调整、导致方差机制不稳定的现代平台实验提供了可靠的推断工具。它解决了传统方法在条件校准上的缺陷。
• 区分有效性与精度： 明确了在自适应实验中，推断的有效性（覆盖率）依赖于鞅结构（可预测性），而精度（区间宽度）依赖于干扰项的学习质量。
• 局限性： 该方法严格适用于固定视界（Fixed-Horizon）。如果实验涉及连续监控或基于数据的可选停止（Optional Stopping），则需要使用时序均匀（Time-uniform）的方法（如置信序列），本文方法不适用。

总结： 本文通过引入鞅理论和自归一化技术，为自适应实验提供了一种鲁棒的、无需方差稳定化假设的固定视界推断框架，强调了数据记录（Logging）和预测性拟合（Predictable Fitting）在因果推断中的核心作用。