Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes

技术摘要：通过高斯过程在少安慰剂情境下对条件平均处理效应（CATE）进行校准推断

问题陈述
本文探讨了在“少安慰剂情境”下，估计具有校准不确定性区间的条件平均处理效应（CATE），即 $\tau(x) = E[Y(1) - Y(0) | X=x]$ 的挑战。该情境定义为处理组与对照组之间样本量存在严重不平衡（$N_0 \ll N_1$），这种情形在不均衡分配的临床试验、预算受限的 A/B 测试以及罕见情境研究中十分常见。

尽管 X-Learner 是处理不平衡臂的标准元学习器，但它仅提供点估计。作者研究了将 X-Learner 的第二阶段贝叶斯化以生成可信区间的自然扩展方案。他们证明，这种方法在少安慰剂情境下无法提供校准的覆盖率（即区间包含真实效应的频率低于其标称水平）。

失败原因诊断
本文确定了贝叶斯 X-Learner 区间覆盖率不足的结构性原因：

1. 一阶干扰偏差：X-Learner 构建伪结果（例如 $D_1 = Y - \hat{\mu}_0(X)$）以估计处理效应。由于机器学习干扰模型（如正则化树）以偏差换取方差，估计量 $\hat{\mu}_0$ 并非条件无偏。因此，伪结果的条件均值为 $\tau(x) - b_0(x)$，其中 $b_0(x)$ 是在小样本控制臂上拟合的干扰模型的正则化偏差。
2. 后验位移：对这些有偏伪结果进行贝叶斯回归，产生的后验分布以有偏目标（$\tau - b_0$）为中心，而非真实效应。由于偏差是一种位置偏移，增加后验方差（加宽区间）无法修正覆盖率；区间仍偏离真实值。
3. 正交分数的失效：解决干扰偏差的标准方法是回归 Neyman 正交、双重稳健（DR）分数。作者表明，这在少安慰剂情境下同样失效。该情境本质上导致重叠性差（控制臂的倾向得分很小，$1-\pi \approx 0$）。DR 分数的“二阶”余项被 $1/(1-\pi)^2$ 因子放大，使得余项不可忽略。此外，应用逆方差加权以稳定控制臂的高方差，破坏了确保无偏性的跨臂抵消机制，实际上使估计量退化为有偏的 X-Learner 形式。

方法论：GP-CATE
为解决这些问题，作者提出了 GP-CATE，该方法放弃了“点估计加事后方差”的范式，转而采用针对干扰函数本身的完全贝叶斯方法。

• 建模：GP-CATE 不使用点估计 $\hat{\mu}_0$ 和 $\hat{\mu}_1$，而是利用独立的高斯过程（GPs）对每个臂的结果曲面（$\mu_0$ 和 $\mu_1$）进行建模。
• 后验构建：高斯过程返回函数的完整后验分布，由均值 $m_w(x)$ 和逐点标准差 $s_w(x)$ 组成。不确定性 $s_w(x)$ 在数据稀疏处（控制臂）自然较大，在数据密集处较小。
• CATE 推断：CATE 后验推导为两个臂后验的差值：
  $$\tau(x) | D \sim \mathcal{N}(m_1(x) - m_0(x), s_1(x)^2 + s_0(x)^2)$$
  这种构建确保了小样本控制臂的不确定性直接作为方差进入 CATE 后验，而不是作为未建模的偏差。
• 计算策略：虽然精确高斯过程的时间复杂度为 $O(N^3)$，但作者指出，在少安慰剂情境下，控制臂（$N_0$）很小，使其精确拟合在计算上可忽略不计。对于大样本处理臂（$N_1$），可扩展的代理模型（例如稀疏/诱导点高斯过程）已足够，因为控制臂的不确定性主导了总 CATE 方差。

主要贡献

1. 诊断：本文确立了贝叶斯 X-Learner 在不平衡数据下覆盖率不足的原因，即来自非正交伪结果的一阶干扰偏差位移了后验均值。
2. 负面结果：研究表明，由于重叠性放大以及效率加权与无偏性之间的根本冲突，即使倾向得分已知，双重稳健/正交分数补救法在该情境下也会失效。
3. 根本原因分析：作者认为，为在稀疏数据上拟合的“难以学习”的干扰项的点估计附加方差在结构上是 flawed 的，因为正则化偏差对事后方差估计是不可见的。
4. 方法与实证验证：提出 GP-CATE 作为解决方案，用贝叶斯后验替代点估计。实证结果表明，它是唯一在少安慰剂情境下的线性、非线性和半合成（IHDP）基准测试中均实现校准覆盖率的测试方法。

实验结果
作者在三种设计下评估了 GP-CATE 与因果森林（Causal Forest）、BART 以及标准元学习器（X-Learner, DR-Learner）的表现：

• 覆盖率：在少安慰剂情境（$N_0=30$）下，标准区间估计量严重覆盖率不足。在 IHDP 基准测试中，因果森林的覆盖率低至 0.34，BART 降至 0.59。相比之下，GP-CATE 在所有设计和样本量下均保持了 0.94 至 0.99 的覆盖率。
• 区间宽度：在高维且控制样本稀少的设置中，GP-CATE 生成的校准区间显著宽于其他方法。作者认为这是一个特性而非缺陷：宽区间正确反映了从稀疏数据估计曲面所固有的高不确定性，而其他方法生成的较窄区间则是未校准的。
• 点估计精度：GP-CATE 在点估计精度（通过 $\sqrt{\epsilon PEHE}$ 衡量）方面仍具有竞争力，经常优于或匹配因果森林和 BART，特别是在 $N_0$ 增加时。

意义与主张
本文主张，少安慰剂情境代表了一个结构性边界，在此边界上标准的渐近神谕性质（假设固定重叠性）失效。该工作的意义在于指出，该情境下的校准推断需要完全贝叶斯的干扰模型，而非带有修正方差的点估计。

作者谦逊地将他们的贡献框架为一种诊断性洞察，而非新颖的估计量架构（指出带有高斯过程的贝叶斯 T-Learner 与 Alaa 和 van der Schaar (2017) 的先前工作相似）：元学习器在该情境下的失败是由于偏差估计与方差估计的分离。GP-CATE 被呈现为根本原因分析所必需的估计量。本文结论认为，实践者在不平衡设置中应首选 GP-CATE，接受更宽的区间作为对数据稀缺的诚实反映，而不是依赖标准方法生成的较窄但未校准的区间。