Hybrid Meta-learners for Estimating Heterogeneous Treatment Effects

技术摘要：用于估计异质性处理效应的混合元学习器 (Hybrid Meta-learners)

问题陈述
本文解决了从观测数据中估计条件平均处理效应 (Conditional Average Treatment Effects, CATE) 的挑战，记作 $\tau(x) = \mathbb{E}[Y(1) - Y(0) | X=x]$。与标准的监督学习不同，CATE 估计涉及独特的归纳偏置（inductive biases），因为其面临协变量偏移（covariate shift）以及建模两个潜在结果 (Potential Outcome, PO) 函数 $\mu_1(x)$ 与 $\mu_0(x)$ 之差这一特定目标。

现有的“元学习器”（meta-learner）方法分为两种具有冲突归纳偏置的截然不同的范式：

1. 间接元学习器 (Indirect Meta-learners，例如 T-learner, S-learner)： 这些方法为 $\mu_0$ 和 $\mu_1$ 分别拟合模型，并通过计算它们的差值来估计 CATE。当 PO 函数很复杂但 CATE 很简单时，它们表现良好。然而，它们受困于“正则化诱导的混淆”（regularization-induced confounding），即对 PO 进行独立的正则化会为 CATE 的估计引入虚假的异质性。
2. 直接元学习器 (Direct Meta-learners，例如 X-learner, IPW, DR)： 这些方法构建伪结果 $Y_\phi$ 来直接对 $\tau(x)$ 进行建模。当 CATE 函数与 PO 函数同样复杂时，它们表现出色。然而，当伪结果的构建存在噪声（例如由于倾向评分不平衡）或 CATE 显著简单于 PO 时，它们可能会表现不佳，因为它们无法利用效应结构的简洁性。

核心问题在于，没有任何一种方法能在所有数据生成过程 (DGP) 中始终占据优势，且在实践中，PO 的复杂度相对于 CATE 的复杂度往往是未知的。

方法论：H-learner
作者提出了 混合学习器 (H-learner)，这是一种在间接学习和直接学习之间进行插值的创新正则化策略。H-learner 训练两个中间函数 $f_0$ 和 $f_1$，它们近似于潜在结果，但不一定是 PO 的最优估计量。相反，它们通过联合优化，以确保它们的差值 $f_1(x) - f_0(x)$ 能够准确近似 CATE。

该方法分为两个阶段：

1. 第一阶段（伪结果构建）： 基于初始的扰动参数估计，使用标准变换（如 X-learner, DR-learner）构建伪结果 $Y_\phi$。
2. 第二阶段（联合优化）： 模型最小化一个复合损失函数，平衡两个目标：
   • 间接组件 ($\ell_I$)： 使 $f_0$ 和 $f_1$ 拟合观测到的事实结果 $Y_i$。
   • 直接组件 ($\ell_D$)： 确保差值 $(f_1(X_i) - f_0(X_i))$ 与伪结果 $Y_{\phi, i}$ 对齐。

损失函数定义为：
$$\min_{f_0, f_1} \sum_{i=1}^n (1-\lambda) \ell(Y_i, f_{T_i}(X_i)) + \lambda \left( (f_1(X_i) - f_0(X_i)) - Y_{\phi, i} \right)^2$$
其中 $\lambda \in [0, 1]$ 是一个超参数。

• $\lambda = 0$ 回退到间接学习器。
• $\lambda = 1$ 回退到直接学习器。
• $0 < \lambda < 1$ 创建了一个混合估计器，它允许 $f_0$ 和 $f_1$ 是“次优”的拟合，从而通过优化偏差-方差权衡（bias-variance tradeoff）来提升整体 CATE 估计。

核心贡献

1. 归纳偏置的特征化： 本文明确地将元学习器的性能与底层 DGP 联系起来，特别是 PO 相对于 CATE 的复杂度以及协变量重叠程度。
2. 统一的正则化策略： 引入了 H-learner，这是一个模型无关（model-agnostic）的框架，在理论和实证上架起了直接学习器与间接学习器之间的桥梁。
3. 理论分析： 在线性设定下，作者推导出了一个闭式解，表明 H-learner 是间接估计器和直接估计器的矩阵加权组合。他们证明了在特定条件下（例如，当间接学习器和直接学习器的偏差方向相反，或者间接学习器具有高偏差而直接学习器具有高方差时），H-learner 能够获得比任一基准模型更低的预测风险。
4. 实证鲁棒性： 通过在半合成和真实世界基准测试上的广泛实验，证明了 H-learner 始终运行在帕累托前沿（Pareto frontier），在不同水平的混杂、处理不平衡和函数复杂度下，均优于现有的先进基准方法。

结果

• 半合成实验： 使用受控 DGP 的 IHDP 衍生数据，H-learner 始终优于 TARNet（间接）和 X-learner（直接）。
  • 在具有高特征共享（简单 CATE）的场景中，H-learner 通过倾向于直接正则化来进行适应。
  • 在具有高不平衡或强混杂的场景中，它通过适应来减轻纯间接或直接方法的弱点。
  • 实验发现最优的 $\lambda$ 始终位于 0 和 1 之间，证实了插值的益处。
• 基准评估： 在 IHDP 和 ACIC 2016 数据集上，H-learner（特别是在使用 X-learner 伪结果的情况下）在所有基准模型（包括 T-learner, TARNet, IPW, DR, X-learner 以及其他专门的正则化方法如权重正则化 TARNet-WR, OffsetNet, 和 FlexTENet）中实现了最低的估计异质性效应精度 (PEHE) 分数。
• 与其他正则化的比较： 文中指出，现有的正则化策略（权重惩罚、重参数化、结构共享）通常假设处理效应较小或具有特定结构。当这些假设被违反时，这些方法性能会下降，而 H-learner 则保持稳健。

意义与主张
本文声称 H-learner 为 CATE 估计中的“没有免费午餐”问题提供了鲁棒的解决方案。通过自适应地插值直接学习器和间接学习器的归纳偏置，H-learner 消除了预先了解底层 DGP 结构的必要性。作者断言，通过有意地允许对单个潜在结果进行“次优”拟合，可以改善处理效应的偏差-方差权衡，这一反直觉的见解带来了卓越的性能。该方法被呈现为一种通用的、模型无关的策略，可与各种机器学习架构兼容。