Towards Representation Learning for Weighting Problems in Design-Based Causal Inference

1. 研究背景与问题定义 (Problem)

核心问题：
在因果推断中，基于设计的加权（Design-based Weighting） 是一种通过重加权源分布以匹配目标分布来估计因果效应（如 ATT, ATE, 可迁移性）的关键策略。这类方法的核心在于寻找一组权重，使得加权后的协变量分布与目标分布尽可能接近，且不利用结果变量（Outcome）的信息（即“基于设计”的原则）。

现有挑战：

1. 最优权重未知： 理论上的最优权重（真实权重，即 Radon-Nikodym 导数）依赖于未知的数据生成过程（DGP）。
2. 表示选择（Representation Choice）的困境： 现有的方法通常假设协变量空间存在一个“良好指定”的表示（如倾向得分、平衡得分），或者通过神经网络隐式学习。然而，如果选择的表示（Representation, $\phi(X)$）不能完美保留去混杂信息，会导致估计偏差。
3. 缺乏理论保障： 当表示被错误指定（Misspecified）时，现有的方法缺乏对由此产生的偏差进行量化和控制的通用理论框架。特别是，在无法使用结果变量进行监督学习的情况下，如何评估和选择最佳的表示是一个难题。

目标：
在不使用结果变量的前提下，提出一种通用的框架来学习合适的表示（Representation），以最小化加权估计器的偏差，并量化表示选择带来的信息损失。

2. 方法论 (Methodology)

论文提出了一种结合表示学习与平衡权重的端到端估计流程，核心思想是将偏差分解，并最小化其中的关键误差项。

2.1 理论框架：偏差分解与误差量化

作者将加权估计器的偏差（Bias）分解为三个部分：
$$\text{Bias} = \underbrace{\text{Bias}_{\text{wrt } \phi}}_{\text{关于表示的偏差}} + \underbrace{\text{Chosen weights bias}}_{\text{选定权重的偏差}} + \underbrace{\text{Confounding Bias}}_{\text{混杂偏差}}$$

其中，混杂偏差 (Confounding Bias) 是最关键的项，它衡量了表示 $\phi(X)$ 相对于原始协变量 $X$ 丢失了多少去混杂信息。

为了在不观测结果变量 $Y$ 的情况下控制混杂偏差，作者引入了平衡得分误差 (Balancing Score Error, BSE)：
$$\text{BSE}_{P,Q}(\phi) = \left\| \frac{dQ_X}{dP_X}(X) - \mathbb{E}_P\left[ \frac{dQ_X}{dP_X}(X) \mid \phi(X) \right] \right\|_{L^2(P)}$$

• 物理意义： BSE 衡量了真实权重（密度比）在给定表示 $\phi(X)$ 下的预测误差。如果 BSE 为 0，则 $\phi(X)$ 是一个完美的平衡得分（Balancing Score）。
• 关键结论 (Corollary 3.5)： 总偏差的上界由两部分组成：(1) 基于表示的积分概率度量（IPM）距离，(2) 结果变量的 $L^2$ 范数乘以 BSE。这意味着，只要最小化 BSE，就能在理论上控制总偏差。

2.2 算法实现：基于 AutoDML 损失的表示学习

由于无法直接计算 BSE（因为真实权重 $\frac{dQ_X}{dP_X}$ 未知），作者利用 AutoDML (Automatic Debiased Machine Learning) 文献中的结果，将 BSE 的优化转化为最小化一个可计算的损失函数。

1. 损失函数转换：
   利用协变量偏移（Covariate Shift）文献中的结论，最小化 $\| \frac{dQ_X}{dP_X} - v(X) \|_{L^2(P)}^2$ 等价于最小化 AutoDML 损失（忽略常数项）：
   $$L_{P,Q}(v) = \mathbb{E}_P[v(X)^2] - 2\mathbb{E}_Q[v(X)]$$
   在有限样本中，该损失可估计为：
   $$\hat{L}_{P,Q}(v) = \frac{1}{|P|}\sum_{i \in P} v(X_i)^2 - \frac{2}{|Q|}\sum_{j \in Q} v(X_j)$$

2. 神经网络架构 (如图 1 所示)：

   • 构建一个神经网络，输入为协变量 $X$。
   • 网络包含一个中间层（隐藏层），输出即为学习到的表示 $\phi(X)$。
   • 网络末端接一个标量输出头 $g(\phi(X))$，用于近似真实权重。
   • 训练目标： 联合优化网络参数 $\theta_\phi$ 和 $\theta_g$，以最小化 $L_{P,Q}(g(\phi(X)))$。
   • 关键区别： 与 RieszNet 不同，该方法完全不使用结果变量 $Y$ 进行训练，仅利用源分布 $P$ 和目标分布 $Q$ 的协变量数据。

3. 加权步骤：
   学习得到表示 $\phi(X)$ 后，将其作为输入，使用标准的核最优匹配 (Kernel Optimal Matching, KOM) 或核均值匹配 (KMM) 算法计算最终的权重 $w$。这解决了高维协变量下直接匹配困难的问题。

4. 同时加权 (Simultaneous Weightings)：
   该方法可扩展至多任务场景（如 ATE 估计中同时估计多个处理组的权重），通过共享表示层参数或联合最小化所有任务的 BSE 来实现。

3. 主要贡献 (Key Contributions)

1. 理论突破：量化信息损失

   • 首次将“混杂偏差”的概念推广到一般的基于设计的加权问题中。
   • 提出了平衡得分误差 (BSE) 作为衡量表示质量的核心指标，并证明了最小化 BSE 可以有效控制加权估计器的总偏差，即使在没有结果变量的情况下。
   • 建立了 BSE 与 AutoDML 损失之间的数学联系，使得在不可观测真实权重的情况下优化表示成为可能。

2. 方法创新：无监督的表示学习

   • 提出了一种端到端的表示学习流程，利用 AutoDML 损失直接学习去混杂表示，无需依赖倾向得分模型的正确设定，也无需结果变量。
   • 该方法具有通用性，学习到的表示可以作为任何加权方法（如 IPW, Entropy Balancing, KOM）的前置预处理步骤。

3. 实证性能

   • 在 IHDP、News 和 TBI（创伤性脑损伤）等多个基准数据集上进行了广泛测试。
   • 结果显示，使用该方法学习到的表示配合 KOM 算法，在多种因果推断任务（ATT, ATE, 可迁移性）中，其偏差（Joint Bias）通常优于传统的倾向得分（Propensity Score）、PCA、神经网络头（NN Head）以及其他基于表示学习的方法（如 NSM）。

4. 实验结果 (Results)

• 数据集：
  • IHDP & News: 用于平均处理效应 (ATE) 估计。
  • TBI: 用于可迁移性 (Transportability) 估计（将 RCT 结果推广到观测人群）。
• 对比基线：
  • 原始协变量 (Original Covariates)
  • 倾向得分 (Propensity Score, PS)
  • 主成分分析 (PCA)
  • 神经网络得分匹配 (NSM)
  • 熵平衡 (Entropy Balancing)
  • 逆概率加权 (IPW)
• 核心发现：
  • 在大多数设置下，"Ours + Energy/Linear"（即本文方法学习的表示 + 核最优匹配）表现最佳或具有竞争力。
  • 特别是在高维或复杂分布的数据集（如 TBI）上，本文方法显著降低了偏差。
  • 在 News 数据集（3477 维）上，使用降维后的表示进行能量平衡（Energy Balancing）显著提高了计算效率，同时保持了低偏差。
  • 本文方法学习到的表示优于直接使用该神经网络输出的权重头（NN Head），证明了“先学习表示，再独立计算权重”策略的有效性。

5. 意义与局限性 (Significance & Limitations)

意义：

• 理论指导实践： 为“如何选择加权中的表示”这一长期存在的难题提供了理论依据和量化指标（BSE）。
• 设计原则的坚守： 严格遵循了基于设计的因果推断原则（不利用结果变量），使得该方法适用于前瞻性队列研究、调查加权以及多结果分析等场景。
• 通用性： 作为一个通用的预处理模块，它可以提升现有各种加权算法的鲁棒性。

局限性与未来方向：

• 可识别性问题： 最小化 AutoDML 损失并不能唯一确定表示 $\phi$ 和函数 $g$（存在变换不变性），尽管实验表明 Adam 优化器在实践中能选择出合适的表示。
• 理论间隙： 目前 BSE 与 AutoDML 目标函数之间的差距尚未完全量化，后者可能过于保守。
• 扩展性： 未来工作可探索该方法在增强型估计器（Augmented Estimators）中的应用，以及更复杂的函数类假设。

总结：
这篇论文通过引入“平衡得分误差”这一概念，成功地将表示学习问题转化为一个可优化的无监督学习问题，为基于设计的因果推断提供了一种理论上严谨且实践中高效的新范式。