技术摘要：针对指数分散族结果的因果效应估计的靶向正则化

1. 问题陈述

利用神经网络（NN）从观测数据中估计因果效应已显示出强大的实证性能，然而实现理想的半参数性质——特别是双重稳健性和快速收敛速率——仍然具有挑战性。现有的基于神经网络的估计量，例如那些利用靶向最大似然估计（TMLE）或靶向正则化的方法（如 Shi 等人，2019；Nie 等人，2021），主要局限于假设高斯分布的连续结果。

这一局限性限制了其在涉及二元结果（例如购买决策）、计数结果（例如点击次数）或实践中常见的其他偏态分布的真实场景中的应用。虽然先前的工作（Gao 和 Hastie，2022）在部分线性 R-学习器框架内利用自然参数差异（DINA）解决了指数族结果问题，但并未将靶向正则化范式扩展到适用于这些分布的神经网络。因此，目前缺乏能够针对指数分散族（EDF）结果在分布层面校正一阶偏差，同时保持理论保证的基于神经网络的估计量。

本文旨在估计平均剂量规范函数（ADCF），定义为 $\psi_a = \theta[\text{do}(A=a)]$，其中 $\theta$ 是 EDF 的规范（自然）参数。这一选择符合在规范尺度上比较效应的标准做法，并避免了条件均值中常见的异质性问题。

2. 方法论

所提出的框架统一了离散（二元）和连续处理设置下针对 EDF 结果的靶向正则化。该方法论通过三个主要的理论和算法步骤进行：

A. 半参数分析与偏差表征

作者首先推导 ADCF 的代入估计量的冯·米塞斯（von Mises）展开，以识别一阶偏差的结构。

• 离散处理： 对于二元处理，他们推导出的展开式表明，偏差由一个二阶余项组成，该余项涉及结果模型（$\mu$）和倾向得分（$\pi$）估计误差的乘积。这种乘积结构意味着，如果任一模型被一致估计，偏差将消失（即双重稳健性质）。
• 连续处理： 对于连续处理，逐点 ADCF 不可路径微分，导致标准影响函数未定义。为克服这一困难，作者引入了筛投影 ADCF。他们将无限维的剂量 - 反应曲线投影到有限维的 B-样条筛空间。这种投影恢复了路径微分性，从而允许为投影曲线定义明确的影响函数和有效的冯·米塞斯展开。

B. 统一靶向正则化

利用冯·米塞斯展开揭示的偏差结构，作者构建了一个统一的靶向正则化目标。

• 波动模型： 该方法不是事后添加校正项（这可能会将估计值推离参数空间），而是向规范参数引入一个标量扰动函数 $\epsilon(a)$。波动后的参数定义为：
  $$\hat{\theta}^*(x, a) = h(\hat{\mu}(x, a)) + \frac{\epsilon(a)}{\hat{\pi}(a|x)} h'(\hat{\mu}(x, a))$$
  其中 $h$ 是链接函数，$h'$ 是其导数。
• 损失函数： 该方法通过统一损失函数将此波动整合到神经网络训练中：
  $$L_{TR}(\mu, \pi, \epsilon) = L(\mu, \pi) + \beta R(\mu, \pi, \epsilon)$$
  这里，$L(\mu, \pi)$ 是 EDF 的标准负对数似然，$R$ 是从波动模型的负对数似然推导出的靶向正则化项。项 $R$ 的构造使其关于 $\epsilon$ 的导数等于得分方程，从而在收敛时有效地将偏差项归零。
• 实现： 波动参数 $\epsilon(a)$ 使用与连续处理中筛投影相同的 B-样条基进行参数化，确保理论目标与优化之间的一致性。

C. 理论保证

本文证明了所得的基于神经网络的估计量在 $L_2$ 范数下实现了双重稳健收敛速率。具体而言，误差界限为：
$$O_p\left(n^{-1/3}\sqrt{\log n} + r_1(n)r_2(n) + r_2(n)^2\right)$$
其中 $r_1(n)$ 和 $r_2(n)$ 分别是倾向得分和结果估计量的收敛速率。这将 Nie 等人（2021）的理论保证从高斯结果扩展到了完整的指数分散族。

3. 主要贡献

1. ADCF 的半参数分析： 作者推导了 EDF 结果 ADCF 的冯·米塞斯展开。对于连续处理，他们引入了筛投影 ADCF来处理逐点泛函的非路径微分性，建立了定义明确的影响函数。
2. 统一靶向正则化： 他们提出了一种统一的正则化目标，可在分布层面校正任何 EDF 成员的偏差。这使得神经网络能够端到端地联合学习结果模型、倾向得分和波动参数，同时保持在参数空间内。
3. 理论扩展： 该工作提供了双重稳健收敛速率证明，将先前的结果从高斯分布推广到更广泛的 EDF 类（包括伯努利分布和泊松分布）。
4. 实证验证： 该方法在具有二元和连续处理的合成及半合成数据集（News, TCGA）上进行了验证，在伯努利和泊松结果设置中均展示了最先进的性能。

4. 实验结果

作者将他们的方法与多个基线进行了评估，包括因果森林、Dragonnet（及其针对非高斯结果的适配版本）、VCNet、DINA-learner 以及标准的双重稳健（DR）估计量。

• 二元处理： 在具有伯努利和泊松结果的数据集上，所提出的方法（“Ours"）实现了最低的平均绝对误差（MAE），用于估计平均处理效应（ATE），优于 Dragonnet、VCNet 和标准 DR 估计量。值得注意的是，由于校正项中除以倾向得分，DR 估计量在有限样本中被发现稳定性较差。
• 连续处理： 对于连续处理，该方法实现了 ADCF 最低的平均均方误差（AMSE）。结果证实，简单地适配现有模型的损失函数（例如用负对数似然替换均方误差）是不够的；特定的靶向正则化机制对性能至关重要。
• 敏感性分析： 控制正则化强度的超参数 $\beta$ 显示出中等影响；值过小无法校正偏差，而值过大则会干扰 nuisance 函数的估计。

5. 意义与主张

本文声称解决了深度学习因果推断中的一个关键差距：现有的靶向正则化框架无法处理现实应用中常见的非高斯、偏态结果（例如二元转化率或计数数据）。

通过推导必要的半参数展开并构建统一损失函数，作者证明了靶向正则化可以成功推广到指数分散族。这项工作的意义在于：

• 理论严谨性： 提供了离散和连续处理下 EDF 结果冯·米塞斯展开和影响函数的首次推导，使得构建双重稳健估计量成为可能。
• 实际适用性： 提供了一种端到端的神经网络架构，可处理二元和计数结果，而无需依赖先前方法（如 DINA-learner）的受限部分线性假设。
• 稳健性： 当两个 nuisance 估计量均一致时，实现了比单个 nuisance 估计量更快的收敛速率，同时保持了参数空间内的稳定性，这与加法偏差校正方法不同。

作者总结道，他们的框架将函数靶向正则化的理论保证扩展到了更广泛的结果分布类，并得到了最先进的实证结果的验证。