IGC-Net for conditional average potential outcome estimation over time

这是一篇关于因果机器学习和医疗决策的学术论文，题为《IGC-NET FOR CONDITIONAL AVERAGE POTENTIAL OUTCOME ESTIMATION OVER TIME》（用于时间序列条件平均潜在结果估计的迭代 G 计算网络），发表于 ICLR 2026。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 核心任务：基于观测数据（如电子健康记录 EHR），估计时间序列上的条件平均潜在结果 (Conditional Average Potential Outcomes, CAPOs)。即预测在给定患者历史轨迹 $H_t$ 的情况下，若未来执行特定的干预治疗序列 $a_{t:t+\tau-1}$，患者在未来时刻 $t+\tau$ 的结果 $Y_{t+\tau}$ 会是什么。
• 主要挑战：时变混杂 (Time-varying confounding)。
  • 在医疗场景中，未来的协变量（如生命体征）和结果不仅受过去治疗的影响，还会反过来影响未来的治疗决策。
  • 在推理阶段，未来的混杂因子是不可观测的（Runtime Confounding）。
  • 如果不对时变混杂进行正确调整，估计结果将产生偏差，导致错误的医疗决策。
• 现有方法的局限性：
  1. 未进行正确调整的方法（如 CRN, CT, TE-CDE）：仅通过平衡表示来尝试处理混杂，但这无法消除无限样本偏差（Infinite-sample bias），即无论数据量多大，估计误差依然存在。
  2. 逆倾向评分加权 (IPW) 方法（如 RMSNs）：在时间序列设置中，IPW 依赖于逆倾向评分的乘积。当倾向评分接近 0 时，会导致数值不稳定和巨大的方差（除以接近零的数）。
  3. G-计算 (G-computation) 的神经实现（如 G-Net, G-transformer）：虽然理论上正确，但需要估计未来所有时间步上所有混杂因子的完整概率分布（即高维随机变量的所有矩）。这通常需要通过蒙特卡洛 (MC) 采样，效率低下且难以处理高维数据。

2. 方法论：IGC-Net (Methodology)

作者提出了迭代 G 计算网络 (Iterative G-computation Network, IGC-Net)，这是一种新颖的、端到端的神经网络模型。

核心思想

IGC-Net 将经典的 G-计算公式转化为基于回归的迭代伪结果 (Pseudo-outcome) 回归过程，避免了直接估计高维概率分布或使用不稳定的 IPW。

数学原理

利用 G-计算的递归结构，将因果估计转化为一系列条件期望的嵌套：
$$E[Y_{t+\tau}[a_{t:t+\tau-1}] | \bar{H}_t = \bar{h}_t] = E[ \dots E[ E[Y_{t+\tau} | \bar{H}_{t+\tau-1}, A_{t:t+\tau-1}=a] | \dots ] | \bar{H}_t, A_t=a]$$

作者定义伪结果 $G^{\bar{a}}_{t+\delta}$：

• 最终时刻：$G^{\bar{a}}_{t+\tau} = Y_{t+\tau}$ (真实观测值)
• 中间时刻：$G^{\bar{a}}_{t+\delta} = E[G^{\bar{a}}_{t+\delta+1} | \bar{H}_{t+\delta}, A_{t+\delta}]$

通过这种递归，IGC-Net 不需要估计联合分布，只需估计低维的条件均值。

模型架构

1. 神经骨干 (Neural Backbone)：
   • 采用多输入 Transformer 架构（灵感来自 Melnychuk et al., 2022）。
   • 包含三个子 Transformer，分别处理不同的输入流：历史结果 ($\bar{Y}$)、协变量 ($\bar{X}$) 和治疗序列 ($\bar{A}$)。
   • 通过交叉注意力机制 (Cross-attention) 共享信息，输出隐藏状态 $Z_t$。
2. G-计算头 (G-computation Heads)：
   • 一组 $\{g^\phi_\delta(\cdot)\}_{\delta=0}^{\tau-1}$ 的神经网络头。
   • 每个头负责预测下一个时间步的伪结果期望值。

训练算法：迭代生成与学习 (Iterative Generation and Learning)

这是 IGC-Net 的核心创新，采用端到端的训练策略：

• A. 生成步 (Generation Step)：
  • 利用当前的模型参数，预测中间时间步的伪结果 $\tilde{G}^{\bar{a}}_{t+\delta}$ (对于 $\delta < \tau$)。
  • 这些预测值作为“伪标签”用于后续的学习。
  • 注意：在训练初期，这些预测是有噪声的，但随着训练进行会逐渐准确。
• B. 学习步 (Learning Step)：
  • 使用生成的伪结果 $\tilde{G}^{\bar{a}}_{t+\delta+1}$ 和真实观测结果 $Y_{t+\tau}$ 作为目标，通过最小化均方误差 (MSE) 来更新骨干网络和 G-计算头的参数。
  • 损失函数：$L = \sum (g^\phi_\delta(Z, A) - \tilde{G}^{\bar{a}}_{t+\delta+1})^2$。
• 迭代优化：更新后的参数用于下一轮的生成步，形成闭环。这种机制使得模型能够逐步从 $t+\tau$ 向 $t$ 反向优化，最终得到准确的 CAPO 估计。

3. 主要贡献 (Key Contributions)

1. 首个基于回归的端到端神经 G-计算模型：IGC-Net 是第一个在时间序列设置中，完全基于回归（而非分布估计或 IPW）来实现 G-计算的神经网络模型。
2. 解决现有方法的缺陷：
   • 相比 IPW (RMSNs)：避免了除以接近零的倾向评分，显著降低了方差，提高了长视界预测的稳定性。
   • 相比 G-Net/G-transformer：无需估计高维混杂因子的完整分布，无需蒙特卡洛采样，计算效率更高，且能直接估计一阶矩（均值）。
3. 理论保证：证明了该迭代回归过程在满足一致性、正态性和序列可忽略性假设下，能够无偏地恢复 CAPO。
4. 性能提升：在合成数据、半合成数据（基于 MIMIC-III）和真实世界数据上均取得了最先进 (SOTA) 的性能。

4. 实验结果 (Results)

实验在三种数据集上进行：

1. 合成数据 (肿瘤生长模型)：
   • 随着混杂强度 ($\gamma$) 的增加，IGC-Net 表现出极强的鲁棒性。
   • 相比最佳基线（如 G-Net），RMSE 降低了高达 17.4%。
   • 未正确调整的方法（CRN, CT）表现出巨大的偏差和不稳定性。
2. 半合成数据 (MIMIC-III 提取)：
   • 在高维协变量 ($d_x=25$) 和长预测窗口 ($\tau=2$ 到 $6$) 下测试。
   • IGC-Net 在所有样本量 ($N=1000, 2000, 3000$) 和预测窗口下均优于所有基线，相对改进幅度最高达 26.7%。
   • 证明了模型在处理高维数据和长序列时的稳定性。
3. 真实世界数据 (MIMIC-III ICU)：
   • 用于事实结果预测（作为 sanity check）。IGC-Net 在预测血管升压素和通气对舒张压的影响时，达到了 SOTA 水平，证明了其在真实临床数据上的适用性。
4. 消融实验与敏感性分析：
   • 消融：证明了迭代生成/学习机制的重要性（移除该机制的“有偏 Transformer"表现极差）；证明了 Transformer 骨干优于 LSTM。
   • 重叠性 (Overlap)：在重叠性违反（倾向评分接近 0 或 1）的情况下，IGC-Net 依然保持稳健，而 RMSNs 性能急剧下降。
   • 未观测混杂：在存在未观测混杂因子的情况下，IGC-Net 的表现优于其他基线。

5. 意义与结论 (Significance)

• 个性化医疗的推进：IGC-Net 为解决电子健康记录中复杂的时变混杂问题提供了一个可靠的工具，使得基于观测数据制定个性化的多步治疗策略成为可能。
• 方法论突破：它成功地将因果推断中的 G-计算理论无缝集成到深度学习的端到端训练中，克服了传统神经因果方法在方差和计算效率上的瓶颈。
• 临床价值：该方法不仅理论严谨，而且在实际医疗数据上表现优异，为从回顾性数据中学习动态治疗策略迈出了重要一步，有助于减少医疗决策中的偏差，提高患者预后。

总结：IGC-Net 通过创新的“迭代伪结果回归”机制，在保持 G-计算理论正确性的同时，解决了现有神经因果方法在时间序列场景下的方差大、计算复杂和偏差问题，是目前该领域最先进的解决方案。