Distributionally Robust Transfer Learning with Structurally Missing Covariates, with Application to Cross-National Cardiac Arrest Prediction

技术总结：具有结构性缺失协变量的分布鲁棒迁移学习

问题陈述
本文解决了在跨多样化医疗系统部署临床预测模型时的一个关键挑战：在“源”端（高资源环境）训练的模型依赖于一组丰富的协变量 $(X, A)$，但由于数据收集基础设施的结构性差异，“目标”部署环境完全缺乏某些具有高度预测性的协变量 $A$。与个体观测值不完整的标准缺失数据不同，这种“结构性缺失”代表了变量在人群层面的缺失。此外，目标域通常缺乏带标签的结局数据，从而排除了监督式适应或重新训练的可能性。

现有方法在此设定下均告失败。插补方法需要对目标域中 $A$ 的分布做出无法验证的假设。协变量偏移校正（如重要性加权）仅能解决观测变量 $X$ 的差异，无法恢复因 $A$ 缺失而丢失的信息。标准的分布鲁棒优化（DRO）通常针对所有变量的联合分布构建不确定性集，这过于保守，且未能区分稳定的观测协变量与结构性缺失的协变量。

方法论：DRUM 框架
作者提出了DRUM（具有结构性缺失协变量的分布鲁棒无监督迁移学习），这是一个旨在将预测模型迁移至 $A$ 缺失的无标签目标人群中的框架。其核心理念是：针对未知目标条件分布 $A|X$ 的不确定性集优化最坏情况下的预测性能，而不是试图插补 $A$ 或假设 $A|X$ 保持稳定。

该方法分为三个阶段：

1. 问题表述：
   目标是仅利用共享协变量 $X$ 学习一个预测器 $m(X)$。作者将其表述为一个极小极大问题：
   $$\min_{m(\cdot)} \max_{P_{A|X} \in \mathcal{C}(\delta)} \mathbb{E}_{X \sim Q_X, A \sim P_{A|X}, Y \sim P^S_{Y|X,A}} \left[ Y^2 - (Y - m(X))^2 \right]$$
   其中，$\mathcal{C}(\delta)$ 是由鲁棒性参数 $\delta$ 控制的目标域中 $A|X$ 条件分布的不确定性集。该目标旨在最大化相对于零预测器的最坏情况平方误差减少量。

2. 基于生成器的参数化与 DRO：
   直接在无限维的条件分布空间上进行优化是不可行的。DRUM 使用神经网络生成器 $g_\phi(X, \epsilon)$ 对条件分布 $A|X$ 进行参数化，其中 $\epsilon$ 为潜在噪声。

   • 不确定性集： 不确定性集利用能量距离（通过 Engression 框架）定义。集合 $\mathcal{C}_g(\delta)$ 包含那些能量得分与源条件生成器 $g^S$ 的偏差不超过 $\delta$ 的生成器。这使得模型能够在无需密度估计的情况下，探索偏离源分布的条件分布。
   • 优化： 该问题通过原对偶方法求解。训练一个“最坏情况”生成器，使其在满足能量距离约束的前提下，最小化目标 $X$ 上的期望平方预测误差（对生成的 $A$ 进行边缘化）。

3. 偏差校正（Neyman 正交性）：
   作者指出，“即插即用”估计量（在生成的 $A$ 上对源结局模型 $\hat{f}(X, A)$ 取平均）会继承 $\hat{f}$ 估计中的一阶偏差。为了缓解这一问题，他们基于 Neyman 正交估计和交叉拟合推导出了一个偏差校正估计量。

   • 他们构建了一个伪结局 $F_i$，该值结合了源残差（通过密度比 $\hat{\omega}$ 重新加权以匹配生成器诱导的分布）和目标即插即用预测值。
   • 将该伪结局对 $X$ 进行回归，可得到一个对 nuisance 函数（$\hat{f}$ 和密度比 $\hat{\omega}$）的一阶误差具有鲁棒性的估计量，在速率乘积条件下实现了参数收敛速率。

主要贡献

1. 针对结构性缺失的新 DRO 框架： DRUM 将不确定性隔离在条件分布 $A|X$ 而非联合分布上，并利用生成模型对不确定性集进行参数化。这避免了无限维优化的不可行性。
2. 偏差校正估计： 本文推导出了一个去偏估计量，降低了对 nuisance 函数估计误差的敏感性，显著提高了模拟和现实应用中的有限样本性能。
3. 跨国家院外心脏骤停（OHCA）预测的应用： 该框架被应用于预测院外心脏骤停后的神经学结局，将模型从美国 ROC 登记系统（拥有丰富院前数据）迁移至亚洲 PAROS 登记系统（其中院前变量如肾上腺素剂量和血液 pH 值结构性缺失）。

结果

• 模拟实验： 在线性和非线性条件关系以及缺失协变量维度变化的设定下，DRUM（尤其是去偏变体）显著优于标准基线（ERM、DRO、重要性加权）和伪标签插补方法。在不同程度的分布偏移下，它实现了更低的均值和最坏情况归一化均方误差（MSE）。
• 现实世界应用（OHCA）：
  • 校准： 当应用于新加坡、日本和韩国时，DRUM 产生的预测校准效果显著优于基线。标准基线由于分布偏移和缺失协变量而系统性地高估了有利结局，而 DRUM 的预测更贴近观察到的事件发生率。
  • 性能： DRUM-去偏变体在所有站点均取得了最低的 Brier 分数和期望校准误差（ECE）。
  • 临床效用： 在固定的临床分诊概率阈值下，DRUM-去偏变体表现出更高的精确率和特异性，表明其校准后的概率能带来比基线更可靠的阳性分类，而基线由于校准不良而遭受高假阳性率的困扰。

意义与主张
本文主张，DRUM 为当前临床 AI 部署中的二元困境提供了一种原则性的替代方案：要么将模型限制在具有相同数据基础设施的站点，要么通过忽略缺失协变量而丢弃预测信息。通过明确考虑未观测条件分布 $A|X$ 中的不确定性，且不依赖无法验证的假设，DRUM 使得在高资源环境中训练的模型能够在低资源环境中部署。

作者强调，该方法的主要优势在于校准和风险分层（Brier 分数、ECE、固定阈值精确率），而非全局区分度（AUROC），这与惩罚平方误差的最坏情况目标相一致。该框架被提出作为任何迁移学习问题的通用解决方案，其中预测性协变量在训练期间可用，但在部署时缺失或受限，并有望扩展至算法公平性和药物稳定性预测等领域。

本文在局限性方面保持谦逊，指出当前的生成器参数化假设协变量是连续的，框架目前仅处理单一源人群，且推导专注于平方误差和交叉熵损失。未来的方向包括处理离散/混合类型变量、多源联邦学习以及时间至事件数据等结构化结局。