技术摘要：医疗预测模型中选择偏倚效应的一个实用上界

问题陈述

选择偏倚（Selection bias）是现实世界数据中普遍存在的问题，它会损害机器学习模型的泛化能力，尤其是在医疗等高风险领域。当模型在有偏数据（例如特定的医院记录或基于志愿者的生物样本库）上进行训练并部署到更广泛的目标人群时，可能会出现灾难性的失败，甚至可能使针对代表性不足群体的歧视现象具象化。

现有的评估模型在选择偏倚下泛化能力的算法存在不切实际的假设。例如，密度比估计（density ratio estimation）需要获取目标分布的完整信息，而逆概率加权（IPology/IPW）则假设选择变量是完全可观测的。在实践中，从业者往往无法获得具有代表性的目标样本（由于成本或隐私原因），也极少能观察到明确的选择机制。因此，目前缺乏原则性的、实用的工具来在部署前对模型的选择偏倚进行审计。

方法论

作者提出了一种新颖的框架，用于估计预测模型在未观测到的目标人群上的最坏情况性能（期望损失）的一个实用上界。该方法在部分可观测性的现实设定下运行：

1. 观测数据： 一个有偏数据集 $D_P$（其中选择指示变量 $S=1$），包含协变量 $X$、结局 $Y$ 以及选择变量的一个子集 $\tilde{U}$。
2. 目标约束： 对目标分布 $Q$ 的访问受到限制，仅限于：
   • 选择变量的一个子集 $\tilde{U}$（完全观测）。
   • 所有候选变量的边缘汇总统计量（均值和方差）。
   • 无法直接获得来自目标分布 $Q$ 的 $(X, Y)$ 样本。

核心理论组件

该方法依赖于三个核心假设：

• 条件独立性： 给定全集选择变量 $U$ 时，选择指示变量 $S$ 与 $(X, Y)$ 条件独立。
• 共同支撑（Common Support）： 有偏分布 $P$ 和目标分布 $Q$ 共享共同支撑。
• 非负损失： 损失函数 $\ell$ 是非负的。

在这些假设下，作者推导出了目标分布上期望损失 $R_Q$ 的一个上界 $\hat{R}_Q$：
$$R_Q \leq \hat{R}_Q := E_P \left[ w(\tilde{U}) \cdot \phi(\tilde{X}, Y, U^*) \cdot \ell(f_P(\tilde{X}), Y) \right]$$
其中：

• $w(\tilde{U})$ 是由边缘密度比 $p(\tilde{U}) / p(\tilde{U}|S=1)$ 导出的倾向权重。
• $\phi(\tilde{X}, Y, U^*)$ 是一个最坏情况因子，定义为在未观测选择变量 $U^* = U \setminus \tilde{U}$ 的空间上条件密度的最大比率。

实践实现

为了使该界限具有可操作性，作者引入了两种启发式方法：

1. $U^*$ 的启发式识别： 由于 $U^*$ 是未知的，作者提出了一种矩匹配（moment-matching）算法。该算法将选择过程视为逻辑函数，并利用从 $Q$ 中获得的观测汇总统计量来求解系数，从而识别哪些剩余变量在有偏数据集中可能是驱动选择的因素。在置信区间内具有非零系数的变量被提名为 $U^*$。
2. 诊断工具： 为了在实践中（即假设可能被违反时）评估该界限的有效性，作者提出了三种诊断方法：
   • KS 检验： 评估 $P$ 和 $Q$ 中倾向分布的重叠程度。
   • 权重设计效应 ($d_{eff}$)： 衡量结果权重的稳定性，以检测是否存在缺乏共同支撑的问题。
   • 倾向不变性（Propensity Invariance）： 一种通过检查协变量分布在不同倾向得分分箱（bins）之间是否保持不变，来近似验证条件独立性假设的新型测试。

核心贡献

1. 现实的问题表述： 本研究通过仅要求部分可观测的选择机制和目标分布（具体为边缘统计量和一部分选择变量），填补了理论界限与实际约束之间的空白。
2. 新颖的上界： 作者推导出了一个关于泛化误差的理论上界，该界限显式地对选择过程进行了建模，且无需了解底层的完整机制或目标分布的联合密度。
3. 可操作的估计与诊断： 论文提供了一种用于提名未观测选择变量的实用算法，以及一套诊断工具，帮助从业者解释界限并检测假设违背的情况。
4. 实证验证： 该方法在全合成数据、来自 All of Us 研究计划的半合成数据以及 MIMIC-IV 中的真实世界选择偏倚场景中得到了验证。

结果

作者将该方法与包括朴素逆概率参与加权（IPPW）、经验校准（empirical calibration）、熵平衡（entropy balancing）和重缩放（raking）在内的基准方法进行了对比评估。

• 有效性与紧致性： 在使用合成数据和 All of Us 数据的实验中，所提议的界限（使用启发式 $U^*$）在 All of Us 的任务中实现了 97% 的有效性（即 $\hat{R}_Q \geq R_Q$），在合成数据任务中实现了 90% 的有效性。相比之下，表现次优的基准方法（IPPW）在任务中的有效性仅为 82%，且经常低估真实误差。
• 鲁棒性： 即使在观测到的选择变量 $\tilde{U}$ 数量有限（例如 $dim(\tilde{U})=1$）的情况下，该方法仍保持稳健。
• 真实世界应用： 在 MIMIC-IV 实验中，该方法成功识别了高血压和 2 型糖尿病预测任务中的泛化差距。对于死亡率预测任务（其真实目标误差未知），该方法提供了一个非空（non-vacuous）的界限，这与先前认为单中心医院数据通常泛化能力较差的文献结论一致。
• 启发式性能： 用于识别 $U^*$ 的矩匹配启发式算法取得了 0.84（合成数据）和 0.81（All of Us）的 F2 分数，接近于已知真实 $U^*$ 的先验（oracle）性能。

重要性与主张

作者将这项工作定位为一种实用的审计工具，而非完美的解决方案。他们声称，该方法使从业者能够：

• 在目标数据难以获取的情况下，估计选择偏倚的影响。
• 做出明智的部署决策：如果估计的上界较小且满足假设诊断，则可以放心地进行部署。如果界限较大或诊断显示存在违背，从业者应根据指导延迟部署、收集更具代表性的数据或应用去偏技术。
• 避免现有重加权方法经常提供的“虚假信心”，因为这些方法往往会低估泛化误差。

论文最后指出了一些局限性，包括侧重于低维分类数据（尽管也讨论了向连续数据的扩展）以及密度估计固有的难度。然而，作者断言，所提出的框架为构建更安全、更具泛化能力的医疗预测模型提供了原则性的进展。