📊 statistics

Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias

本文提出了一种基于影响函数的双重机器学习程序，旨在应对协变量偏移与选择性标记共同带来的挑战，以准确估计黑盒预测模型的目标风险，并在电子健康记录实验中展示了优于现有方法的性能。

原作者： Annie Ulichney, Amanda Coston

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Annie Ulichney, Amanda Coston

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位在特定厨房（源域）中花费多年时间完善一道汤品配方的厨师。你非常清楚自己在那里做出的汤是什么味道，因为你品尝过每一碗。现在，你正计划在另一座城市开设一家新餐厅（目标域）。

这个问题包含两个层面：

食材不同： 新城市的蔬菜和香料品牌不同。即使你的配方（模型）保持不变，当地食材的“风味特征”也是不同的。这被称为协变量偏移（Covariate Shift）。
品尝者存在偏差： 在你的旧厨房里，只有当主厨决定将汤端给贵宾（VIP）时，你才会去品尝。如果这碗汤是给普通顾客享用的，你永远不会去品尝它。因此，你关于“汤的味道有多好”的记录是基于 VIP 的，而不是整个菜单。这被称为选择性标签（Selective Labels）。

现在，你想预测在新城市这道汤的味道如何。但你不能仅仅参考旧有的 VIP 品尝记录（因为食材变了），你也无法直接查看新城市的菜单（因为你还没有品尝过那里的汤）。

这篇论文提出了一种全新的、巧妙的方法，旨在你在开门营业之前，就能预判汤品的质量。

两个大问题

作者解释说，目前大多数方法尝试一次只解决其中一个问题：

方法 A 试图调整不同的食材，但假设你的旧品尝记录是完美的（忽略了 VIP 偏差）。
方法 B 试图修复 VIP 偏差，但假设新城市使用的食材与旧厨房完全相同（忽略了食材偏移）。

当这两个问题同时发生时，这些方法会给出错误的答案。它们可能会告诉你汤会很美味，但实际上，由于新食材的影响以及你错过了品尝“普通顾客”那一类碗的过程，汤可能变得太咸或太淡。

解决方案：“双重检查”配方

作者创建了一种名为**双重机器学习（Double Machine Learning, DML）**的新方法。你可以把它看作是一个“双重检查”系统，能够同时解决这两个问题。

以下是他们“配方”的工作原理，使用一个简单的类比：

“如果……会怎样”的模拟（干扰函数）：
首先，该方法使用计算机来模拟两件事：
- 在旧厨房里，一碗汤被品尝的可能性有多大？（这解决了 VIP 偏差）。
- 新食材与旧食材相比如何？（这解决了食材偏移）。
“残差”修正：
该方法不仅仅是计算旧品尝记录的平均值，它还会观察其中的“错误”。它会问：“对于我们确实品尝过的那些碗，我们的预测偏离了多少？”然后，它会根据品尝的可能性以及食材差异的大小，对这些误差进行调整。
“未标记”的人群：
对于新城市，该方法会观察那些没有进行品尝测试的人（即未标记数据）。它利用“如果……会怎样”的模拟，根据从旧厨房学到的模式，来推测这些人的感受。
最终混合：
该方法将旧厨房中“修正后的误差”与新城市中“推测出的意见”结合起来。通过这种方式，它可以抵消误差。如果计算机对 VIP 偏差的猜测有误，食材偏移的修正功能就会帮助修复它，反之亦然。这使得最终的预测非常稳定且准确。

为什么这很重要（结果）

作者使用真实的医疗数据（具体来自 eICU 数据库）测试了这种方法。

设置： 他们拿了一个在一家医院（源医院）训练的医疗预测模型，并尝试将其应用于其他三家医院（目标医院）进行预测，这些医院具有不同的患者人口统计特征（年龄、种族等不同）以及不同的特定医疗测试执行规则（选择性标签）。
发现： 他们的这种新“双重检查”方法比旧方法要准确得多。
- 旧方法经常认为模型会表现良好，但由于忽略了偏差或偏移，它们实际上错了。
- 新方法能正确识别模型何时会遇到困难，从而提供更真实的风险评估。

底线

这篇论文不仅仅是在说“要小心”，它还提供了一个数学工具（一个特定的公式），允许医生、数据科学家或任何使用 AI 的人能够说：“我知道我的模型是在 A 组数据上训练的，但我现在将其部署在 B 组数据上，而且我只有部分数据。以下是预测其实际表现的最准确方式。”

这就像拥有一个能同时修正环境变化和观测不完整问题的“水晶球”，确保你不会给新客户端上一碗难喝的汤。

技术摘要：超越训练分布：评估分布偏移与选择性标签下的预测表现

问题陈述

机器学习模型在部署到新环境时经常会出现性能退化，这主要是由于两个通常同时存在的挑战：协变量偏移（Covariate Shift）和选择性标签（Selective Labels）。

协变量偏移： 输入特征的边缘分布（ $P(X)$ ）在训练（源）群体与部署（目标）群体之间存在差异，但特征与结果之间的条件关系（ $P(Y|X)$ ）保持稳定。仅在留出的测试集上进行标准评估可能会掩盖性能退化，如果误差集中在目标环境中常见但在源环境中罕见的特征区域。
选择性标签： 在高风险领域（如医疗保健、信贷），只有通过先前决策策略（例如，接受诊断测试的患者）筛选出的个体才会观察到结果标签。这引发了选择偏差，因为观察到的标签是从依赖于决策的特定子集中抽取的，使得训练数据无法准确反映完整的部署群体。

现有文献通常孤立地处理这些问题。本文研究了协变量偏移与选择性标签共同存在的情况，这一场景在临床决策中非常普遍：即针对特定人口统计学群体训练的模型被部署在多样化的群体中，且仅当患者接受特定临床方案时才能观察到其结局。核心问题在于，当目标结局未被观察到且源结局是选择性观察到时，如何评估任意黑盒预测模型的目标风险（Target Risk）（即在部署环境中的期望损失）。

方法论

1. 问题形式化与识别

作者将目标风险 $\psi$ 定义为目标群体中的期望损失：
$\psi := E_T [\ell(f(X), Y)]$
其中 $f$ 是一个固定的黑盒预测器， $\ell$ 是一个通用的损失函数。

为了从可观测数据中识别 $\psi$ ，本文依赖于四个标准假设：

基于可观测变量的选择（源）： 在给定协变量 $X$ 的条件下，源群体中的标签可观测性 $D$ 与结局 $Y$ 独立（ $Y \perp\!\!\!\perp D \mid X, R=1$ ）。
协变量偏移： 给定特征的条件分布在不同领域间保持不变（ $P_S(Y|X) = P_T(Y|X)$ ）。
正值性（Positivity）： 每个协变量剖面在源群体中被观察到的概率均为正。
有界似然比： 目标分布与源分布之间的密度比是有界的。

在这些假设下，目标风险可以通过两个等价的表达式进行识别（命题 3.5）：

目标期望： $\psi = E_T [\mu(X)]$ ，其中 $\mu(X) = E[\ell(f(X), Y) \mid X, R=1, D=1]$ 是源中的条件期望损失。
带修正的源期望： $\psi = E_S \left[ \frac{p_T(X)}{p_S(X)} \cdot \frac{D}{\pi_S(X)} \cdot \ell(f(X), Y) \right]$ ，其中 $\frac{p_T(X)}{p_S(X)}$ 用于修正协变量偏移， $\frac{D}{\pi_S(X)}$ 通过逆概率加权来修正选择性标签。

2. 有效影响函数 (EIF)

作者推导了目标风险估计量的有效影响函数（EIF）（命题 3.6）。EIF $\phi(Z; P)$ 结合了来自源分布和目标分布的信号：
$\phi(Z; P) = \frac{R D}{\pi(X)} \frac{g(X)}{\rho} (L - \mu(X)) + \frac{1-R}{\rho} (\mu(X) - \psi)$
其中：

$R$ 是领域指示变量（1 代表源，0 代表目标）。
$D$ 是标签可观测性指示变量。
$\pi(X)$ 是汇总倾向得分。
$g(X)$ 是领域倾向得分。
$\rho$ 是目标群体的比例。
$L$ 是观察到的损失。

第一项代表对已标记源单元的残差修正，并经过加权以将其迁移到目标分布。第二项是对于未标记目标单元的插件式估计，并以目标风险为中心。

3. 双重机器学习 (DML) 估计量

利用 EIF，本文提出了一个双重机器学习 (DML) 估计量（公式 7）：
$\hat{\psi} = \frac{1}{n} \sum_{i=1}^n \left[ \frac{R_i D_i}{\hat{\pi}(X_i)\hat{g}(X_i)} (L_i - \hat{\mu}(X_i)) + \frac{1-R_i}{\hat{\rho}} \hat{\mu}(X_i) \right]$
该估计量的关键特性包括：

偏差修正： 它利用 EIF 结构来修正由估计扰动函数（ $\mu, \pi, g$ ）产生的误差所导致的阶一偏差。
样本拆分/交叉拟合（Cross-fitting）： 扰动函数在与评估样本独立的辅助样本上进行估计，以确保渐近正态性。
鲁棒性： 只要扰动估计器的收敛速率达到 $o_p(n^{-1/4})$ ，该估计器就是半参数高效且具有 $\sqrt{n}$ 一致性的。这允许使用灵活的非参数机器学习方法（如随机森林、神经网络）进行扰动估计，而无需要求参数化速率。

关键结果

理论保证

论文证明了所提出的 DML 估计量是渐近线性且半参数高效的（定理 3.7）。这意味着：

估计量以 $\sqrt{n}$ 的速率收敛到真实的风险值。
估计量具有渐近正态性，从而能够为部署前的风险评估构建有效的 Wald 型置信区间。
即使使用高维或复杂的模型来估计扰动函数，只要它们的误差乘积可以忽略不计，该估计量仍能保持一致性。

实证评估

作者使用 eICU 协作研究数据库（超过 200,000 例 ICU 入院记录）和半合成实验对该方法进行了评估。

半合成实验： 使用来自 eICU 的真实协变量以及模拟的结局和标签可观测性，DML 估计器展现出了最小的偏差和最低的 RMSE，相比之下，对比对象包括：
- 朴素的插件式估计器（同时对偏移和选择进行重加权）。
- 仅考虑协变量偏移（CS）的估计器（忽略选择偏差）。
- 仅考虑选择性标签（SL）的估计器（忽略协变量偏移）。
  结果表明，仅处理单一来源的偏差会导致对部署风险的系统性误判，尤其是在选择强度增加时。
现实世界实验： 应用于四种临床结局（BNP、Troponin-I、CK、Hypoxemia），在这些场景中，只有在订购特定实验室检查时才会观察到标签。DML 估计器生成的风险估计值在多个医院中与基准模型存在显著差异，这凸显了忽略偏移与选择的共同性质会导致在新的临床环境下低估或高估模型风险。
鲁棒性检查： 估计器对违反正值性和有界似然比假设的情况表现出一定的鲁棒性。然而，正如预期，在违反“基于可观测变量的选择”（即存在未观测混杂因素）和“条件结局偏移”的情况下，性能有所下降，尽管其表现仍优于其他基准模型。

意义与主张

本文声称是首个为同时存在协变量偏移和选择性标签的情况提供形式化定义及解决方案的研究。

实际影响： 这项工作为高风险领域（如医疗保健）提供了严谨的预部署评估框架。在这些领域，模型通常在一个群体中训练，但部署在另一个群体中，且由于临床决策过程，结局数据本质上是不完整的。
方法论贡献： 通过建立目标风险的识别方法并推导其有效影响函数，本文弥合了分布偏移文献与选择性标签文献之间的鸿沟。它证明了即使在目标标签完全未观测且源标签存在偏差的情况下，进行有效的推断也是可能的。
公平性与安全性： 作者强调，未能考虑这些共同挑战可能会系统性地误报模型对代表性不足的子群体的表现，从而延续不平等。他们的方法允许从业者在部署前更准确地评估公平性和安全性属性。
更广泛的适用性： 虽然侧重于临床环境，但该框架适用于任何涉及基础模型（Foundation Models）或大语言模型（LLMs）的领域，在这些领域中，反馈是选择性观察到的，且部署分布与训练分布存在差异。

作者保持了审慎的态度，承认识别过程依赖于实质性的假设（例如，基于可观测变量的选择），而这些假设在实践中可能会失效（例如，如果临床决策取决于未测量的严重程度）。他们指出，虽然其方法对微小的违背具有容忍度，但未来的工作可以侧重于放宽这些假设或采用自适应数据收集。