Prevalence Shift and ICU Mortality Miscalibration Across Institutions

技术摘要：跨机构的患病率偏移与 ICU 死亡率校准失灵

问题陈述
用于预测重症监护室（ICU）内院内死亡率的机器学习模型，在训练数据上通常表现出强大的判别性能（以 AUROC 衡量），但在部署到不同医院系统时会遭遇性能退化。虽然“数据集偏移”（dataset shift）是一个已知挑战，但患病率偏移（prevalence shift，也称为标签偏移或先验概率偏移）对模型校准度（calibration）的具体影响，在大规模范围内仍未得到充分表征。

当源域（训练集）与目标域（部署集）之间的结局边际分布 $P(Y)$ 不同，而给定结局的特征条件分布 $P(X|Y)$ 保持稳定时，就会发生患病率偏移。在临床环境中，校准失灵是至关重要的：高估会导致不必要的干预，而低估则会延迟必要的护理。本文认为，医院层级的死亡率差异是导致校准失败的主要机制驱动因素，然而这种关系尚未在大量、多样化的真实世界机构中得到系统的量化。此外，像 AUROC 这样的标准指标在理论上对单调概率变换具有不变性，因此对患病率偏移是不敏感的，这产生了一个“盲点”：模型看起来很鲁棒（高 AUROC），但在临床上却不可靠（校准度差）。

研究方法
本研究采用了一种跨机构部署框架，涉及两个主要数据集：

1. 源域： MIMIC-IV（贝斯以色列女执事医疗中心），包含 45,587 名患者用于训练。
2. 目标域： eICU 协作研究数据库，涵盖 185 家不同的美国医院，包含 159,224 名患者。

实验设计：

• 模型： 四种代表不同家族的分类器在 MIMIC-IV 上进行训练：逻辑回归 (LR)、随机森林 (RF)、XGBoost (XGB) 和 LightGBM (LGBM)。
• 评估： 模型在 185 家 eICU 医院中进行评估。性能使用受试者工作特征曲线下面积 (AUROC) 和期望校准误差 (ECE) 进行衡量。
• 相关性分析： 研究分析了“患病率差距”（$|\pi_h - \pi_0|$，其中 $\pi_h$ 是局部医院死亡率，$\pi_0$ 是训练集患病率）与 ECE 及 AUROC 之间的相关性。
• 校正策略： 应用了一种闭式贝叶斯患病率校正（closed-form Bayesian prevalence correction）。该方法仅利用局部死亡率 ($\pi_h$) 和训练集患病率 ($\pi_0$) 来调整预测概率，不需要目标域的标签数据或模型重训。公式推导自标签偏移框架：
  $$\hat{p}_h(x) = \frac{\hat{p}(x) \cdot (\pi_h/\pi_0)}{\hat{p}(x) \cdot (\pi_h/\pi_0) + (1-\hat{p}(x)) \cdot \frac{1-\pi_h}{1-\pi_0}}$$
• 对比基准： 将零标签贝叶斯校正与以下方法进行了比较：
  • 无校正（原始预测）。
  • 有监督方法（Platt 缩放、Isotonic 回归、温度缩放），这些方法在每家医院 30% 的有标签目标数据上进行拟合。
• 因果验证： 在留出的 MIMIC-IV 数据上进行了合成实验，通过分层重采样人工改变了患病率，同时严格保持 $P(X|Y)$ 不变。这隔离了患病率偏移作为唯一变量，以确认其因果关系。
• 归因分析： 定义了一个经验指标 ($\phi_h$)，用于量化专门由患病率偏移引起的总校准误差的比例。

关键结果

1. 患病率差距与校准误差之间存在强相关性： 在所有四种模型架构中，ECE 与患病率差距均表现出强正相关（$r = 0.52$ 至 $0.75$，$p < 10^{-14}$）。随着局部与训练死亡率之间差异的增大，校准误差显著增加。
2. AUROC/ECE 脱节现象： 与此形成鲜明对比的是，AUROC 与患病率差距之间的相关性较弱或不显著（$|r| = 0.03$ 至 $0.22$）。对于 LightGBM，相关性实际上为零（r = -0.027}），证实了基于排名的指标无法检测到由患病率偏移导致的校准退化。
3. 零标签校正的有效性： 贝叶斯患病率校正使校准良好的模型（LR, XGB, LGBM）的平均 ECE 降低了 56% 至 65%。
   • 示例： 对于 LightGBM，ECE 从 0.085 降至 0.037。
   • 其性能与使用了 30% 有标签目标数据的有监督方法（Platt 缩放和 Isotonic 回归，ECE $\approx$ 0.022–0.024）相当。
   • 随机森林的改进程度较低（降低了 43.7%），这是由于其本身存在与患病率偏移无关的过度自信问题。
4. 因果确认： 合成实验证实，在保持 $P(X|Y)$ 恒定的情况下，仅改变患病率足以重现现实世界部署中观察到的线性 ECE 增长。
5. 归因分解： 经验分析显示，对于校准良好的模型，患病率偏移约占总校准误差的 55–65%。剩余的误差归因于其他因素，如特征漂移或测量异质性。

意义与主张
本文并不声称在贝叶斯校正公式的数学推导上有创新性（该公式基于已有的标签偏移理论，如 Saerens 等人、Lipton 等人的研究）。相反，其贡献在于经验性和定量性的：

• 大规模量化： 这是首个系统地表征跨 185 家真实机构及 159,224 名患者中，医院层级结局患病率与校准误差之间关系的研究所。
• 揭示“盲点”： 本研究提供了强有力的证据，证明在存在患病率偏移的情况下，AUROC 不足以评估模型的部署就绪状态，因为模型可以在保持高判别能力的同时，变得严重失准。
• 实用的零标签解决方案： 本研究建立了一个实用的临床部署框架，医院可以使用单一且易于获取的群体统计量（局部死亡率）来修正校准偏差，而无需标签数据、模型重训或机器学习专业知识。
• 因果归因： 本研究通过经验验证了患病率偏移是此类场景下校准误差的主要驱动因素，解释了在跨机构部署中所观察到的绝大部分退化现象。

作者总结道，患病率不匹配是一个可以通过所提出的零标签校正立即缓解的、在分析上可处理的部署失败来源，从而提高 AI 驱动的临床决策支持系统的安全性与可靠性。