📊 statistics

Compatibility of Missing Data Handling Methods across the Stages of Producing Clinical Prediction Models

本文表明，为了确保临床预测模型生命周期内的无偏预测性能和兼容性，研究人员必须使其开发与验证阶段的缺失数据处理策略与模型部署的具体约束保持一致，例如在排除缺失数据时使用多重插补，或在允许缺失数据时保持一致的插补方法。

原作者： Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Antonia Tsvetanova, Matthew Sperrin, David A. Jenkins, Niels Peek, Iain Buchan, Stephanie Hyland, Marcus Taylor, Angela Wood, Richard D. Riley, Glen P. Martin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在尝试为一道新菜肴（一个临床预测模型）设计完美食谱的厨师。你的目标是预测顾客对这道菜的反应。为此，你需要特定的食材（如年龄、血压等预测因子）。但有时，你在烹饪时并没有所有的食材，或者你的顾客可能没有提供所有的饮食偏好信息。

这篇论文是关于如何在烹饪过程中的三个不同阶段处理这些“缺失的食材”：

开发阶段： 在你的实验厨房里创造食谱。
验证阶段： 用一组新的人群来品尝你的食谱，看看它是否有效。
部署阶段： 将这道菜端给真正的公众食用。

作者发现，你在实验厨房处理缺失食材的方式以及你在品尝环节处理的方式，必须与你计划向公众提供这道菜的方式相匹配。如果你不匹配，你的食谱将会失败，或者你会误以为它味道极佳，而实际上它味道很差。

以下是他们研究结果的拆解，使用了简单的类比：

游戏的两大核心规则

作者提出了两条处理缺失数据的黄金法则：

“无退化”规则： 当你开发食谱时，你必须以一种确保最终成品味道与“完美版本”（即拥有所有食材的版本）一样好的方式来处理缺失食材。
“诚实”规则： 当你验证（测试）你的食谱时，你必须以一种能给出诚实评分的方式来处理缺失食材。你不想欺骗自己，让自己觉得食谱比实际更好或更差。

情景 A：“严格型”餐厅（不允许缺失数据）

想象一家高级餐厅，厨师拒绝在顾客提供菜单上每一项食材之前烹饪菜肴。如果顾客缺少某项食材，厨师会说：“抱歉，我无法为您烹饪。”

论文的建议： 如果你的计划是成为这样一位严格的厨师，你必须使用多重插补法 (Multiple Imputation, MI) 来开发和测试你的食谱。
- 类比： 把多重插补法想象成一个“神奇的猜测者”，它根据你已知的其他信息来填补缺失的食材，但这种做法考虑到了不确定性。至关重要的是，这个“神奇的猜测者”在开发阶段需要知道最终结果（顾客是否喜欢这道菜？），才能做出准确的猜测。
- 陷阱： 如果你使用“均值插补法”（仅仅猜测每个人的平均值）或“完全案例分析法”（直接丢弃任何缺少食材的顾客）来开发你的食谱，你的食谱将会很弱。当你最终尝试向严格的公众提供时，它味道会变差（模型退化）。

情景 B：“灵活型”餐车（允许缺失数据）

现在，想象一家可以接受缺失食材的餐车。如果顾客忘记说明是否对坚果过敏，厨师只需使用一个标准的“默认值”或特定的“猜测方法”来填补空缺，以便继续烹饪。

论文的建议： 如果你的计划是成为这样一位灵活的餐车厨师，你必须使用完全相同的方法在开发、测试和供应阶段来填补缺失的食材。
- 类比： 如果你决定使用“回归插补法”（一种基于其他食材的智能猜测类型）来填补顾客的信息空白，那么在创建食谱和测试食谱时，你也必须使用同样的“智能猜测”方法。
- 陷阱： 如果你用“均值插补法”（取平均值）来创建食谱，但随后告诉你的顾客，“别担心，我们会用‘智能猜测’法来填补您缺失的信息”，那么食谱就会崩溃。数学逻辑无法对齐。论文发现，混合使用方法（例如用一种方法开发，用另一种方法验证）几乎总是会导致偏差——你会认为你的餐车很成功，但实际上它正在失败。

“模式子模型”（特殊情况）

论文还研究了一种被称为模式子模型 (Pattern Sub-Models) 的方法。

类比： 与其写一个大食谱，不如写四个不同的微型食谱：
1. 针对提供所有信息的顾客。
2. 针对缺少食材 A 的顾客。
3. 针对缺少食材 B 的顾客。
4. 针对两者都缺少的顾客。
论文的建议： 如果你计划在餐车上使用这种“微型食谱”方法，你必须使用完全相同的“微型食谱”方法来进行开发和测试。你不能用微型食谱进行开发，然后通过将所有东西平均化来进行测试。

核心启示

作者进行了数千次计算机模拟，并检查了现实世界的手术数据来证明他们的观点。他们发现，常见的做法往往是错误的。

常见错误： 许多研究人员使用一种方法（如多重插补法）来开发模型以获得最佳统计效果，但随后使用另一种更简单的方法（如均值插补法）来部署它，因为后者更容易编写进应用程序中。
结果： 这造成了“说谎者的悖论”。模型在实验室里看起来很棒，但当它进入现实世界时，表现很差，或者性能评分完全错误。

一句话总结

为了构建一个可靠的医疗预测工具，你必须首先决定在工具实际使用时如何处理缺失数据，然后必须使用完全相同的方法来构建和测试该工具；混用方法会导致模型失效和虚假的信心。

技术摘要：临床预测模型构建各阶段缺失数据处理方法的兼容性

问题陈述
预测变量中的数据缺失是贯穿临床预测模型（CPM）整个生命周期（包括开发、验证和部署）的一个普遍挑战。虽然方法学研究已广泛解决了用于因果推断（侧重于无偏的参数估计）的缺失数据问题，但预测建模的目标有所不同：其主要目标是在新个体中实现准确且校准良好的预测。目前的实践往往缺乏指导，即如何使开发和验证阶段的处理决策与预期的部署策略保持一致。具体而言，目前尚不清楚在模型构建和测试阶段使用的方法，是否与该模型最终在临床实践中的使用方式具有“兼容性”。这种不一致性——例如在开发阶段使用多重插补（MI），但在部署阶段使用均值插补——可能会导致性能估计偏差或模型退化。

研究方法
作者通过两种互补的方法研究了这一问题：大规模模拟研究和真实世界手术数据的实证分析。

模拟研究：
- 设计： 遵循 ADEMP 框架，研究模拟了一个包含 200,000 名个体的目标人群，具有两个预测变量（ $X_1, X_2$ ）和一个二元结局变量。 $X_1$ 存在缺失情况，而 $X_2$ 和结局变量均为完全观测。
- 缺失机制： 使用六个有向无环图（DAG）来诱导完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）机制。缺失比例从 10% 到 50% 不等，并改变了预测变量之间的相关性。
- 处理方法： 在每个阶段（开发、验证、部署）评估了五种策略：
  - 完全病例分析（CCA）
  - 均值/众数插补
  - 单次确定性回归插补（RI）
  - 多重插补（MI），分别测试了包含结局变量（MI-with-Y）和不包含结局变量（MI-no-Y）的情况。
  - 模式子模型（PSM）。
- 兼容性标准： 研究根据两个原则定义了“兼容性”：
  1. 最小化模型退化： 部署模型的性能与在特定部署策略下真实模型性能之间的差异。
  2. 无偏验证： 验证过程必须能在以相同策略部署时，产生对模型性能的无偏估计。
- 场景： 研究测试了跨越 600 个场景的所有开发、验证和部署策略组合。
实证分析：
- 数据： 作者使用了包含 6,600 名接受肺切除手术患者的西北临床结果研究登记库（NCORR）数据。
- 任务： 基于 RESECT-90 CPM，利用逻辑回归模型预测术后 90 天死亡率。
- 程序： 使用自助采样法（Bootstrap sampling）创建了 100 个开发数据集。使用各种缺失数据处理方法开发模型，并针对原始数据集进行验证，应用相应的验证策略以评估性能偏差。

关键结果
模拟和实证结果一致表明，兼容性高度依赖于预期的部署策略：

要求完整数据的部署（E-all）：
- 为了最小化退化并确保验证无偏，应使用包含结局变量的多重插补（MI-with-Y）或完全观测数据来进行模型的开发和验证。
- 在复杂的缺失机制（如 MNAR）下，即使是 MI-with-Y 也会出现一定的退化，但它仍然优于其他方法。
- 在开发阶段使用 CCA 或均值插补，会导致在 E-all 策略下部署时出现显著的模型退化。
允许缺失数据的部署：
- 当一个 CPM 旨在允许缺失数据进行部署时（使用特定的插补方法，如均值插补、RI、MI-no-Y 或 PSм），必须在开发和验证阶段使用相同的处理方法。
- 均值/众数插补： 使用 MI 进行开发并在部署时使用均值插补，会导致偏差的性能估计和校准误差。
- 回归插补（RI）与 PSM： 只有当开发、验证和部署策略完全一致时，这些方法表现良好。
- MI-no-Y： 虽然在理论上对于部署具有吸引力，但在开发阶段使用 MI-no-Y 会导致预测变量与结局之间关联的估计出现偏差，从而在 E-MI 策略下部署时导致退化。
验证偏差：
- 一个关键发现是，验证偏差主要由处理缺失数据时所使用的验证阶段方法驱动，而非开发阶段的方法。
- 如果模型使用与预期部署策略不同的方法进行验证，那么无论最初是如何构建模型的，其性能估计都将是有偏差的。

意义与主张
本文认为，部署阶段如何处理缺失数据的决策必须从根本上影响开发和验证阶段的决策。作者提出：

现有实践存在缺陷： 文献中常见的组合方法（例如，使用 MI 进行开发，并使用均值插补进行验证/部署）经常导致有偏差的预测性能估计和次优的模型。
一致性至关重要： 为了实现兼容性，研究人员必须从部署策略开始逆向推导。
- 如果目标是针对完整数据患者的模型，请在整个过程中使用 MI-with-Y（或完整数据）。
- 如果目标是针对存在缺失数据患者的模型，请在开发、验证和部署中使用完全相同的插补方法（例如 RI 或 PSM）。
实际意义： 作者强调，虽然 MI-with-Y 在统计上对于完整数据部署是稳健的，但在实际部署中往往并不现实（需要访问原始数据或复杂的计算资源）。因此，如果模型在实践中必须处理缺失数据，开发者应从一开始就优先考虑像回归插补（RI）或模式子模型（PSM）这样的确定性方法，而不是试图去调整一个为完整数据构建的模型。

研究结论指出，如果没有这种一致性，临床预测模型向临床实践的转化可能会基于不准确的性能估计，从而可能危及患者护理。