📊 statistics

Impact of Missing Data Imputation on The Structure of Real-World Clinical Datasets: A Comparison of Median, K-Nearest Neighbours, and MICE Approaches

本研究表明，在不同缺失程度的真实临床数据集下，k-最近邻（KNN）插补在保持分布保真度和多元结构完整性方面，优于中位数替代法和多重插补链式方程法（MICE）。

原作者： Karol Aguiar Quevedo, Alilis Fontana Bellorín, Carlos Jordá Jordá Aragón, Cristóbal Aguilar-Gallardo

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Karol Aguiar Quevedo, Alilis Fontana Bellorín, Carlos Jordá Jordá Aragón, Cristóbal Aguilar-Gallardo

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在医学研究领域，数据是发现的生命线。医生和科学家依赖于患者病史、实验室结果和治疗结果的记录来理解疾病并改善护理。然而，现实世界的医疗记录很少是完美的。患者可能会错过预约，机器可能会故障，或者医生可能只是忘了记录某个特定的测量值。这些被称为“缺失数据”的缺口产生了一个问题：如果研究人员试图分析一个带有“漏洞”的数字列表，结果可能会具有误导性，甚至无法计算。为了解决这个问题，研究人员经常使用一种称为“插补”（imputation）的过程来填补空白。最常见且最简单的方法是观察某一特定测量值的现有数字，找到中间值，然后将该相同的数字粘贴到每一个空缺处。虽然这种方法操作简便，但它有一个已知的缺陷：它会抹平数据的自然多样性，使一群原本具有多样性的患者看起来比实际情况更加趋同。一种更复杂的方法涉及使用复杂的计算机模型，根据患者的其他相关信息来推测缺失数字可能的值。科学界面临的问题是，简单的法是否足够好，还是必须使用复杂的方法来保持数据的真实性。

来自西班牙瓦伦西亚的一个研究小组通过测试三种不同的填补医疗记录空白的方法，试图回答这个问题。他们并没有创建虚假数据来测试理论，而是使用了两个大型的真实患者信息集。第一组由408名接受过肺移植的患者组成，这是一种复杂的程序，医生需要在手术前、术中和术后追踪数十项测量指标。第二组包括1700名遭受过心肌梗塞的患者，其记录详细记载了他们的生命体征和病史。在这两组中，许多数字都是缺失的。在肺移植组中，某些测量值的缺失率从极少数患者的0.2%到高达77.9%不等。在心肌梗塞组中，缺失数据从0.24%到超过63%不等。研究人员想要观察哪种填补空白的方法能最好地保留原始数据的真实形状和关系。

该团队比较了三种具体的策略。第一种是标准的简单方法：用记录下来的数字的中位数（即中间值）替换每一个缺失的数字。第二种是称为“k-最近邻”（k-nearest neighbours）的方法，其原理是寻找数据库中与缺失数据的患者最相似的人，并利用他们的数值来进行推测。第三种是被称为“多重插补”（multiple imputation）的高度复杂的统计技术，它运行一系列复杂的模型来生成多个不同的缺失数据版本，然后取其平均值。研究人员使用一种检查分布情况是否一致的统计标尺，来衡量填补后的数据与原始完整数据的匹配程度。他们还检查了不同变量之间的关系（例如年龄如何与血压相关联）是否保持完好。

结果令许多预期“最复杂的方法总是最好的”的人感到惊讶。使用中间值的简单方法确实扭曲了数据，压缩了数字的多样性，使数据集看起来比真实的更缺乏多样性。然而，那个复杂的、多步骤的统计模型在这次特定测试中的表现甚至更差。它引入了最大的误差，并且比任何其他方法都更剧烈地改变了变量之间的关系。表现最好的方法是“k-最近邻”法。它保留了数据的自然分布，并使不同医疗测量值之间的关系比简单的中间值法或复杂模型都更加准确。在肺移植组中，复杂模型扭曲了近39%的变量，而k-最近邻法仅扭曲了约11%。在心肌梗塞组中，复杂模型扭曲了39%的变量，而k-最近邻法仅扭曲了11%。

研究人员发现，随着缺失数据量的增加，所有方法都会出错，但k-最近邻法出错的速度要慢得多。当一个变量具有高比例的缺失数字时，简单的中间值法和复杂模型都难以让数据看起来真实，但k-最近邻法表现得更为稳健。这可能是因为复杂模型试图为每一个单独的变量建立一个完美的数学规则，而当变量过多且用于学习的患者不足时，这变得非常困难。相比之下，k-最近邻法只需观察最相似的患者并复制他们的模式，即使在数据混乱或不完整的情况下也能运作良好。

这项研究并不是暗示复杂的统计模型毫无用处。该模型的设计初衷是提供一系列可能的答案，并考虑到由于不知道真实数值而产生的确定性问题，这对于某些类型的深度统计分析至关重要。然而，对于许多只需要一个干净、完整的数据库来描述一组患者或探索变量间关系的研究人员来说，复杂的模型可能大材小用，甚至适得其反。研究结果表明，对于创建一个单一且可靠的医疗数据集版本，k-最近邻法提供了一种强大的平衡。它比仍在广泛使用的简单中间值法更准确，且比复杂的模型更容易使用，因为它不需要研究人员做出过多的技术决策。

这项研究为医学科学提出了一个实践性的教训：有时，最先进的工具并不一定是完成这项工作的最佳选择。在医院记录这种混乱的现实中，患者的资料往往是不完整的且各具特色，通过观察相似患者来填补空白的方法，比使用僵化的数学公式更能保留数据的真实故事。通过选择正确的工具，研究人员可以确保他们发现的数据模式反映的是所研究患者的现实，而不是他们试图修复缺失数字时产生的偏差。这项工作为那些希望在保持数据真实性的同时，又不至于陷入不必要复杂性的科学家们，提供了一条清晰的前行之路。

技术摘要：缺失数据插补对真实世界临床数据集结构的影响

问题陈述

缺失数据是临床和生物医学研究中普遍存在的挑战，其来源包括记录不全、评估缺失、设备故障以及失访。尽管存在处理缺失机制（MCAR、MAR、MNAR）的方法论框架，但由于其简单性和在统计软件中的易用性，使用均值或中位数进行单次插补仍是应用临床研究中最常用的策略。然而，这种方法已知会系统性地降低方差、扭曲边缘分布并削弱协方差结构。相反，采用预测均值匹配（PMM）的多重插补链式方程法（MICE）是保持联合分布和传播不确定性的方法论参考标准。然而，MICE 需要显著的统计专业知识、精细的模型设定以及充足的样本量，而这些在单中心临床登记研究中往往是匮乏的。

在这两者之间，k-最近邻（KNN）插补提供了一种非参数、基于实例的替代方案。虽然此前已在高维基因组设置中对其进行了评估，但在中等规模的临床数据集（特别是针对具有工作流驱动的缺失模式，即关于维持单变量分布和多变量相关结构方面）中，其性能尚未直接与中位数替代法和 MICE 进行对比。

研究方法

本研究通过两个独立的真实世界临床队列进行了比较方法学评估：

主要队列： 一个单中心肺移植登记库（ $n=408$ ），包含 52 个连续变量，缺失率从 0.2% 到 77.9% 不等。
次要队列（外部验证）： 一个公开的急性心肌梗死数据集（ $n=1700$ ），包含 18 个连续变量，缺失率从 0.24% 到 63.29% 不等。

评估的插补策略：

中位数插补（Median Imputation）： 将缺失值确定性地替换为观测到的中位数（主要对照组）。
k-最近邻（KNN）： 基于 Gower 距离的非参数估计（主要评估方法， $k=5$ ）。
MICE/PMM： 全条件设定结合预测均值匹配，生成 5 个插补数据集（ $m=5$ ），迭代 10 次（次要参考标准）。

评估指标：
研究侧重于结构保真度而非预测模型性能。

单变量分布保持： 通过描述性统计量（均值、中位数、标准差 SD、四分位距 IQR）的相对误差以及用于衡量分布相似性的 Kolmogorov–Smirnov (KS) 统计量 ( $D$ ) 进行评估。以 $D > 0.10$ 定义为“显著扭曲”。
多变量结构保持： 通过比较原始数据与完成后的数据集之间的成对 Spearman 相关矩阵，利用矩阵相关性、平均绝对误差 (MAE) 和均方根误差 (RMSE) 进行量化。
对缺失率的敏感性： 使用线性回归模型分析了分布扭曲率相对于缺失数据百分比的增加速率。

关键结果

在两个数据集中，KNN 在保持数据统计结构方面始终优于或等同于其他方法。

1. 单变量分布保持：

KNN 在两个队列中均实现了最低的平均 KS 统计量（分别为 0.036 和 0.032），表明其与原始分布最为接近。
中位数插补表现出中间水平的性能（平均 $D \approx 0.075$ ），但显著扭曲了离散度度量（IQR 的平均相对误差为 20.8–26.2%）。
MICE/PMM 产生了最大的偏差（平均 $D \approx 0.117$ ）。出现显著扭曲（ $D > 0.10$ ）的变量比例在 KNN 中最低（9.6–11.1%），在中位数插补中居中（22.2–25.0%），在 MICE 中最高（34.6–38.9%）。
离散度： 与中位数插补（导致方差压缩）或 MICE（显示出最大的 SD 和 IQR 相对误差）相比，KNN 能够更好地维持原始数据的变异性（SD 和 IQR）。

2. 对缺失率的敏感性：

缺失比例与所有方法的分布扭曲之间均存在强正相关。
然而，扭曲增加的速率对于 KNN 而言最为平缓（斜率 $\approx 0.0021–0.0023$ 每 1% 缺失率），约为中位数插补的一半，且不到 MICE 的四分之一。

3. 多变量相关结构：

KNN 和 中位数插补 都能较好地保持多变量相关结构，两个队列中的矩阵相关性均超过 0.97。
MICE 显著改变了多变量结构，导致矩阵相关性大幅下降（0.790–0.815）且误差较高（RMSE $\approx 0.10$ ）。
在急性心肌梗死队列中，KNN 实现了最高的矩阵相关性（0.986），优于中位数插补（0.979）。

意义与主张

本文主张，KNN 插补在保持临床数据统计结构方面比中位数替代法更接近，且在结构保真度方面与 MICE 相当甚至更好，同时所需的统计设定复杂度要低得多。

优于中位数法： 研究量化了中位数替代法尽管流行，但会系统性地扭曲临床数据的分布和离散度，尤其是在缺失率增加时。KNN 提供了一个稳健的替代方案，可以避免这些压缩效应。
MICE 的上下文表现： 与其作为参考标准的地位相反，MICE/PMM 在本研究中表现出了最大的分布偏差。作者将其归因于 MICE 的随机性质（会在插补之间引入变异性）以及数据集的具体挑战：高变量与样本比（408 名患者对应 52 个变量）以及高缺失比例（部分变量超过 50%），这些条件已知会挑战 MICE 的收敛性和稳定性。
实际效用： 研究结果支持将 KNN 作为一种方法学上可靠且计算便捷的替代方案，适用于需要单一完整数据集进行描述性流行病学、探索性分析或降维的研究人员。它特别适用于样本量适中且指定 MICE 条件模型过于复杂的单中心登记研究。

注明的局限性：
作者明确指出，本研究评估的是结构保真度（观测分布的保持），而非恢复真实的数据生成过程或推断有效性。因此，虽然 KNN 在保持单个完整数据集的结构方面具有优势，但如果数据集特征处于 MICE 的运行范围内，MICE 仍然是需要通过 Rubin 组合规则来传播不确定性的正式统计推断的正确框架。本研究未评估分类变量的插补或下游预测模型的性能（区分度/校准度）。

技术摘要：缺失数据插补对真实世界临床数据集结构的影响

问题陈述

研究方法

关键结果

意义与主张

类似论文