📊 statistics

Predicting missing values: A good idea?

本文论证，为缺失值插补而最小化均方误差会通过抑制自然数据变异性而在下游分析中引入系统性偏差，并证明添加与均方误差成比例的噪声（随机插补）对于保持变异性并确保无偏统计估计至关重要。

原作者： Stef van Buuren

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Stef van Buuren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对该论文的解释。

核心理念：为何“完美”的猜测可能带来危险

想象你是一位厨师，试图复刻一道名汤的食谱，但你缺少盐的用量数据。你有一位非常聪明的助手（计算机算法），它会根据其他所有食材以及汤目前的味道来推测缺失的盐量。

这位助手有两种推测缺失盐量的方法：

“完美”猜测（预测法）： 助手根据其他食材计算出所需的确切平均盐量。如果食谱通常需要 5 克，助手就会写下"5 克”。
“现实”猜测（随机法）： 助手计算出平均值（5 克），但随后加入一点点随机的“缓冲空间”。有时他们写下"4.8 克”，有时写下"5.2 克”。他们承认现实生活并非绝对精确。

论文指出，虽然“完美”的猜测在纸面上看起来更好，但“现实”的猜测才是做出良好后续决策所真正需要的。

问题所在：“冰沙”效应

论文解释说，当我们使用“完美”猜测（即最小化均方误差，MSE）时，我们无意中会将数据变成一杯冰沙。

真实数据： 想象一碗水果沙拉。有些块大，有些块小，有些甜，有些酸。它具有自然的多样性。
“完美”猜测： 当计算机用确切的平均值大小和味道来填补缺失的水果时，它粉碎了所有的多样性。结果变成了一种平滑、均匀的糊状物。

为什么这很糟糕？
如果你后来试图分析这杯“冰沙”，看看水果里有多少糖，或者水果大小与甜度之间的关系，你的结果将会是错误的。

方差（离散程度）： 冰沙看起来比真实的水果沙拉变异程度更低。你会误以为水果比实际情况更均匀。
相关性（关系）： 由于计算机强行让每一个缺失的碎片都完美地符合平均值，它在变量之间制造了虚假的、过强的关系。看起来一切似乎都完美相连，但这并非事实。
"R 平方”陷阱： 计算机将告诉你：“看！我的模型解释了 99% 的数据！”这是一个谎言。这之所以很高，是因为计算机用它试图预测的确切答案填补了空白。

解决方案：加入“噪声”

论文建议，要解决这个问题，我们必须向我们的猜测中加入噪声（随机性）。

这就像玩飞镖游戏：

预测法： 你瞄准靶心，每次都正中红心。你的得分（MSE）是完美的。但如果你观察飞镖落点的位置，它们都堆叠在一个极小的点上。你无法判断你的瞄准通常有多大的分散度。
随机法： 你瞄准中心，但故意让手稍微抖动一下。你会稍微偏左、稍微偏右、稍微偏高。你的得分（MSE）会稍微差一些，因为你偶尔会偏离靶心。然而，你飞镖的分布模式现在看起来完全像是一个真实的人在投掷飞镖。它展示了真实的分散度和不确定性。

论文的发现：
尽管“手抖”方法的误差得分（MSE）更高，但它保留了数据的自然变异性。这确保了当你稍后运行分析（如计算平均值、相关性或趋势）时，结果是诚实且无偏的。

软件测试

作者测试了三种用于填补缺失数据的流行计算机工具：

missForest 和 softImpute： 这些工具表现得像“完美”的猜测者。它们试图最小化误差并生成平滑的、确定性的答案。论文发现，它们引入了“冰沙”偏差，使数据看起来变异程度更低，关系比实际情况更强。
mice： 这个工具表现得像“现实”的猜测者。它在答案中加入了随机性。论文发现，mice 为后续分析产生了最准确的结果，保持了数据自然的离散度。

结论：预测与插补

论文做出了一个关键区分：

预测是关于尽可能准确地猜测单个数字（比如猜测赛跑的获胜者）。
插补是关于填补拼图，以便你稍后能研究整幅画面。

如果你把插补当作预测来处理（试图获得最低的误差得分），你就会毁掉这幅拼图。你会创造出一幅看起来过于干净、过于完美的画面。

核心启示：
为了从数据中获得有效的结果，你不应该仅仅试图完美地猜测缺失的数字。你应该带着不确定性去猜测它们。通过在猜测中加入一点点随机噪声，你可以防止数据变成“冰沙”，并确保你的最终分析反映出真实世界那种混乱而美好的现实。

简而言之： 一个包含随机性的、稍微“较差”的猜测，对于科学而言，实际上比一个消除了所有不确定性的“完美”猜测是“更好”的猜测。

技术摘要：预测缺失值。这是一个好主意吗？

问题陈述
本文探讨了机器学习和统计分析中处理缺失数据时存在的一个关键脱节现象。虽然最小化均方误差（MSE）是评估插补方法的主导标准——即优先考虑点估计的准确性——但这种方法会系统性地在下流分析中引入偏差。核心问题在于，MSE 优化的插补本质上是条件均值（平均值）。通过将缺失值替换为这些确定性平均值，数据的自然变异性被人为地降低了。这种降低扭曲了关键统计参数，包括方差、流行率、相关性、回归斜率和解释方差（ $R^2$ ），从而导致后续建模中的无效推断和过度自信的估计。

方法论
作者采用理论框架和模拟研究，在多元正态设定下比较了两种截然不同的插补策略：

预测插补（Predict）：该方法通过基于观测预测值插补期望值（ $\hat{y}$ ）来最小化 MSE。它是确定性的，对应于回归插补或条件均值插补。
随机插补（Draw）：该方法在预测值上添加随机噪声（ $\epsilon$ ），使得 $\dot{y} = \hat{y} + \epsilon$ 。噪声是从插补模型的残差分布中抽取的。这种方法承认了缺失数据固有的不确定性。

研究利用模拟设置，构建了代表“高信号”（ $R^2=0.8$ ）和“低信号”（ $R^2=0.2$ ）数据的合成总体。缺失机制通过完全随机缺失（MCAR）和随机缺失（MAR）两种机制引入。这些方法的性能不仅通过 MSE 进行评估，还通过它们对回归模型中下流参数（ $\mu, \sigma, P90, \rho, \gamma, R^2$ ）的影响进行评估，其中插补变量既作为预测变量也作为结果变量。

此外，本文评估了三种流行的软件工具——missForest、softImpute和mice，以评估它们的默认行为是否符合预测范式或随机范式。

主要结果

预测方法的偏差：“预测”方法一致地降低了标准差（ $\sigma$ ）和超过第 90 百分位数的案例比例（ $P90$ ）。相反，它夸大了相关性（ $\rho$ ）、回归斜率（ $\delta$ ）和解释方差的比例（ $R^2$ ）。这些偏差在变量间关系较弱的低信号场景中最为严重。
随机方法的有效性：引入噪声的“抽取”方法产生的方差、相关性和斜率估计值与真实总体参数高度一致，有效地消除了预测方法引入的系统性偏差。
MSE 悖论：虽然“抽取”方法产生了无偏的下流估计，但其 MSE 大约是“预测”方法的两倍（ $MSE_{draw} \approx 2 \times MSE_{predict}$ ）。仅依赖 MSE 会错误地将有偏的预测方法识别为更优。
软件评估：
- missForest的行为类似于预测方法，引入了显著的偏差。
- softImpute结果喜忧参半；它在高信号环境下的方差表现良好，但在低信号环境下表现出过度的离散度和高 MSE，同时仍然高估了解释方差。
- mice（使用其默认贝叶斯框架）产生了最准确的下流估计，保留了数据变异性。文章指出，mice 在使用预测均值匹配时存在 $P90$ 的小问题，可以通过切换到正态插补来解决。

主要贡献

系统性偏差的实证：本文提供了实证证据，证明最小化插补的 MSE 会系统性地扭曲下流统计属性，具体表现为将数据分布压缩至条件均值。
噪声作为解决方案：提出并验证了添加噪声（随机插补）作为一种简单有效的机制，以恢复数据的自然变异性并确保下流分析的无偏性。
评估指标的批判：这项工作挑战了机器学习社区将 MSE 作为插补质量主要指标的依赖，认为其优先考虑点准确性而忽视了数据分布的统计有效性。
实用工具评估：对广泛使用的插补工具进行了比较分析，强调许多流行的“黑盒”方法（如 missForest）无意中延续了确定性插补的偏差。

意义与主张
本文认为，插补的目标不应是完美地重现真实的缺失值（这是不可能的），而是促进有效且信息丰富的下流分析。作者断言，只有当预测过程包含添加噪声以保留数据变异性时，“预测缺失值”才是一个“好主意”。

其意义在于将范式从准确性（最小化 MSE）转向有效性（保留变异性）。文章得出结论，引入噪声对于防止方差、相关性和斜率估计中的偏差至关重要。虽然承认添加噪声会增加 MSE，但作者认为这是应对缺失数据中固有不可减误差的必要权衡。这项工作将统计严谨性与实际效用联系起来，表明在需要可靠推断的场景中，随机方法在处理不完整数据方面更为优越。