The Smallest Standard Error Is the Wrong One: Selection Among Multiple Imputations Invalidates Inference
本文表明，选择标准误最小的多重插补分析结果会通过丢弃必要的插补间方差并人为降低插补内方差，从而系统性地使统计推断失效，导致置信区间覆盖率严重不足以及估计值出现偏差，而鲁宾（Rubin）的合并规则则能正确保持校准。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数据分析的世界里，缺失信息是一个如影随形的伴侣。无论是追踪医院中的患者康复情况、测量田间的农作物产量，还是研究经济趋势，研究人员很少能拥有完美的一组数字。有些条目是空白的、丢失的，或者从未被记录。为了理清这些空白，统计学家使用了一种叫做“多重插补”（multiple imputation）的技术。他们并不是通过猜测一个单一的值来填补空白，而是创建了多个不同的、看似合理的缺失数据版本。然后，他们对每个版本分别进行分析。这种方法承认了缺失的数字是未知的，并且不同的猜测可能会导致略微不同的结论。通过结合所有这些版本的分析结果，分析师可以得出一个最终答案，该答案能够诚实地反映他们拥有的数据以及对于所缺失数据的确定性。其目标是确保报告的结果置信度与现实情况相匹配。
来自南非的一个研究小组最近发现，在这个过程中一个看似逻辑通顺的捷径实际上破坏了数学原理。他们发现，当分析师生成多个数据版本，并从中挑选出看起来最精确的一个版本时——具体来说，就是那个误差范围最小的版本——他们实际上是在欺骗自己。这种选择虽然看起来像是要提高研究的聚焦度，但却系统性地掩盖了真实的确定性程度。研究人员指出，通过从一组候选者中挑选出“看起来最好的”结果，分析师丢弃了使该方法可靠的关键信息。他们证明了这种做法会导致置信区间过窄且点估计值存在微妙的偏差，从而使研究结果看起来比实际情况更具确定性。
这项研究始于对统计工作中一种自然的诱惑的观察。当研究人员拥有二十个不同的完整数据集，且每个数据集都有各自计算出的估计值和衡量其变动程度的指标时，他们往往会倾向于选择那个变动最小的数据集。较小的变动意味着结果更紧凑、更精确，而这通常是科学家想要报告的内容。这些研究人员此前曾为这种方法辩护过，但现在他们决定对其进行严格测试。他们建立了一个受控模拟实验，其中他们预先知道真实答案。他们生成了带有缺失值的数千个数据集，为每个数据集创建了二十个不同的插补版本，然后应用了选择规则：挑选出估计误差最小的版本。
结果是触目惊心的。在这些已知真实答案的模拟实验中，挑选最小误差的方法所产生的置信区间仅在约 84.5% 的情况下覆盖了真实答案，而按照标准，它们应该在 95% 的情况下覆盖真实答案。这意味着该方法未能捕捉到真相的频率高于应有的水平。研究人员确定了导致这种失败的三个截然不同的原因。首先，通过仅选择一个数据集并将其视为唯一真实的数据，该方法丢弃了不同猜测之间的变异性。这种变异性至关重要，因为它代表了对缺失数值的不确定性。其次，从二十个成员中挑选出最小值这一行为，自然会导致结果向下偏倚。正如在一间二十人的房间里选出的最矮的人很可能比普通人群中的平均身高要矮一样，从二十个组中选出的最小误差估计值也可能小于真实的平均误差。第三，由于数值的估计值与其误差的估计值通常是相互关联的，因此挑选最小误差会无意中挑选出一种特定类型的数值，从而使最终答案偏离真相。
为了说明问题的严重性，研究人员将这种选择方法与处理多重插补的标准、公认的方法（即鲁宾法则，Rubin's rules）进行了对比。鲁宾法则并不挑选一个“赢家”，而是将所有二十个猜测合并为一个单一的、平均后的结果。当研究人员将同样的二十个猜测应用于这个标准方法时，结果是完美校准的。其置信区间在 94.6% 的情况下覆盖了真实答案，精准达标。相比之下，选择法在纸面上看起来更精确，报告了更窄的不确定性范围，但这种精确度是以牺牲准确性为代价的幻象。
研究还探讨了当研究人员增加生成的猜测数量时会发生什么。标准的建议是，使用更多的插补可以带来更好、更稳定的结果。然而，对于选择法而言，情况恰恰相反。随着研究人员将候选数据集的数量从两个增加到一百个，选择法的表现变得更差了。其置信区间变得更加不可靠，覆盖真实答案的频率降至 81.7%，同时最终答案的偏差也随之增大。相比之下，合并所有猜测的标准方法无论使用多少个猜测，都能保持稳定和准确。这揭示了一个危险的陷阱：如果一名分析师遵循“使用更多数据以求谨慎”的建议，但使用了选择法，他实际上会在没有任何警告信号的情况下，使自己的推断变得更加不可靠。
研究人员得出结论，标准误差不能既作为分析的目标，又作为衡量其成功的标准。你不能试图优化出最小误差，然后再信任这个误差是一个诚实的确定性度量。他们提出了一种新的评估统计方法的新协议：在比较不同方法的精确度之前，研究人员必须首先检查其报告的不确定性是否与结果的实际变异性相匹配。他们称之为“校准优先”法。如果一个方法报告的误差相对于真相而言过小，那么无论其置信区间看起来多么狭窄，都应立即予以拒绝。这条规则将防止选择法在公平的比较中胜出。
这项工作是对数据科学领域一个极具吸引力的特定观点的修正。研究人员承认，他们此前曾亲自提出过这种选择法，并认为它是一种有效的改进。通过使用一个已知真相的严谨模拟实验对自己的工作进行重新审查，他们证明了该方法在根本上是有缺陷的。他们强调，这种失败并非微小的技术问题，而是一个使统计推断失效的结构性问题。他们提供的解决方案很简单：不要挑选赢家，而是要合并所有的候选者。通过汇总结果，该方法保留了必要的不确定性，并产生了有效且值得信赖的结论。这项研究提醒人们，在追求精确的过程中，最吸引人的捷径有时正是那条通往远离真相之路的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。