A Comparative Study of Methods for Handling Missing Data in Longitudinal Data with Implications for Causal Inference

想象一下，你正试图弄清楚每天喝一杯葡萄酒到底会让人更快乐还是更悲伤。你决定追踪一组人好几年来寻找答案。这就是研究人员所称的“纵向研究”（longitudinal study）。

然而，生活总是很混乱。人们会忘记填写调查问卷，会搬走，或者干脆不再回答关于他们情绪的问题。这就是缺失数据（missing data）。与此同时，还有其他因素在影响结果，比如他们的收入水平或年龄。这些是混杂因素（confounders，即那些让情况变得模糊不清的“隐藏变量”）。

这篇论文就像是一场高科技的烹饪大赛。研究人员不仅做了一道菜，还模拟了成千上万种不同的场景，以观察哪种“食谱”（统计方法）在食材缺失且厨房一片混乱时表现最好。

以下是他们研究结果的简明解读：

问题所在：双重困境

在现实世界的研究中，你通常会同时遇到两个问题：

1. 缺失数据： 有些人退出了研究或跳过了问题。
2. 混杂因素： 很难判断是酒精导致了情绪变化，还是其他因素（如压力或收入）同时导致了这两者。

以往的大多数研究试图一次只解决一个问题。而这项研究在问：“如果我们面对的是一个混乱的数据集，什么样的工具组合才是修复缺失部分并从噪音中分离出真实原因的最优解？”

实验设计：模拟厨房

研究人员利用计算机构建了一个虚拟世界。他们创造了虚构的人、虚构的生活、虚构的饮酒习惯和虚构的情绪。然后，他们故意“破坏”了数据，通过以下方式：

• 让一些人消失（缺失数据）。
• 让消失的原因各不相同（有些是随机的，有些是因为不开心）。
• 改变了追踪的年数。
• 增加了不同数量的“隐藏变量”（混杂因素）。

随后，他们测试了 7 种修复缺失数据的方法（例如猜测缺失的数字）和 6 种控制隐藏变量的方法（例如调整食谱）。他们针对每种组合运行了 1,000 次模拟，以观察哪种组合能给出最准确的答案。

实验原料：测试的方法

用于修复缺失数据（“填空”团队）：

• 完全案例分析（Complete Case Analysis）： 直接丢弃任何有缺失项的人。（就像因为缺了一个蛋就把整个蛋糕扔掉一样）。
• 均值插补（Mean Imputation）： 用平均值填补空白。（就像猜测某个学生的缺考成绩是全班平均分一样）。
• 多重插补（Multiple Imputation, MI）： 创建多个不同的“如果……会怎样”版本的缺失数据，然后取其平均值。（就像请 10 位不同的厨师来猜测缺失的配料，然后取他们的平均猜测值）。
• 随机森林（Random Forest）与 KNN： 智能计算机算法，通过观察相似的人来猜测缺失值。

用于控制混杂因素（“降噪”团队）：

• 多元调整（Multivariate Adjustment, MA）： 简单地将所有已知变量加入数学方程中。
• 倾向评分法（Propensity Score Methods, PSM, IPW）： 尝试将饮酒者与在纸面上看起来完全相同的非饮酒者进行匹配，或者给稀有类型的人更高的权重。
• 双重稳健估计（Doubly Robust Estimation, DRE）： 一个“双重检查”系统。它使用两个不同的数学模型；如果其中一个错了，另一个可以救场。
• 工具变量法（Instrumental Variable, IV）： 使用第三个因素（如遗传特征或随机事件），该因素会影响饮酒但不会直接影响情绪，从而起到自然实验的作用。

实验结果：谁赢得了比赛？

1. “缺失机制”的迷思
研究人员发现，数据缺失的原因（无论是随机缺失还是因为人们不开心）实际上并不会显著改变最终答案。最重要的一点是缺失数据的量。无论使用哪种方法，缺失数据越多，结果就越差。

2. 最好的“填空”团队
对于因果推断（寻找真正的因果关系）而言，获胜者是：

• 多重插补（MI）： 金标准。它能很好地处理不确定性。
• 均值插补（Mean Imputation）： 尽管它很简单，但在这个特定目标下表现得意外地好。
• 随机森林（Random Forest）： 能够从模式中学习的智能算法。

应避免： 简单地丢弃带有缺失数据的对象（完全案例分析）表现最差。它制造了最多的误差。

3. 最好的“降噪”团队
这取决于具体情况：

• 情景 A（复杂、现实世界的效应）： 如果酒精对每个人的影响各不相同（异质性）且没有隐藏的秘密，双重稳健估计（DRE） 是明显的赢家。它最准确且最稳定。
• 情景 B（简单效应或隐藏的秘密）： 如果效应对每个人都一样，或者存在未观测到的混杂因素（研究人员不知道的秘密），工具变量法（IV） 是最好的。它是唯一能窥探隐藏变量背后真相的方法。

4. 黄金组合
研究发现，对于大多数现实场景（即效应存在差异且我们假设已知主要混杂因素），最佳策略是：

多重插补（或随机森林）+ 双重稳健估计。

这个组合就像拥有一位大师级厨师（MI）和一套双重检查系统（DRE）。它能产生最准确的结果，且误差最小。

现实世界的味觉测试

为了证明他们的模拟并非只是计算机幻想，他们将这些方法应用于来自**中国健康与养老追踪调查（CHARLS）**的真实数据。他们研究了老年中国人群中酒精与抑郁之间的联系。

结果显示，现实世界的数据表现得与他们的模拟完全一致：

• 所有方法都发现了酒精与抑郁之间的联系。
• “双重稳向”方法结合“多重插补”给出了最稳定、最可靠的数字。
• “丢弃缺失数据”（完全案例分析）结合“逆概率加权”（IPW）的方法给出了最不稳定且夸大的结果。

核心结论

如果你是一名试图在长期研究中寻找因果关系的研究人员：

1. 不要直接删除缺失数据。 使用智能填充方法，如多重插补或随机森林。
2. 使用“双重检查”系统。 如果你认为效应因人而异，请使用双重稳健估计。
3. 警惕“秘密”。 如果你怀疑存在无法测量的隐藏因素，你可能需要使用工具变量法，但要小心——如果随访年数过多，它的效力会下降。

论文总结道，通过将正确的“填充”工具与正确的“降噪”工具相匹配，研究人员可以从混乱的现实世界数据中获得更清晰、更可靠的答案。