Missing data and cluster graphs: cluster-level missingness vs variable-level missingness

想象一下，你正在尝试拼凑一幅巨大的拼图，以理解系统不同部分如何协同工作——例如心理健康、性习惯与艾滋病病毒感染状况之间可能存在怎样的关联。但这里有个问题：有些拼图块缺失了。在数据科学领域，这被称为“缺失数据”。

通常，科学家会尝试通过逐一查看每一个缺失的拼图块来解决这个问题。他们会问：“为什么这一块特定的拼图缺失了？是因为它旁边的块？还是房间另一头的块？”这就像拥有一张城市里每一条街道的详细地图。

然而，在现实生活中，我们往往没有如此详尽的细节。我们可能只知道整个街区（簇）的信息缺失了，却不清楚该街区里具体哪一户房屋是空的。本文由 Willow Scott 及其同事撰写，提出了这样一个问题：如果我们只拥有街区地图，而没有街道级别的详细地图，我们还能拼好这幅拼图吗？

两种类型的地图

作者提出了两种绘制这些“街区地图”的方式来处理缺失数据：

1. “详细街区”地图（m-C-DMG）：
   想象你知道“性行为”街区存在数据缺失。在这张地图上，你仍然会追踪该街区中具体哪一户房屋是空的。你知道“安全套使用”这一户缺失了，但“伴侣数量”这一户是存在的。尽管你将它们归入同一个街区，但你仍然将各个缺失指示符分开保留。

   • 类比： 你知道“市中心”区域发生了停电，但你仍然有一份确切清单，列出了具体哪些路灯熄灭了。

2. “模糊街区”地图（cm-C-DMG）：
   这是一张更粗略的地图。在这里，你只知道整个“性行为”街区出了问题。你不知道是“安全套使用”这一户还是“伴侣数量”这一户缺失了；你只看到整个区域上方有一个大大的“缺失”标志。

   • 类比： 你看到了“市中心区域停电”的标志，但你完全不知道具体哪些路灯受到了影响。

重大发现：我们还能学到什么？

本文探讨了利用这些模糊地图，我们是否仍能推断出完整图景（即“联合分布”）或因果关系（例如“行为 A 是否导致结果 B？”）。

1. “模糊”地图的能力较弱
作者发现，“模糊街区”地图（cm-C-DMG）略显逊色。因为它将所有缺失细节合并为一个巨大的区块，有时会掩盖解决拼图所需的线索。

• 隐喻： 如果你只知道“市中心”区域缺失了数据，你可能会假设整个区域都不可靠。但在“详细”地图上，你可能会意识到只有一户特定的房屋缺失，而该区域其余部分实际上完好无损。模糊地图可能会让你误以为所有数据都很糟糕而将其丢弃，而详细地图则能让你保留这些数据。
• 规则： 如果你能用“模糊”地图拼好拼图，那么你肯定也能用“详细”地图拼好。但反之则不成立。有时，“详细”地图能让你解决那些用“模糊”地图无法解决的拼图。

2. 拼好拼图（恢复联合分布）
本文提供了一套具体的规则（检查清单），用于判断能否从缺失数据中重构完整图景。

• 规则： 如果“缺失”标志与它们本应隐藏的数据之间没有直接、隐秘的连接，你就可以恢复完整图景。
• 类比： 想象一名侦探试图寻找一块被盗的手表。如果小偷（缺失数据机制）正站在手表旁边并向它耳语秘密，侦探就无法查明真相。但如果小偷在另一个房间，且他们之间的唯一路径被一个“对撞机”（一个阻挡路径的第三方）阻断，侦探仍然可以破案。本文指出：只要“缺失”标志没有直接向数据耳语，或者没有通过某种特定类型的秘密路径相连，你就可以重构完整的故事。

3. 推断因果关系（宏观因果效应）
作者还研究了即使数据缺失，我们是否仍能推断出因果关系（例如，“改变行为 X 是否会导致结果 Y 的变化？”）。

• 令人惊讶的是： 你并不总是需要重构整个拼图，才能知道某一块如何影响另一块。
• 类比： 你可能无法重建整幅描绘城市的拼图，但你仍然可以通过仅观察交通和时钟这两块拼图，来证明“交通拥堵导致迟到”。
• 本文表明，即使“模糊”地图使得了解系统的完整状态变得不可能，我们仍可能利用一套逻辑规则（称为“do-演算”）来推断特定的因果关系。

这为何重要？

在现实世界中，科学家往往没有完美的数据。他们可能知道“心理健康”与“性行为”是相互关联的，但他们并不清楚每份调查问卷中各个问题之间的确切关系。

本文告诉我们：

• 如果必须将数据分组为簇，那是可以的，但我们需要谨慎。
• 如果我们分组过多（使用“模糊”地图），我们可能会失去回答某些问题的能力。
• 然而，即使使用模糊地图，只要遵循正确的逻辑步骤，我们通常仍能回答关于因果关系的重要“如果……会怎样”的问题。

简而言之，本文为科学家提供了一套工具，使他们能够确切知道需要收集多少细节。如果他们拥有“模糊”地图，他们现在就能知道哪些问题仍然可以回答，而哪些问题需要他们回头去获取“详细”地图。