Missing data and cluster graphs: cluster-level missingness vs variable-level missingness

あなたがシステムの一部がどのように連携して機能するかを理解するために、巨大なジグソーパズルを解こうとしていると想像してください。例えば、精神衛生、性的習慣、HIV 感染状態がどのように関連しているかといった具合です。しかし、問題があります。いくつかのパズルのピースが欠けているのです。データサイエンスの世界では、これを「欠損データ」と呼びます。

通常、科学者たちはこの問題を解決するために、欠けているピースを一つずつ個別に調べようとします。「なぜこの特定のピースが欠けているのか？隣にあるピースのせいか？それとも部屋の向こう側にあるピースのせいか？」と問いかけます。これは、都市のすべての通りの詳細な地図を持っているようなものです。

しかし、現実には、そのような詳細なレベルの情報が得られないことがよくあります。私たちが知っているのは、情報全体が欠けている「地区（クラスター）」があることだけで、その地区内のどの家が空いているのかはわからないという状況です。ウィロー・スコットと共著者によるこの論文は、次のような問いを投げかけています：個々の通りの詳細な地図ではなく、地区の地図しか持っていなくても、パズルを解くことはできるでしょうか？

2 種類の地図

著者たちは、欠損データを処理するためのこれらの「地区地図」を描く 2 つの方法を導入しています。

1. 「詳細な地区」地図（m-C-DMG）：
   「性的行動」という地区に欠損データがあることはわかっていると想像してください。この地図では、その地区内のどの特定の「家」が欠けているかを依然として追跡します。「コンドーム使用」の家が欠けていますが、「パートナー数」の家は存在していることがわかります。グループ化して地区にまとめたとしても、個々の欠損の指標は別々に保持されます。

   • 比喩: 「ダウンタウン地区」で停電が発生していることは知っているが、どの街路灯が具体的に消えているかのリストは依然として持っている。

2. 「ぼやけた地区」地図（cm-C-DMG）：
   これはより粗い地図です。ここでは、「性的行動」という地区全体に問題があることしかわかりません。「コンドーム使用」の家が欠けているのか、「パートナー数」の家が欠けているのかはわからず、地区全体に大きな「欠損」という看板が見えるだけです。

   • 比喩: 「ダウンタウン地区全域停電」という看板が見えるが、どの街路灯が影響を受けているのかは全くわからない。

大きな発見：まだ何を学べるか？

この論文は、これらのぼやけた地図を使って、完全な図（「同時分布」）や因果関係（例えば「行動 A が結果 B を引き起こすか？」）をまだ特定できるかどうかを探求しています。

1. 「ぼやけた」地図は威力が劣る
著者たちは、「ぼやけた地区」地図（cm-C-DMG）が少し劣っていることを発見しました。すべての欠損の詳細を 1 つの大きなブロックに統合してしまうため、パズルを解くために必要な手がかりを隠してしまうことがあるからです。

• 比喩: 「ダウンタウン地区」にデータが欠けていることしか知らない場合、地区全体が信頼できないと推測するかもしれません。しかし、「詳細な」地図では、欠けているのはたった 1 つの特定の家のみで、地区の残りは実際には大丈夫だと気づくかもしれません。ぼやけた地図は、すべてが悪いと考えて良いデータを捨ててしまうかもしれませんが、詳細な地図ならそれを救うことができます。
• 規則: 「ぼやけた」地図を使ってパズルを解けるなら、間違いなく「詳細な」地図でも解けます。しかし、その逆は必ずしも真ではありません。時には、「詳細な」地図なら解けるパズルでも、「ぼやけた」地図では不可能になることがあります。

2. パズルの解決（同時分布の回復）
この論文は、欠損データから全体の図を再構成できるかどうかを確認するための具体的なルール（チェックリスト）を提供しています。

• 規則: 「欠損」の看板が、隠そうとしているデータと直接的でこっそりとしたつながりを持っていなければ、完全な図を回復できます。
• 比喩: 泥棒（欠損データ生成メカニズム）が盗まれた時計のすぐ隣に立って、その時計に秘密を囁いている場合、探偵は何が起きたのかを特定できません。しかし、泥棒が別の部屋にいて、彼らの間の唯一の道が「コライダー（経路を遮る第三者）」によってブロックされている場合、探偵は事件を解決できます。論文はこう述べています。「欠損」の看板がデータに直接囁いたり、特定の種類の秘密の経路でつながっていなければ、完全な物語を再構成できます。

3. 因果関係の特定（マクロ因果効果）
著者たちはまた、データが欠けている場合でも、因果関係（例えば、「行動 X を変えることが結果 Y の変化を引き起こすか？」）を特定できるかどうかを検討しました。

• 驚き: 1 つのピースがもう 1 つのピースにどのように影響するかを知るために、必ずしもパズル全体を再構成する必要はありません。
• 比喩: 都市のジグソーパズルの絵全体を再構築できないとしても、交通と時計のピースだけを見て、「渋滞が遅刻を引き起こす」ことを証明できるかもしれません。
• この論文は示しています。「ぼやけた」地図がシステムの完全な状態を知ることを不可能にしているとしても、論理的なルール（「do-calculus」と呼ばれる）のセットを使用して、特定の因果関係を特定することは可能かもしれません。

なぜこれが重要なのか？

現実の世界では、科学者たちは完璧なデータを持っているとは限りません。「精神衛生」と「性的行動」が関連していることはわかっても、すべての調査質問間の正確な関係はわからないかもしれません。

この論文は私たちに伝えます。

• 必要であればデータをクラスターにグループ化しても構いませんが、注意が必要です。
• 過度にグループ化すると（「ぼやけた」地図を使用すると）、特定の質問に答える能力を失う可能性があります。
• しかし、ぼやけた地図であっても、正しい論理的ステップに従うことで、因果関係に関する重要な「もし～ならどうなるか」という質問に答えることができる場合が多いです。

要約すると、この論文は科学者たちが正確にどれだけの詳細を収集する必要があるかを知るためのツールキットを提供しています。「ぼやけた」地図を持っている場合、どの質問にまだ答えられるのか、そしてどの質問には「詳細な」地図を取りに戻って収集する必要があるのかを、彼らは今や知ることができます。