When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation

データサイエンスの世界において、研究者はしばしば一つのパズルに直面します。それは、制御された実験ができない場合に、どのようにしてある事象が別の事象を引き起こしているのかを判断するかという問題です。例えば、新しい薬が効くかどうかを理解しようとしている場面を想像してみてください。しかし、手元にあるのは、自らの意思でその薬を服用することを選択した人々の記録と、そうでない人々の記録が混ざり合ったものだけです。このもつれを解くために、科学者たちは「因果推論」と呼ばれる手法を用います。このアプローチは、薬を飲むという決定と健康状態への影響の両方に影響を与える背景因子（年齢、所得、既往歴など）を記述するための数学的モデルを構築することに基づいています。これらの背景モデルは「ナイスンス関数（厄介な関数）」として知られています。これらが「ナイスンス（厄介な）」と呼ばれるのは、それらが迷惑だからではなく、真の治療効果を孤立させるために、研究者がそれらを正確に推定する必要があるからです。長年、これらの背景モデルがどれほど優れているかを検証する標準的な方法は、気象予報士が気温の予測が実際の天候と一致しているかを確認するのと同様に、モデルが背景データをどれだけ良く予測できるかを見ることでした。前提は単純でした。もしモデルが背景データをうまく予測できるのであれば、それは正しい因果関係を見つけ出す助けにもなるはずだ、というものです。

イェール大学のコン・カオによる最近の研究は、この長年の仮説に異議を唱えています。研究者は、背景データを予測することに長けたモデルが、必ずしも真の因果関係を見つけることに長けているのかどうかをテストすることに乗り出しました。これを行うために、カオ氏は現実世界の医療記録を見るのではなく、コンピュータ上に数千ものシミュレーション上の世界を作り出しました。これらのシミュレーションでは、真の因果関係が設計によって既知であったため、研究者は異なるコンピュータプログラムがどのように機能するかを正確に把握することができました。この研究では、伝統的な統計ツールから現代的で柔軟な機械学習アルゴリズムに至るまで、背景モデルを構築するためのいくつかの一般的な手法を比較しました。目的は、背景データを予測するためのスコアが、正しい因果関係を見つけるためのスコアと一致するかどうかを確認することでした。

結果は、驚くべき乖離を明らかにしました。研究によれば、背景データの予測に最も優れた手法が、必ずしも因果効果を推定する上で最良の手法であるとは限らないことが判明しました。シミュレーションにおいて、XGBoostと呼ばれる機械学習ツールは、背景変数の予測において最も正確であり、その推測における誤差を最小に抑えました。しかし、最終目標である因果効果の推定となると、特定の統計的枠組みの中でXGBoostを使用する「ダブル機械学習（Double Machine Learning）」と呼ばれる別の手法の方が、別の極めて重要なタスク、すなわち「信頼できる信頼区間」を提供することにおいて優れた性能を発揮しました。信頼区間とは、研究者が自身の答えに対してどの程度の確信を持っているかを示すために用いる値の範囲のことです。これらのシミュレーションにおいて、予測精度が最も高かった手法は、範囲が狭すぎ、つまり過信しており、しばしば正解を外していました。一方で、予測精度はわずかに劣っていた手法は、より広く誠実な範囲を提示し、真の答えを93パーセントの確率で捉えていました。これは理想的な95パーセントに非常に近い数値です。

このことは、優れた予測者であることが、優れた因果関係の探偵であることと同じではないことを示唆しています。研究は、モデルが背景の数値を予測することには非常に精密であっても、最終的な答えに対する信頼できる範囲を示すことには失敗する場合があることを示しました。また、研究者たちは新しいアイデア、すなわち「2つの異なる背景モデルの結合された誤差を見ることで、最終的な結果を予測できるか」についても検証しました。彼らは、この結合された指標は弱く、どの手法が最適に機能するかを信頼性高く示すことはできないという結論に達しました。この知見は、モデルがデータを予測する能力を確認することは有用ではあるものの、それ単独では優れた因果的結論を保証するには不十分であることを示しています。研究者は、単に予測誤差が最小のモデルを選んで因果的な答えが正しいと決めつけることはできません。代わりに、最終的な結論が堅牢であることを確実にするために、不確実性をどのように扱うかといった、因果的手法自体の特定の特性を見極める必要があります。

また、研究では、患者が同じ病院や家族にグループ化されている場合のように、データポイントが独立していない状況で何が起こるのかについても調査しました。これは、彼らの間に隠れた繋がりを生み出します。このような、より複雑でクラスター化された状況においても、このパターンは維持されました。背景データを最もよく予測した手法は、依然として最も信頼できる信頼区間を提供することはありませんでした。研究者らは、彼らの研究が特定の条件下でのコンピュータ・シミュレーションに基づいているため、異なる種類のデータを持つ他の現実世界のシナリオでは結果が異なる可能性があると述べています。しかし、核心となるメッセージは明確です。因果関係を探求する上で、モデルが過去を予測する能力は、自動的に未来を説明する能力へと翻訳されるわけではありません。背景のノイズを整理するために使用されるツールは、単にノイズ自体をどれだけうまく推測できるかではなく、最終的な答えをどれだけうまく保護できるかによって判断されなければならないのです。