Diagnosing Causal Credibility of Machine Learning Explanations: A Dual- SHAP Attribution Framework Applied to Social Survey Data

現代の人間行動研究において、研究者は膨大な調査データからパターンを見出すために、強力なコンピュータプログラムにますます依存するようになっている。これらの機械学習モデルは、所得、年齢、居住地がどのように組み合わさって社会的な習慣に影響を与えるかといった、従来の統計学では見逃してしまうような複雑なつながりを特定することに長けている。しかし、これらのモデルはしばしば不透明である。高い精度で結果を予測できる一方で、「なぜ」そうなるのかという明確な説明を提供できないのである。これを解決するために、科学者たちはSHAPと呼ばれるツールを使用している。これは、モデルが予測を行う際にどの要因を最も重要だと判断したかを強調する「スポットライト」のような役割を果たす。問題は、このスポットライトが、真の因果関係と単なる偶然の一致という、極めて異なる二つの事象をしばしば混同してしまうことにある。二つの事象が共に起こるからといって、一方が他方を引き起こしたことを意味するわけではない。例えば、モデルが「配偶者の年齢」を個人のインターネット利用の主要な理由としてフラグを立てることがあるが、それは配偶者の年齢がその人のオンライン利用を直接変えるからではなく、単に配侶同士は年齢が近い傾向があり、年齢自体がテクノロジー利用の強力な推進力となっているためである。社会科学者が、単に予測するだけでなく、人間行動を理解しようとする場合には、こうした真の因果関係と誤解を招く相関関係を区別することが不可欠である。

中国北大学のShidong Liによる新しい研究は、現実世界の社会調査データに厳格な診断フレームワークを適用することで、この混乱に正面から取り組んでいる。研究者は、31の省にわたる約4,800人を代表する大規模なデータセットである、2023年中国総合社会調査の回答を分析した。目的は、友人への訪問頻度から、見知らぬ人への信頼、メディア消費の習慣に至るまで、社会生活の18の側面を検証することであった。単一のコンピュータモデルが提供する標準的な説明を受け入れるのではなく、この研究では「デュアルSHAP（二重SHAP）」アプローチを採用した。この手法は、重要性を計算する二つの異なる方法を比較するものである。第一の方法は、変数間の既存のつながりをすべて保持したまま、データが自然に存在する状態を見るものである。第二の方法は、それらのつながりを人工的に断ち切り、他のすべての要素が独立している状態で特定の要因が変化した場合に、予測がどのようになるかを問うものである。これら二つの方法の結果を比較することで、本研究は各要因の「信頼性スコア」を測定することができた。スコアが高いことは、相関関係が断たれた場合でもその要因の重要性が維持されることを意味し、直接的な因果関係を示唆している。スコアが低いことは、その要因が、より影響力のある別の変数の「おこぼれ」に乗っていた可能性が高いことを示している。

調査は、利用可能なデータによってどの社会行動が信頼性を持って予測できるかをスキャンすることから始まった。最初に検討された22の行動のうち、18はさらに分析可能なほど予測可能であることが判明したが、ボランティア活動の頻度などの4つは、モデル化するにはあまりに不安定すぎた。残りの18の中で、研究は特定の行動に対してどの機械学習アルゴリズムが最も優れた性能を示すかを確認するために、5つの異なるタイプのアルゴリズムをテストした。その結果は、特定のアルゴリズム（XGBoostとして知られるもの）がすべてのタスクにおける普遍的なチャンピオンであるという、この分野の一般的な仮定に疑問を投げかけた。実際、研究では、一つのモデルが全領域を支配しているわけではないことが判明した。RandomForestと呼ばれるモデルは、社会的相互作用やメディア利用などの領域を含む18の成果のうち10個において最高のパフォーマンスを示した。しかし、Ridge回帰、LightGBM、GradientBoostingを含む他のモデルが、一般的な社会的信頼や新聞購読といった特定の成果において優れていることが証明された。この発見は、コンピュータモデルの選択が単なる技術的な細部ではなく、研究者が人間の行動を駆動する要因について導き出す結論を根本的に形作る、実質的な決定であることを示唆している。

最適なモデルが各行動に対して選定された後、研究は潜在的な原因のリストを38の予測因子から29の主要な要因へと絞り込んだ。この選択プロセスでは、SHAPツール自体を使用して、娘の数やジェンダー役割に対する特定の態度など、全体像への寄与が極めて低い変数を排除した。残された29の要因には、年齢や所得といった人口統計学的属性のほか、社会的公平性に対する態度や言語能力が含まれていた。年齢は全般にわたって最も支配的な予測因子として浮上し、次いで個人の所得と言語能力が続いた。これらの主要な要因が特定された後、研究者はデュアルSHAPフレームワークを適用して、各要因の影響の信頼性を計算した。その結果、すべての関係における平均信頼性スコアは0.727であり、多くの要因に直接的な影響がある一方で、標準的なモデルによって割り当てられた重要性のかなりの部分が相関関係によって膨らまされていることを示した。

研究は、信頼性の広いスペクトラムを明らかにした。個人の社会的公平性の認識や、移民に関する政治的見解などの一部の要因は、高い信頼性スコアを示し、その影響が強固であり、おそらく因果的であることを意味していた。対照的に、配偶者の年齢や婚姻期間などの要因は、回答者自身の年齢とのつながりが断たれた場合、しばしば低さ、あるいは負の信頼性を示すことがあった。例えば、研究が配偶者の年齢を回答者の年齢とは独立して変化させるシナリオをシミュレートした際、インターネット利用に対する配偶者の年齢の見かけ上の影響は消失するか、あるいは方向が逆転した。これは、元のモデルが相関関係を因果関係と誤認していたことを示す明確な警告となった。研究者たちは、これらのスコアを解釈するための閾値を設定した。彼らは、0.80以上のスコアは、主に因果的な関係を示す強力な指標とされるべきだと提案した。この基準を用いると、要因と行動のペアのうち、主に因果的であると資格を得たのは約40パーセントであった。閾値をより寛容な0.50に下げると、93パーセント近くのペアが基準を満たしたが、研究者たちは、偶然の一致によるパターンに惑わされないためには、より厳格な基準が必要であると主張した。

これらの発見が単なる統計的なアーティファクト（人工物）ではないことを確実にするため、研究は現実世界の変化をシミュレートすることで最終チェックを行った。彼らは、所得や年齢といった特定の要因が増加した場合に、ある個人の予測される行動がどのようになるかを問いかけた。結果は、常識および確立された社会科学と一致していた。例えば、シミュレーションにおいて個人の年齢を上げると、予測されるインターネット利用の減少につながり、これは高齢者がテクノロジーを頻繁に使用しないという、よく知られたデジタル・ディバイド（情報格差）を反映していた。同様に、個人の所得を上げると、新聞購読の増加が予測され、これは高い社会経済的地位がプリントメディアの消費と結びついているという考えと一致していた。これらのシミュレーションは、モデルがランダムなノイズではなく、真正で解釈可能な関係を捉えていることを裏付けた。さらに、研究者が若年層対高齢者、あるいは都市部対農村部といった異なるサブグループに対してこのフレームワークをテストしたところ、全体的なパターンは安定していたが、特定の信頼性スコアは対象となる集団によってわずかに変動した。これは、手法が堅牢である一方で、因果関係の強さは調査される特定のグループによって依存し得ることを示している。

結局のところ、この研究は、社会科学者が機械学習の説明から「信号」と「ノイズ」を分離するための、透明性が高く再現可能なツールを提供するものである。これは、未測定の要因が依然として作用している可能性があるため、絶対的な意味での因果関係を証明すると主張するものではないが、説明が誤解を招く可能性が高いかどうかを診断するための実用的な方法を提示している。データが「あるがままの状態」であるときと、変数間の自然なつながりが断たれたときのモデルの挙動を比較することで、研究者は今や、どの要因が真に社会的な結果を駆動しており、どの要因が単に他の変数によって投影された影に過ぎないのかを特定することができる。本研究は、機械学習は人間行動を覗き見るための強力なレンズであるが、提供される洞察が単なる正確な予測ではなく、なぜ人々がそのように行動するのかという信頼できる説明であるために、このような慎重な較正（キャリブレーション）を必要とするのだと結論づけている。