🤖 machine learning

Doctor Rashomon and the UNIVERSE of Madness: Variable Importance with Unobserved Confounding and the Rashomon Effect

本論文は、未観測の交絡因子およびモデルの多重性の存在下において、ラショモン集合を活用することで変数の重要性に対する頑健な境界を提供し、それによって標準的な特徴量選択および仮説生成における決定的な限界に対処する新しいフレームワークであるUNIVERSEを導入する。

原著者： Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

公開日 2026-08-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

データサイエンスの世界において、研究者たちは、ローンが返済されるか、あるいは患者が回復するかといった、特定の結末を左右する要因は何であるかを理解しようと試みています。これを行うために、彼らは所得、信用履歴、年齢といった様々な要因、すなわち「特徴量」に着目した数学的モデルを構築します。このプロセスにおいて標準的な部分は、これらの特徴量のうちどれが真に重要であるかを判断することです。科学者たちは長年、ある特徴量を取り除いたりシャッフルしたりした際に、モデルの性能がどの程度低下するかに基づいて各特徴量にスコアを割り当てる手法に頼ってきました。これにより、将来どの変数を収集すべきで、どれを無視すべきかを判断できます。しかし、この標準的なアプローチには隠れた欠陥があります。それは通常、分析対象となるモデルが唯一の優れたモデルであることを前提としている点です。実際には、同じデータを等しく説明できる異なるモデルが数多く存在し得ます。これは「羅生門効果（Rashomon effect）」として知られる現象です。さらに、現実世界のデータはしばしば不完全であり、個人の正確な所得や健康歴といった極めて重要な情報が、データセットから完全に欠落していることがあります。こうした欠落したピースが存在する場合、標準的な手法は誤解を招く結論を導き出すことがあり、ある特徴量が重要ではないにもかかわらず重要であるように見せたり、あるいは実際に重要な特徴量を隠してしまったりすることがあります。

デューク大学とボッコーニ大学の研究チームは、これらの問題を解決するために、「UNIVERSE」と呼ばれる新しいフレームワークを開発しました。彼らの研究は、複数の同等に優れたモデルが存在することと、結果を歪める可能性のある欠損データがあるという、二つの課題に対処しています。単一の「最善のモデル」を選んでそれを孤立させて分析するのではなく、研究者たちは、最良のものとほぼ同等の性能を持つモデル全体のグループに注目します。彼らはこのグループを「羅生門集合（Rashomon set）」と呼んでいます。この集合全体を調査することで、特徴量の重要性が異なる有効なモデル間でどのように変化するかを確認できます。しかし、彼らはそれだけにとどまりません。彼らは、いくつかの重要な変数がデータから欠落している可能性も考慮に入れます。そのために、彼らは数学的な「境界（bounds）」によるセーフティネットを作成します。これらの境界は、起こり得る値の範囲のように機能し、たとえ研究者が欠落している変数が何であるかを正確に知らず、どの特定のモデルが真のモデルであるかを知らないとしても、特徴量の真の重要性がその範囲内のどこかに確実に収まることを保証します。

研究者たちは、巧妙なシミュレーション手法を用いてこの手法をテストしました。彼らは、犯罪の再犯率、学生の大学中退率、信用リスク評価といった現実世界のデータセットを用い、一部のデータが隠されているシナリオを人工的に作り出しました。彼らはデータをグループに分割し、それぞれのグループに対して異なるモデルを学習させました。これにより、実質的に「真の」モデルが、どのグループに属するかによって変わる状況（ただし、メインの分析ではその情報は見ていない）を作り出しました。そして、この隠された情報があるにもかかわらず、特徴量の重要性を正しく特定できるかどうかを確認するために、UNIVERSEフレームワークを適用しました。結果は明白でした。彼らの新しい調整なしでは、標準的な手法は、特にサンプルサイズが大きい場合やデータが複雑な場合に、変数の真の重要性を捉えることに失敗することがよくありました。対照的に、UNIVERSEの手法は、データの欠落がある状況下でも、一貫して正しい答えを含む範囲を生成しました。テストにおいて、この手法はデータの重要な部分が欠けている場合でも、80パーセント以上の試行で正しい変数の重要性を捉えることに成功しました。

彼らの研究の中で最も説得力のある実証の一つは、銀行で使用されている信用リスクのデータセットを用いたものでした。このシナリオでは、「外部リスク推定値（External Risk Estimate）」と呼ばれる特定のリスクスコアが、ローンのデフォルトを予測するための極めて重要な要因であると広く考えられていました。標準的な分析では、このスコアが不可欠であると示唆されていました。しかし、研究者がUNIVERSEフレームワークを適用したところ、このスコアの重要性は見た目ほど強固なものではないことが判明しました。もし、個人の所得のような測定されていない要因がデータに含まれていない場合、外部リスク推定値は全く必要なくなる可能性があることを彼らは示しました。彼らの分析は、他の、より解釈しやすい特徴量が容易にこれを代替できることを示唆していました。この発見は重要です。なぜなら、銀行は複雑で高価な指標に依存している可能性がある一方で、それをより単純で透明性の高い情報に置き換えることができ、それがローン申請者へのより良いフィードバックにつながる可能性があることを意味しているからです。

この新しいアプローチの強みは、非現実的な仮定を置くことなく、不確実性を扱う能力にあります。伝統的な手法は、欠損データがどのように分布しているかを正確に知る必要があったり、変数間の特定の種類の関係を想定したりすることがよくあります。UNIVERSEフレームワークは、それを必要としません。代わりに、分析者に、欠損データが結果をどの程度変化させる可能性があるかについて、妥当な推定値を提供することを求めます。この推定値に基づき、この手法は起こり得る重要性の範囲を算出します。研究者たちは、これらの範囲が信頼できるものであることを数学的に証明しました。つまり、分析者の欠損データのインパクトに関する推定が正しければ、特徴量の真の重要性は、算出された境界内にほぼ確実に収まるということです。彼らはまた、データが増えるにつれてこれらの境界がよりタイトで精密になることも示しており、この手法が小規模および大規模なデータセットの両方に有用であることを証明しました。

この研究は、変数の重要性に関する科学者の考え方の転換を象徴しています。特定のモデルや完全なデータセットに依存した単一の決定的な答えを求めるのではなく、研究者たちは現実世界の複雑さを受け入れています。彼らは、複数のモデルが正しくもあり得ること、そしてデータはしばしば不完全であることを認めています。これらの現実を考慮に入れた手法を提供することで、彼らは、データが何を語ることができ、何を語ることができないのかについて、より誠実なツールを提供しています。このフレームワークは、唯一の真のモデルや、唯一の真の重要性スコアを見つけ出すと主張しているわけではありません。その代わりに、真実を捉える信頼できる区間を提供し、隠れた変数や単一の最善の説明という錯覚によって、データに基づく意思決定が脱線しないようにしています。このアプローチは、金融から公共政策に至るあらゆる分野において、より信頼性が高く堅牢な科学的結論への道筋を示しています。

技術要約：UNIVERSE – 未観測の交絡因子とラショモン効果を伴う変数重要度

問題提起

変数重要度（VI）の手法は、仮説生成、特徴量選択、および科学的検証のための標準的なツールである。しかし、標準的なVIパイプラインは、誤解を招く洞察につながる可能性のある2つの決定的な限界を抱えている：

ラショモン効果（The Rashomon Effect）： 複数の異なるモデルが、データセットを等しく説明できる場合がある。ある近最適モデルにおいて重要と見なされた特徴量が、別のモデルでは無関係であることもある。近年の研究では、「ラショモン集合」（すべての近最適モデルの集合）を分析することでこの問題に対処しているが、これらの手法は通常、すべての関連変数が観測されていることを前提としている。
未観測の交絡（Unobserved Confounding）： 観測データにおいては、不可欠な変数が欠落していることが多い。未観測の交絡因子が存在する場合、観測データ上で推定された特徴量の重要度は、真の条件付き平均関数に対する真の重要性を反映していない可能性がある。

未観測の交絡に関する既存のアプローチ（感度分析）は、現代の非線形なVI指標（SHAPや置換重要度など）には適合しない限定的な仮定（線形性など）に依存していることが多い。逆に、既存のラショマンの集合に関する手法は、欠落した変数を考慮していない。本論文は、ラショモン効果と未観測の交絡の両方が存在する状況下で、ロバストな変数重要度の推論を行うというギャップに対処するものである。

手法：UNIVERSEフレームワーク

著者らは、特徴量が欠落している場合でも真の変数重要度の境界を導出するフレームワークである UNIVERSE（UNobservables and Inference for Variable importancE using Rashomon SEts）を導入する。このアプローチは、3つの不確実性の源泉、すなわち、ラショモン効果、未観測の変数、および有限サンプル誤差を統合するものである。

1. 理論的基礎

本フレームワークは、観測された共変量 $X$ と未観測の共変量 $U$ の両方に依存する真の条件付き平均関数 $g^*(x, u)$ を定義する。目標は、この真の関数に対する変数重要度 $\Phi_j(g^*, P_U)$ の境界を求めることである。

この手法は、以下の3つの論理的ステップで進行する：

ステップA：ラショモン集合による真のサブモデルの境界設定。
著者らは、特定の未観測変数 $U$ の値が与えられたときに最適なモデルである各 $f_u$ からなる条件付きサブモデルの集合 $S^* = \{f_u \mid u \in \mathcal{U}\}$ を定義する。彼らは、 $S^*$ が、観測データ上のこれらのサブモデルの期待損失を $\epsilon_{unobs}$ で抑える、母集団のラショモン集合 $R(\epsilon_{unobs})$ の部分集合であることを証明している。
ステップB：有限サンプル補正。
母集団のラショモン集合は観測不可能であるため、本手法は経験的ラショモン集合 $\hat{R}^{(n)}$ を構築する。定理1は、調整された経験的ラショモン集合（有限サンプルサイズと正則化バイアスに対して補正された閾値を持つもの）が、高い確率で母集団のラショモン集合を含むという確率的な保証を提供する。これにより、必要なすべてのサブモデル $S^*$ が確実に捕捉されることが保証される。
ステップC：分布シフト（VI-Drift）の考慮。
変数重要度の指標は、入力分布に依存する場合が多い。サブモデル $f_u$ における特徴量の重要性は、条件付き分布 $P_{XY|U=u}$ 上で評価された場合、周辺的な観測分布 $P_{XY}$ 上での重要性と異なる可能性がある。著者らは、未観測変数で条件付けることによって生じる重要度の最大の変化を束縛するために、パラメータ $\tau_j$ （VI-drift）を導入する。

2. 最終的な境界

これらのコンポーネントを組み合わせることで、定理3は、真の変数重要度 $\Phi_j(g^*, P_U)$ が高い確率（ $1 - (\delta + \gamma)$ ）で以下の区間に存在することを確立する：
$\Phi_j(g^*, P_U) \in \left[ \inf_{f \in \hat{R}} \Phi_j(f, D^{(n)}) - \tau_j - \alpha, \quad \sup_{f \in \hat{R}} \Phi_j(f, D^{(n)}) + \tau_j + \alpha \right]$
ここで：

$\hat{R}$ は調整された経験的ラショモン集合である。
$\alpha$ は、VI指標自体の推定における有限サンプル不確実性を考慮する。
$\tau_j$ は、未観測の交絡による分布シフトを考慮する。
これらの境界は、減算的モデル依存度（subtractive model reliance）またはその他の互換性のある指標を用いて導出され、ラショモン集合を推定可能なあらゆるモデルクラスに対して成立する。

主な貢献

初の統合フレームワーク： UNIVERSEは、変数重要度の推定において、ラショモン効果、未観測の交絡、および有限サンプル不確実性に同時に対処する初めての手法である。
理論的保証： 本論文は、未観測の交絡下であっても、計算された区間に真の変数重要度が含まれることを保証する厳密な有限サンプル境界（定理1〜3）を提供している。
汎用性： 線形推定値に限定される感度分析フレームワークとは異なり、UNIVERSEは広範なモデル非依存のVI指標（SHAP、置換重要度、モデル依存度など）と互換性がある。
実践的な実装： 著者らは、境界をタイトにするためにラショモン集合のサイズを推定する方法を提供し、クレジットリスクのケーススタディを通じてフレームワークの有用性を実証している。

実験結果

著者らは、4つの実世界のソース（COMPAS, Dropout, FICO, Wine Quality）から派生した「半合成」データセットを用いてUNIVERSEを評価した。この設定では、「未観測」の変数は、特定のサブモデルを訓練するために使用されたデータの分割であり、これにより著者らはグラウンドトゥルース（真の値）を知ることが可能であった。

カバレッジの検証： 様々なサンプルサイズとデータセットにわたり、3つの調整（モデル不確実性、VI推定不確実性、およびVIドリフト）のすべてを適用した場合にのみ、フレームワークは一貫して目標のカバレッジ率（例： $\geq 80\%$ または $\geq 90\%$ ）を達成した。
調整の必要性： 実験により、有限サンプル補正またはVIドリフト調整を省略すると、深刻なアンダーカバレッジ（真の重要度が計算された境界の外側に外れること）が生じることが示された。
ケーススタディ（FICOクレジットリスク）： 「外部リスク推定（ERE）」特徴量の分析において、UNIVERSEは、EREの明白な重要度が未観測の交絡に対してロバストではないことを示した。境界の結果は、EREが特定のレベルの信号を捉えることができれば、より解釈可能な他の特徴量がEREに取って代われる可能性を示唆しており、EREが不可欠であるという結論に疑問を投げかけた。

意義と主張

本論文は、データが不完全な、より困難で現実的な設定において、変数重要度を使用するための大きな進歩としてUNIVERSEを位置づけている。数学的に保証された境界を提供することで、本フレームワークは実務者が以下を行うことを可能にする：

特徴量が、あらゆる妥当なモデルおよび未観測のシナリオにわたって堅牢に重要であるのか、それともその重要性が欠落した変数のアーティファクト（人工的なもの）であるのかを区別すること。
単一モデルの分析や、ラショモン効果を無視した分析から得られる誤解を招く結論を避けること。
未観測の交絡による「コスト」を、重要度の区間の幅として定量化すること。

著者らは、完全なラショモン集合を見つけることは計算量的に負荷が高い可能性があるものの、本フレームワークは一般的であり、ラショモン集合を近似できるあらゆるモデルクラス（例：決定木、ランダムフォレスト）に適用可能であると述べている。また、連続的なアウトカムや、ニューラルネットワークのようなより複雑なモデルクラスへこれらの手法を拡張するためには、今後の課題があることも認めている。