💻 computer science

How Class Imbalance Treatments Distort SHAP Attribution Fidelity: A Monte Carlo Investigation of Ranking and Magnitude Errors

包括的なモンテカルロ調査を通じて、本論文は、学習サンプルサイズがSHAPの属性忠実度の主要な要因である一方で、一般的なクラス不均衡への対処法はしばしば特徴量の順位付けや大きさを歪めてしまうことを示しており、SHAPによる解釈可能性が優先される場合には、再バランシングを避けてクラス重み付けを採用することを著者らは推奨している。

原著者： Rıdvan Kara

公開日 2026-06-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rıdvan Kara

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある犯罪を解決しようとしている探偵だと想像してください。あなたには、手がかり（データ）を見て犯人を特定しようとするコンピューター・アシスタント（機械学習モデル）がいます。このコンピューターを信頼するために、あなたは「なぜ特定の容疑者を指名したのか」という理由を説明するよう求めます。すると、コンピューターは「手がかりAの責任は40%、手がかりBは10%……」といった具合に、理由のリストを提示します。この説明ツールはSHAPと呼ばれています。

ここで、その犯罪が非常に稀なケースだと想像してください。例えば、100件に1件しか犯罪が起きず、残りの99件は無実の人々である場合です。これは**クラス不均衡（class imbalance）**と呼ばれます。犯罪の事例がこれほど少ないと、コンピューターは混乱してしまいます。これを修正するために、データサイエンティストは、コンピューターに教える前にデータを「バランス調整」しようとすることがよくあります。彼らは次のような方法をとります：

コピー＆ペースト：稀な犯罪の事例をコピーする（ランダム・オーバーサンプリング）。
捨て去る：ほとんどの無実の事例を捨ててしまう（ランダム・アンダーサンプリング）。
偽の犯罪事例を捏造する：本物のように見える架空の犯罪事例を作り出す（SMOTE/ADASYN）。
コンピューターに特別な注意を払わせる：データを変更せずに、稀な犯罪に対してより注意を向けるよう指示する（クラス・ウェイト／クラス重み付け）。

大きな疑問は、この論文が投げかけている問いです。「データをバランス調整したとき、私たちは誤ってコンピューターの説明力を壊してしまっていないだろうか？」 説明のリストにある「最も重要な手がかり」は同じままなのか？その数値（「40%の責任」など）は正確なままなのか？

著者であるRıdvan Kara氏は、大規模なシミュレーション（異なる設定で実験を14,000回繰り返すようなもの）を行い、その答えを見つけ出しました。以下に、その発見を分かりやすい比喩を用いて示します。

1. クラスのサイズは、修正方法よりも重要である

最も重要な発見は、**「どれだけの事例があるか」が、「どのバランス調整テクニックを使うか」**よりも遥かに重要であるということです。

比喩： スープの味を当てる場面を想像してください。もし、ほんのひと匙（小さなサンプルサイズ）しか持っていなければ、そこに塩や砂糖、あるいは胡椒を加えても、あなたの推測は不安定なままです。しかし、もし巨大な鍋一杯のスープ（大きなサンプルサイズ）があれば、材料に何を加えようとも、あなたの推測は正確になります。
結果： コンピューターに投入するデータの量を増やすことが、信頼できる説明を得るための最も優れた方法です。バランス調整の手法の選択は、単にデータを増やすことよりも3〜5倍ほど重要度が低くなります。

2. 「ランキング」対「マグニチュード（大きさ）」の罠

この論文は、2種類の説明の間の決定的な違いを区別しています：

ランキング（順位）： 「誰がトップの容疑者か？」（手がかりAは手がかりBよりも重要か？）
マグニチュード（大きさ）： 「手がかりAはどれだけ貢献したか？」（それは10%だったのか、それとも50%だったのか？）

研究の結果、一部のバランス調整テクニックは順位を正しく導き出すのには優れていますが、数値を正しくすることには極めて劣っていることが分かりました。

比喩： レースを想像してください。
- ランダム・オーバーサンプリング（稀な事例をコピー＆ペーストすること）は、勝つべきランナーを確実に1位にするコーチのようなものです（ランキングは良好）。しかし、そのコーチはその後、全員に対して「勝者は実際よりも2倍速く走った」と嘘をつきます（マグニチュードが膨張し、間違っている）。
- ランダム・アンダーサンプリング（データを捨て去ること）は、チームの半分を解雇するコーチのようなものです。これでは、誰が最高のランナーであるかさえ分からなくなり、スピードの数値も完全に壊れてしまいます。彼らはランキングとマグニチュードの両方に失敗しています。

3. 最良の「何もしない」および「ソフトな」修正法

最も誠実な説明を探す中で、この論文は、データを無理にバランスさせようとしなかった2つの勝者を見つけました：

再調整を行わない： 不均衡なままの、ありのままのデータを使用する。
クラス・ウェイト（クラス重み付け）： コンピューターに対し、「おい、稀な犯罪は重要だから、もっと注意を払え」と伝える。ただし、データ自体は削除もコピーもしない。

これら2つの手法は「パレート・フロンティア」上に位置していました。つまり、順位を正しく導き出し、かつ数値の正確さを維持するという両方の面において、最も優れた方法であったことを意味します。これらは「最小限の侵襲的」な治療法と言えます。

4. 合成された「偽の」データの問題

偽のデータを捏造する方法（SMOTEやADASYN）は、容疑者の順位を正しく導き出すことには問題ありませんでしたが、数値を狂わせてしまいました。

比喩： それは、写真の隙間を埋めるために偽の顔を描くアーティストのようなものです。その顔は人間らしく見えますが（ランキングはOK）、目の間の距離を測ろうとすると、その顔は本物ではないため、測定値は間違ったものになります。

5. 「極端な希少性」の危険地帯

これらの問題は、犯罪が極端に稀（25%未満）であり、かつデータが非常に少ない場合に、より深刻化することが判明しました。

比喩： 干し草の山の中から針を探そうとしている場面を想像してください。もし、ごくわずかな干し草の破片しか手元にない場合、その干し草を「バランス調整」するためにどんなテクニックを使おうとも、針を見逃すか、あるいは針の大きさを誤って推測することになるでしょう。しかし、もし干し草の納屋全体があれば、針を簡単に見つけることができ、テクニックの影響は小さくなります。

推奨事項のまとめ

もしあなたがAIを使って意思決定（医療診断やクレジットスコアリングなど）を説明しようとしており、データが不均衡である場合は、以下の通りです：

まず、データを増やしてください。 これが最も強力なツールです。
正確な数値が必要な場合は、データをコピーしたり捨てたりしないでください。 これらの手法は、「どれくらいか」という説明の部分を歪めてしまいます。
どうしてもバランス調整が必要な場合は、クラス・ウェイト（モデルに注意を向けさせること）を使用するか、あるいはデータをそのままにしておいてください。これらが、説明の誠実さを保つ方法です。
順位と数値の両方を確認してください。 単にどの特徴量が1位であるかを見るだけでなく、その貢献率（パーセンテージ）が妥当かどうかを確認してください。なぜなら、一部の手法はその間違いを数値の中に隠してしまうことがあるからです。

本論文は、バランス調整がコンピューターの「予測」を助ける一方で、コンピューターが自分自身を正確に「説明」する能力をしばしば損なわせる、と結論付けています。信頼できる説明が必要な場合は、最も穏やかなアプローチ（クラス・ウェイト）か、あるいは何もしないことが、通常は最善の策となります。

技術要約：クラス不均衡処理がいかにSHAPの属性忠実度を歪めるか

問題提起
SHAP（SHapley Additive exPlanations）は、医療診断、不正検知、クレジットスコアリングといった、クラス不均衡が顕著な高リスク領域における決定木分類器の解釈手法として標準的に用いられている。実務家は、予測性能を向上させるために、ランダム・オーバーサンプリング／アンダーサンプリング、合成手法（SMOTE、ADASYN）、およびクラス重み付けといったクラス不均衡処理を日常的に適用している。しかし、これらの上流工程におけるデータ操作が、下流のSHAP属性（attribution）を歪めないという暗黙の仮定は、未だ検証されていない。予測指標（AUC、F1）への影響については十分に文書化されている一方で、特徴量属性の忠実度（fidelity）への影響については不明である。具体的には、これらの処理が「特徴量の重要度の相対的な順位」と「属性の数値的な大きさ」の両方を維持できるのかどうかは明らかになっていない。これらは、異なる解釈タスク（例：主要な寄与因子の特定 vs リスク分解）において極めて重要である。

手法
本研究では、制御されたモンテカルロ・シミュレーション・フレームワークを採用し、クラス不均衡処理がSHAPの忠実度に与える影響を分離することで、先行研究における3つの方法論的ギャップに対処する。

オラクル参照（Oracle Reference）: クラスバランス化された参照値（これは大きさのスケールを歪める）を使用する代わりに、各シミュレーション・セルにおけるネイティブなクラス不均衡下での、無限に近い訓練データを用いたオラクル参照を算出する。
タスク難易度の較正: データ生成プロセス（DGP）を、すべてのセルにおいてベイズ最適AUCが一定（目標値 0.82 ± 0.01）となるよう較正する。これにより、観察されたSHAPの忠実度の差が、ベースラインのタスク難易度の変化ではなく、処理そのものに起因することを保証する。
二重の忠実度指標: 「ランキングの忠実度（特徴量の重要度の順序の保持）」と「大きさの忠実度（属性値の保持）」を明確に区別して評価する。

実験設計

データ生成: 多変量正規分布から抽出された $p=20$ 個の特徴量を持つ合成データセット。相関構造として、独立した特徴量とブロック相関を持つ特徴量（ブロック内 $\rho=0.6$ ）の2種類をテストした。
要因:
- 出現率 ( $\pi$ ): 0.02, 0.05, 0.10, 0.20
- サンプルサイズ ( $n$ ): 500, 2,000, 10,000
- 相関: 独立、ブロック
- 処理 ( $k=6$ ): なし（ベースライン）、ランダム・オーバーサンプリング、ランダム・アンダーサンプリング、SMOTE、ADASYN、およびクラス重み付け
モデル: LightGBMを用い、容量適応型ハイパーパラメータ（具体的には、極端なアンダーサンプリングによるモデルの退化を防ぐため、事後的なバランシング後のサンプルサイズに応じてスケールさせた min_data_in_leaf）を使用。
規模: 24のデザインセル $\times$ 100回の反復 = 1つの処理につき2,400回の実行を意図。成功した適合数は14,371件（極端な希少性や小規模サンプルにおける合成手法の近傍探索制約により、28件の失敗が発生）。
評価: 実運用環境を模倣するため、ネイティブな出現率を持つ評価セット（5,000観測値）上でSHAP値を算出した。忠実度は11の指標（ランキングベースの6指標：Kendall $\tau$ , Spearman $\rho$ , RBO, Jaccard@k, Recall@k、および大きさベースの5指標：L1, L2, Cosine similarity）を用いて測定した。

主な結果
調査により、以下の4つの主要な知見が得られた。

サンプルサイズが処理の選択を圧倒する: 訓練サンプルサイズは、SHAPのランキング忠実度を決定する支配的な要因であり、不均衡処理の選択よりも約3〜5倍の影響力を持つ。 $n$ を500から10,000に増やすと、ランキング忠実度（Kendall $\tau$ ）は約0.22向上するが、固定された $n$ における最良と最悪の処理間の差は、わずか0.03〜0.07である。
極端な希少性と小規模サンプルが格差を増幅させる: 処理間の乖離は、極端な希少性（ $\pi \le 0.05$ ）および小規模サンプル（ $n \le 2,000$ ）の下で最も顕著になる。これらの条件下では、処理間の格差がサンプルサイズによる効果に匹敵する。ランダム・アンダーサンプリングは特に性能が悪く、しばしば意味のあるモデルを生成できない。
ランキングの忠実度と大きさの忠実度の乖離: 二つの軸となる忠実度は、質的に異なる処理の順位を示す。
- ランキング: ランダム・オーバーサンプリングが最も高いKendall $\tau$ を示し、次いでSMOTEおよび「なし」が続く。ランダム・アンダーサンプリングは一貫して最低の結果となった。
- 大きさ: 「なし」とクラス重み付けが共に優位であり、属性の大きさを最もよく保持する。ランダム・オーバーサンプリングは、ランキングには優れているものの、属性の大きさを大幅に膨張させる。合成手法（SMOTE、ADASYN）は、大きさの保持において劣る。ランダム・アンダーサンプリングは、両方の軸において最悪の結果であった。
パレート・フロンティア: 「再バランシングなし」と「クラス重み付け」がパレート・フロンティアを共に占めており、ランク保持と大きさ保持の最適なトレードオフを提供している。ランダム・オーバーサンプリングは、目的がランキングのみである場合には優位となるが、属性の大きさを歪める。ランダム・アンダーサンプリングは、両方の軸において劣位にある。

意義と主張
本論文は、不均衡処理がSHAPの属性に中立であるという仮定は誤りであると主張している。本研究は以下を確立した：

解釈には二重の報告が必要である: ランキングベースの指標のみに依存すると、オーバーサンプリング等による大きさの膨張を見逃すことになる。逆に、大きさベースの指標のみに依存すると、オーバーサンプリングによるランキング上の利点を見逃すことになる。完全な忠実度を評価するためには、両方の指標群を報告しなければならない。
デフォルトの推奨事項: SHAPの属性が成果物となる場合、実務家は最小限の侵襲的な処理を好むべきである。「再バランシングなし」および「クラス重み付け」は、特徴量の寄与の順序と大きさの両方を保持するため、デフォルトとして推奨される。
評価分布の重要性: 本研究は、クラスバランス化された評価セットをSHAP分析に使用することが、属性の大きさの歪みを生じさせることを示している。SHAPの大きさを実世界の展開シナリオに一致させるためには、ネイティブな出現率を持つ評価セットが必要である。

著者らは、予測性能に関する文献は特定の再サンプリング手法を正当化する可能性があるものの、これらの選択は解釈の忠実度に対して具体的なコストを伴うと結論付けている。SHAPがリスク分解、特徴量エンジニアリング、または定量的推論に使用されるアプリケーションにおいては、属性の大きさの歪みが重大なリスクとなる可能性があり、これはクラス重み付けや再バランシングなしの手法を採用することで軽減できる。