Ablation Study of Class Imbalance Techniques for Credit Default Prediction with SHAP-based Explainability Analysis

あなたは、100人の群衆の中に隠れているたった一人の泥棒を見つけ出そうとしている探偵だと想像してください。92人は無実で、8人だけが有罪です。もしあなたが単に「全員無実である」と推測したとしても、92%の確率で正解することになります！しかし、泥棒は一人も捕まえられません。コンピュータサイエンスの世界では、これを「クラス不均衡（class imbalance）」問題と呼びます。これは、ある結果（例えば、ローンが返済されること）が、別の結果（ローンがデフォルトすること）よりもはるかに頻繁に発生するデータに対して、コンピュータモデルが学習する場合に起こります。コンピュータは多くの「良い」例を目にするため、怠けてしまい、全員を「良い」と予測してしまい、稀に起こる「悪い」ケースを見逃してしまうのです。

長年、このための標準的な解決策は、SMOTEと呼ばれる手法でした。SMOTEを、珍しいケースのための「コピー機」だと考えてください。もし手元に泥棒の写真が8枚しかない場合、SMOTEは実在する写真の細部を混ぜ合わせたり組み合わせたりすることで、新しい合成の泥棒の写真を生成し、コンピュータがパターンを学習するための練習量を増やそうとします。しかし、もう一つの方法があります。XGBoostのような強力なタイプの特定のコンピュータモデルには、ミスに対する「ボリュームつまみ」が組み込まれています。偽のデータを作る代わりに、「おい、もし泥棒を見逃したら、それは重大なミスだ！もし無実の人を見逃したら、それは小さなミスだ」とコンピュータに伝えることができます。これにより、元のデータには一切手を触れることなく、モデルに稀なケースへ特別な注意を払わせることができます。

大きな疑問はこうです。「偽の練習用データを作る（SMOTE）方が良いのか、それともミスの音量を上げる（組み込みのつまみ）方が良いのか？」アタルヴ・ティワリ氏（パンジャブ工科大学）による新しい研究は、これら2つのアプローチを直接対決させ、実際のクレジットスコアリングの世界でどちらが実際に多くの泥棒を捕まえられるかを検証しています。

---

クレジットカードの大決戦

この研究において、研究者は30万件以上のローン申請という実世界のデータセットを用いて大規模な実験を行いました。この群衆の中では、92%の人がローンを返済し、わずか8%がデフォルト（債務不履行）していました。これは、8%の人物を、92%に気を取られることなく特定できるかどうかをテストするための完璧な設定でした。

研究者は単に一つのモデルを選んだわけではありません。彼らは3種類の異なる「探偵」をテストしました：

1. ロジスティック回帰（Logistic Regression）： 厳格なルールに従う、古風で信頼できる探偵。
2. ランダムフォレスト（Random Forest）： ヒントをそれぞれ異なる方法で観察し、答えに対して投票を行う探偵のチーム。
3. XGBoost： 自分のミスから一つずつ学び、回を重ねるごとに鋭くなっていく超スマートな探偵。

各探偵には、3つの異なるトレーニング戦略が与えられました：

• 「何もしない」戦略： 生のデータをそのまま投げ込み、何が起こるかを見る。
• 「ボリュームつまみ」戦略： モデルに組み込まれた設定を使用して、デフォルト（債務不履行）を見逃した場合に重いペナルティを課す（偽のデータは使用しない）。
• 「コピー機」戦略： SMOTEを使用して、バランスのとれたトレーニングデータを作るために偽のデフォルト事例を作成する。

衝撃的な結果

結果は、ミステリー映画のプロットツイスト（どんでん返し）のようでした。「何もしない」戦略は全員にとって悲惨な結果となり、デフォルトをほとんど捕まえられませんでした（再現率2.2%未満）。これは予想通りでした。しかし、「ボリュームつまみ」と「コピー機」の戦いは、非常に興味深いものになりました。

研究者が XGBoost を使用したとき、組み込みの「ボリュームつまみ」戦略が他の追随を許さない圧倒的な強さを見せました。それは、実際のデフォルト者の 64.8% を捕まえることができました。「コピー機」戦略（SMOTE）は、数十年にわたり主流であった手法ですが、43.3% しか捕まえられませんでした。これは 21.5パーセントポイント という巨大な差です。研究者は厳格な統計テスト（マクネマー検定）を実施し、この差が偶然ではないことを確認しました。その差があまりに大きいため、統計的に確実なものでした（$p < 10^{-6}$）。

しかし、研究者が ランダムフォレスト に切り替えると、物語は完全に変わりました。このモデルでは、「ボリュームつまみ」はほとんど機能せず（デフォルトを捕まえたのはわずか7.8%）、一方で「コピー機」（SMOTE）の方がはるかに優れた結果を出しました（41.2% を捕捉）。

このことは、不均衡なデータを修正するための「魔法の弾丸」は一つではないことを示唆しています。あるタイプのコンピュータモデルに効果的なことが、別のモデルには通用しない可能性があるのです。この研究は、特定の強力なモデルであるXGBoostについては、単に稀なミスに対してより注意を払うよう指示することの方が、合成の偽データを与えるよりもはるかに優れていることを示唆しています。

なぜコピー機は失敗し、（つまみが）勝ったのか

では、なぜ偽のデータを作ることがXGBoostモデルを傷つけたのでしょうか？研究者は、192もの異なる特徴量（収入、年齢、信用履歴など）を持つ複雑なデータセットにおいて、実在する二人を混ぜ合わせて偽の人物を作成すると、現実には存在しない「モンスター」を生み出してしまう可能性があると説明しています。それは、猫と犬の写真を混ぜ合わせて新しい動物を作ろうとするようなものです。その結果は奇妙なものになり、コンピュータを混乱させる可能性があります。モデルは、真のパターンではなく、ノイズから学習してしまうのです。

組み込みの「ボリュームつまみ」は、この罠を完全に回避します。データに触れたり、偽の例を作成したりすることはありません。単に裏側の数学を変更して、「稀なケースを見逃すな！」と言うだけです。これにより、トレーニングがクリーンに保たれ、XGBoostが最高のパフォーマンスを発揮できるようになりました。

「なぜ」の背後にある「誰」

この勝利したモデルが、単なるブラックボックスによるランダムな推測ではないことを確認するために、研究者は SHAP（SHapley Additive exPlanations：シャプレー加法的な説明）というツールを使用しました。SHAPを、探偵が決定を下す際にどのヒントを使用したかを正確に示す「拡大鏡」だと考えてください。

分析の結果、モデルは論理的に行動していることが明らかになりました。最も重要なヒントは、外部機関のスコア（他の銀行からのクレジットスコア）でした。これは極めて理にかなっています。他の貸し手への支払いに歴史がある人は、あなたにも返済する可能性が高いからです。また、モデルはローン金額と返済額の比率や、借り手の年齢も見ていました。決定的なことに、モデルの推論は透明であり、説明可能でした。これは、規制当局に決定理由を説明する必要がある銀行にとって非常に重要なことです。

結論

本研究は、データの不均衡を修正するために何千もの偽のデータポイントを生成し始める前に、モデルがすでに持っているシンプルな組み込みツールを試すべきであると結論付けています。XGBoostの場合、組み込みの重み付けは単に使いやすいだけでなく、伝統的な手法よりも大幅に効果的であり、デフォルト者を約22%多く捕まえることができました。

しかし、研究者はこれは普遍的なルールではないと警告しています。ランダムフォレストが「コピー機」の手法でより高いパフォーマンスを示したことから、一つのテクニックがすべてのモデルに適合するとは限らないからです。最善のアプローチは、使用している「探偵」の種類によって全く異なります。デフォルトを捕まえることが不可欠であり、かつ決定の説明責任が求められる銀行業界という規制された世界において、この研究結果はより明確で効率的な道筋を提示しています。まずはシンプルな「つまみ」を試し、それが自分の特定のモデルにフィットするかどうかを常に確認することです。