🤖 machine learning

The Hidden Cost of Resampling: How Imbalance Correction Degrades Probability Calibration in Tree Ensembles

本論文は、SMOTEが決定木アンサンブルにおける確率較正をわずかに低下させる一方で、ランダムアンダーサンプリングは不均衡比が高い場合に深刻な較正誤差を引き起こすが、両方の問題はランキング性能を大きく損なうことなく事後的な再較正を通じて効果的に解決できることを示している。

原著者： Zewen Liu

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zewen Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：「不均衡を直す」ことの隠れた代償

あなたが、クラスの99%が優秀な生徒（「多数派」）で、わずか1%が苦戦している生徒（「少数派」）であるクラスの成績をつけている先生だと想像してください。もし平均点だけを見るなら、そのクラスは完璧に見えます。しかし、もしあなたが苦戦している生徒を助けたいのであれば、彼らに特別な注意を払う必要があります。

機械学習の世界では、これを**クラス不均衡（class imbalance）と呼びます。これを解決するために、データサイエンティストはリサンプリング（resampling）**という手法を使います。

オーバーサンプリング (SMOTE): 苦戦している生徒の「合成的な」コピーを作成することで、クラスがバランスよく見えるようにします。
アンダーサンプリング: 優秀な生徒の大部分を捨て去ることで、苦戦している生徒の声がかき消されないようにします。

この論文の発見：
著者たちは、これらのテクニックが「誰が苦戦しているか」をランク付けする能力（適切な人を見つけ出す力）を高める一方で、モデルが自身の予測に対して**どれほど確信を持っているか（自信の度合い）**を伝える能力を、密かに壊してしまうことを発見しました。

天気予報士を例に考えてみましょう。もし彼らが「降水確率は70%です」と言えば、あなたは10回中7回は雨が降ると期待します。モデルが**キャリブレーション（較正）されている場合、それは真実を伝えています。もしキャリブレーションが狂っている（miscalibrated）**場合、実際には10%しか降らないのに「70%」と言ってしまうかもしれません。

この論文はこう問いかけています。「これらの『修正』テクニックは、モデル自身の自信に対する誠実さを台無しにしてしまうのではないか？」

3つの主な知見

1. 「合成コピー」のテクニック (SMOTE) は、安い代償である

比喩: あなたにケーキのレシピがあり、卵が1個しかありません。もっと多くのケーキを作るために、卵の使い方の指示書をコピーして増やしたとします。ケーキの味自体は美味しいままですが（モデルは正しい人を見つけられる）、卵を「どのくらい」使うべきかという指示については、少し曖昧になります。
結果: SMOTE（合成データの作成）を使うと、モデルの自信に関する誠実さはわずかに低下します。しかし、そのダメージは小さいものです。モデルは依然として苦戦している生徒をうまく見つけ出すことができ、そのわずかな「誠実さ」の損失は、通常、彼らを見つけ出すという利益に見合うものです。

2. 「データを捨てる」テクニック (アンダーサンプリング) は危険である

比喩: あなたには1,000人の生徒がいますが、苦戦している10人に集中するために990人を捨てると決めました。すると、あなたはわずか10個の例だけをもとに、複雑な主題を学ぼうとしていることになります。運良く正解を当てることはできるかもしれませんが、あなたの自信（確信度）は完全にデタラメなものになるでしょう。
結果: ランダム・アンダーサンプリングこそが真の悪役です。不均衡が非常に大きい場合（例えば70対1など）、この手法はモデルの誠実さを破壊します。モデルは**極端に過剰自信（overconfident）**になります。十分なデータから学ぶことができなかったために、実際には盲目的に推測しているだけなのに、「99%の自信があります！」と言い張ってしまうのです。

3. 「魔法の修正」 (再キャリブレーション)

比喩: 正確ではあるものの、実際の温度より5度高く表示されてしまう温度計を想像してください。温度計を作り直す必要はありません。ただ「マイナス5度」と書かれたステッカーを貼ればよいのです。
結果: 著者たちは、シンプルで安価な解決策を見つけました。モデルの学習が終わった後（たとえ上記の「悪い」テクニックを使った後であっても）、素早い「再キャリブレーション（recalibration）」ステップ（プラット・スケーリングやアイソトニック回帰などの手法）を実行することができます。

これにより、誠実さの問題はほぼ完全に解決されます。
これを行っても、モデルのランキング能力（人を正しく順位付ける力）への影響はほとんどありません。
重要な注意点: SMOTEのような合成データの手法に対して、単なる数式を使って「元に戻す」ことはできません。なぜなら、SMOTEは数値だけでなくデータの「形」自体を変えてしまうからです。修正には、データに基づいた「ステッカー（再キャリブレーション）」が必要なのです。

なぜこれがあなたにとって重要なのか

もしあなたが、確率に基づいて意思決定を行うシステム（例：「このローンはリスクが高いか？もしリスクが20%を超えたら、拒絶する」）を構築しているなら、キャリブレーションを重視しなければなりません。

罠: ほとんどの人は、モデルが「悪いケース」を見つけられているかどうか（F1スコアやAUCなどの指標）だけをチェックします。この論文は、リサンプリングを行うとこれらのスコアが向上するため、あたかもモデルが素晴らしいものであるかのように錯覚させてしまうことを示しています。
現実: モデルは「悪いケース」を見つける能力は上がっていますが、その確率の数値はあなたに嘘をついている可能性があります。実際のリスクが50%であるのに、モデルは「リスクは20%です」と言うかもしれません。
解決策:
1. リサンプリングを使用する場合は、精度（accuracy）だけでなく、必ずモデルのキャリブレーション（誠実さ）を確認してください。
2. 極端に不均衡なデータに対してアンダーサンプリングを行う場合は、細心の注意を払ってください。それはモデルの自信を壊す可能性があります。
3. システムが確率の数値に依存している場合は、最後に必ず再キャリブレーションのステップを追加してください。これは、偽りの自信に基づいて誤った判断を下してしまうのを防ぐための、安価で効果的な手段です。

一文でのまとめ

リサンプリングはモデルが稀なイベントを見つけるのを助けますが、多くの場合、モデルが自身の確信度を伝える能力を損なわせます。しかし、シンプルな「再キャリブレーション」ステップを用いれば、モデルのパフォーマンスを損なうことなく、この失われた誠実さを取り戻すことができます。

技術要約：ツリーアンサンブルにおけるリサンプリングの隠れたコスト

1. 問題提起

クラス不均衡は、不正検知や疾患スクリーニングといったハイステークスな領域において普遍的な問題である。標準的な対策として、訓練セットのバランスを整えるために、SMOTE（Synthetic Minority Over-sampling Technique）、ランダムオーバーサンプリング（ROS）、およびランダムアンダーサンプリング（RUS）といったリサンプリング手法が用いられる。これらの手法は通常、識別指標（F1スコア、AUC、少数クラスの再現率など）を用いて評価されるが、**確率較正（Probability Calibration）**について評価されることはほとんどない。

デプロイされたシステムの多くは、ダウンストリームの意思決定（期待コストの最適化、トリアージの閾値設定など）のために予測確率に依存している。リサンプリングは、訓練中に観測されるクラス事前分布を意図的に歪めるため、それが放出される確率も歪めてしまうのではないかという仮説が立てられる。本論文では、リサンプリングがツリーアンサンブルの較正を劣化させるのか、その劣化が不均衡比（IR）に応じてどのようにスケールするのか、そして事後的な補正によって、ランキング能力を犠牲にすることなくダメージを修復できるのかを調査する。

2. 手法

本研究では、5つの公開バイナリ分類データセット（不均衡比 1.9 ～ 70.1）と2つのツリーアンサンブルモデル（Random Forest [RF] および Histogram Gradient Boosting [HGB]）を用い、厳密なマルチシード・ペア統計実験デザインを採用している。

実験条件:
- ベースライン: リサンプリングなし。
- リサンプリング: SMOTE、ROS、およびRUS（訓練フォールド内で1:1のクラスバランスをターゲットとする）。
- コントロール: クラス重み付け（データの変更を伴わない損失関数の再調整）。
- 事後較正: ホールドアウトされた較正用スプリットに対して適用されたプラット・スケーリング（Platt scaling）およびアイソトニック回帰（Isotonic regression）。
指標:
- 較正: 期待較正誤差（ECE）、ブリアスコア（Brier score）、および信頼性図（Reliability diagrams）。
- 識別: ROC-AUC、PR-AUC、および少数クラスのF1。
統計分析: 10個のランダムシードと5分割交差検証を用いたペア・ウィルコクソン符号付順位検定を使用。効果量は Cliff's $\delta$ を用いて定量化。家族誤差率を制御するために Holm–Bonferroni 補正を適用。
具体的な調査事項:
- H1: リサンプリングは較正を劣化させるか？
- H2: 事後的な再較正はダメージを修復できるか？
- H3: ダメージは不均衡比およびオーバーサンプリングの攻撃性とどのようにスケールするか？
- H4 (負の結果): 解析的な事前分布シフト補正（アンダーサンプリングにおいて有効なもの）は、SMOTEにも転用できるか？

3. 主要な結果

A. リサンプリングは較正を劣化させる (H1)

すべてのリサンプリング手法は、ベースラインと比較してECEを有意に増加させるが、その大きさは劇的に異なる：

SMOTE & ROS: ECEの小規模から中程度の増加を引き起こす（例：SMOTE: $0.052 \to 0.061$ , $\delta = +0.27$ ）。
ランダムアンダーサンプリング (RUS): 特に高い不均衡比において、深刻な劣化を引き起こす。yeast_ml8 データセット（IR=70）では、RUSはECEを $0.008 $から$ 0.395$ へと膨張させる。これはリサンプリングのメカニズム自体ではなく、「サンプルサイズの崩壊」（約50サンプルでの訓練）に起因すると考えられるが、十分なサンプルサイズがあるデータセットにおいてもRUSは有害である。
クラス重み付け: わずかな較正の変化しか引き起こさない。これは、害が目的関数そのものではなく、訓練データの分布を変更することに起因することを示唆している。

B. 事後的な再較正はダメージを修復する (H2)

単一の事後的な再較正ステップ（プラットまたはアイソトニック）は、SMOTEによって引き起こされた較正のダメージを効果的に排除する：

ECEの減少: SMOTEによるECEは、 $0.061 \to 0.021$ （プラット）および $0.025$（アイソトニック）へと低下し、しばしば元のベースラインを下回る。
ランキングへのコスト: 修復によるランキング能力へのコストは無視できる程度である。AUCの減少はわずか $0.002 $($ \delta = -0.07$) である。この微小な低下は、主に較正用スプリットに必要なデータの削減に起因するものであり、変換自体によるものではない。
トレードオフ: $0.002$ のAUC低下と $66\%$ のECE減少を交換することは、意思決定システムにとって有利である。

C. 不均衡および攻撃性によるスケーリング (H3)

不均衡比: RUSによる較正ダメージは、不均衡比とともに急激に増大する。対照的に、SMOTEの較正ペナルティは、調査対象のIR範囲（1.9–70）において比較的小さく安定している。
オーバーサンプリング比: 較正誤差は、SMOTEの攻撃性（注入される合成データの量）に伴って単調に増加するが、識別指標（AUC, F1）は横ばい、あるいはわずかに改善する。

D. 解析的な事前分布シフト補正はSMOTEには失敗する (負の結果)

本論文は、解析的な事前分布シフト補正（RUSにおいて、シフトした事前分布 $\pi_{train}$ を調整することで機能するもの）が、SMOTEには転用できないことを示している。

理由: RUSは事前分布 $p(y)$ のみをシフトさせ、クラス条件付き密度 $p(x|y)$ を維持する。しかし、SMOTEは補間を通じて新しい点を合成するため、 $p(x|y=1)$ というクラス条件付き密度を歪めてしまう。
結果: SMOTEモデルに解析的補正を適用してもECEは改善せず（場合によっては悪化さえする）、一方でデータ駆動型のアイソトニック再較正は成功する。

E. 特徴量属性の安定性

credit-g データセットに対するSHAP分析は、SMOTEが学習された特徴量構造（特徴量重要度のランキングにおけるSpearman相関 0.96）を保持しつつ、確率スケールを破損させていることを示している。これは、較正のダメージが、モデルが何を学習しているかという根本的な変化ではなく、単調変換によって修正可能なスケーリングの問題であることを裏付けている。

4. 意義と貢献

著者らは、本研究を「新しい現象の発見（アンダーサンプリングによる較正の劣化はDal Pozzoloらによって既に指摘されている）」としてではなく、**「既存の知識の、実用的かつエビデンスに基づいた集約と拡張」**として位置づけている。

リスクの明確化: 本研究は、SMOTEによる「小さくとも実在する」較正コストと、RUSによる「真に危険な」コスト（特に極端な不均衡比において）を区別している。
実践的ガイド: 実務家に対して明確なプロトコルを提供している。もしリサンプリングを使用し、かつ確率が意思決定を駆動する場合、事後的な再較正ステップが必要かつ十分である。
方法論的修正: 解析的な事前分布シフト補正を合成オーバーサンプリング手法に適用することに対して明確に警告している。なぜなら、それらは密度歪みを考慮できていないからである。
評価基準: 不均衡学習の研究においては、信頼できない確率を伴うモデルのリリースを避けるために、識別指標（F1, AUC）と並んで較正指標（ECE, Brier）を報告すべきであると主張している。

5. 限界

著者らは、自らの主張におけるいくつかの境界を認めている。

本研究は表形式データと2つのツリーアンサンブルモデルに限定されており、ニューラルネットワークや他のモダリティでは挙動が異なる可能性がある。
AUC損失を「データ削減」と「較正変換」のコストに分解するプロセスは、特定の分割比に基づいている。
SMOTEにおける解析的補正の失敗に関する説明は直感的な仮説（ $p(x|y)$ の歪みに関するもの）であり、将来的な正式な分析を必要とする。
結果はテストされた不均衡範囲（IR 1.9–70）に限定されている。極端な比率（数百または数千）では、より大きな影響が現れる可能性がある。