📊 statistics

Challenges in the calibration of tree-based models for imbalanced classification

本論文は、アンダーサンプリングされた不均衡データで学習された決定木モデルを解析的に較正すると、信頼性の低い有病率推定や予期せぬバイアスが生じることを示し、代わりにベータ較正のような学習ベースの較正手法を用いるべきであると論じている。

原著者： Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

原著者： Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：「レシピ」の問題

あなたが完璧なスープの作り方を学ぼうとしているシェフだと想像してください。しかし、あなたのキッチンは極端にアンバランスです。ジャガイモは10,000個ありますが、ニンジンはたった10本しかありません。もし、10,000個のジャガイモと10本のニンジンが入ったボウルを味わってレシピを学ぼうとしたら、あなたはニンニンの味を一生学ぶことはできません。あなたは、このスープは99.9%がジャガイモだと思い込んでしまうでしょう。

これを解決するために、あなたは**アンダーサンプリング（抽出）**することに決めました。ジャガイモのほとんどを捨てて、50個のジャガイモと10本のニンジンが入ったボウルを用意します。これで、トレーニングデータはバランスが取れ、レシピをより良く学べるようになります。

落とし穴： しかし、いざ現実の世界（実際に10,000個のジャガイモがある世界）でスープを作る時、あなたの味覚は「バランスの取れたボウル」に慣れすぎています。あなたはスープが50%ニンジンであると考えますが、実際にはまだ99.9%がジャガイモなのです。あなたの予測は「バイアス（偏り）」がかかっています。

旧来の解決策：「数式」

長い間、データサイエンティストたちは、この問題を解決するために特定の数式（論文内の式1）を使用してきました。その考え方はシンプルです。「ジャガイモを90%捨てたことは分かっている。だから、予測値に数字を掛けて、数学的にそれらを『足し戻す』だけでいい」というものです。

この論文の著者たちはこう言っています。「そんなことはもうやめなさい」。

彼らは、この数式が決定木ベースのモデル（ランダムフォレストなど）にはうまく機能しないことを発見しました。この数式はスープを修正するどころか、味をめちゃくちゃに予測不能にしてしまうのです。

発見された2つの主な問題

1. 「つまみ」の問題（予測因子の数）

あなたのランダムフォレストが、ミステリーを解決しようとしている500人の探偵チームだと想像してください。

ルール： 探偵たちは、進むべき方向を決めるために、あらゆるステップにおいて一定数の「手がかり（予測因子）」しか見ることができません。
実験： 著者たちは「手がかりのつまみ」を回してみました。ある時は、探偵たちがたった2つの手がかりだけを見られるようにしました。またある時は、15個の手がかりを見られるようにしました。

何が起きたのか？
バイアスを修正するために旧来の数式を使ったところ、最終的な答えは、探偵たちがどれだけ多くの手がかりを見ることができたかに応じて劇的に変化してしまいました。

2つの手がかりを見た場合、モデルは100件の火災を予測しました。
15個の手がかりを見た場合、モデルは140件の火災を予測しました。

例え話： これは、人々にスイカの重さを当てさせるようなものです。もし「色だけを見て」と言えば、彼らは10ポンドと予想します。もし「色、茎、叩いた時の音、そして質感を見て」と言えば、彼らは15ポンドと予想します。
理想的な世界では、数式がこれらの予想を修正し、すべてが同じ真の重さに着地させるはずです。しかし実際には、数式は予想をさらにバラバラにしてしまいました。探偵たちがより多くの手がかりを使うほど、最終的な推定値は跳ね上がっていったのです。

2. 「意外なバイアス」（サンプリング率）

通常、私たちは「マイノリティ（少数派）のアイテム（例：10本のニンジン）が少なすぎる場合、モデルはそれを無視して低めに予測するだろう」と考えます。

旧来の信念： 「決定木はマイノリティのクラスを無視する」
論文による発見： 彼らの実験では、決定木はむしろ逆のことをしていました！彼らはマイノリティのクラスを過大評価していたのです。

例え話： 1,000個のビー玉（青が990個、赤が10個）が入った瓶の中に、赤いビー玉がいくつあるかを当てようとしていると想像してください。あなたは小さなサンプルを取ります。

予想される結果： 「たぶん1個か2個だろう」（過小評価）。
決定木がしたこと： 木（決定木）はサンプルを見て、「わあ、赤いビー玉があちこちにいるぞ！きっと50個はあるに違いない！」と言ったのです。

著者たちは、サンプリング率（どれだけのジャガイモを捨てたか）を変更するにつれて、モデルの過大評価が悪化することを発見しました。数式はこれを修正しようとしましたが、決定木がすでに高く見積もりすぎていたため、数式は最終的な結果をさらに混沌としたものにしてしまったのです。

実世界の例：山火事

著者たちは、これをカナダのアルバータ州における山火事に関する実際のデータでテストしました。

山火事は稀な現象です（ニンジンのようなもの）。
彼らはモデルを修正するために「数式」を使用しました。
結果： 「手がかりのつまみ（予測因子の数）」の設定や、どのようにデータをサンプリングしたかに応じて、将来の火災件数の予測が**40%**も変動してしまいました。
なぜこれが重要なのか： もし政府機関が、コンピューターのコード内の設定を少し調整しただけで、どこに消防車を送るかを決めるためにこれらのモデルを使用しているとしたら、ある地域には消防車を送りすぎ、別の地域には全く送らないという事態を招く可能性があります。

結論

この論文は、「数式（解析的なキャリブレーション）」はこの特定の作業においては壊れた道具であると結論付けています。それは以下のような状況を作り出します：

設定（手がかりの数など）を変えると、本来変わるはずのない答えが変わってしまう。
モデルは時として、マイノリティのクラスが実際よりも一般的であると予測してしまい、数式はそれを修正できない。

解決策： 厳格な数式を使う代わりに、著者たちは「学習」手法（ベータ・キャリブレーションなど）を使用することを提案しています。これは、計算機を使って調整量を計算しようとするのではなく、実際に完成したスープを味わい、どのように味付けを調整すべきかを学ぶ**「味見役」**を雇うようなものです。

一文での要約

決定木ベースのモデルにおいて「不均衡な」データを修正するために単純な数式を使用することは機能しません。それは予測を極めて不安定にし、時には稀なイベントを過大評価させる原因となるため、バイアスを修正するには数式ではなく、よりスマートな学習ベースの方法を用いる必要があります。

技術要約：不均衡分類における決定木モデルの較正における課題

問題提起
不均衡な二値分類において、多数派クラスをアンダーサンプリングしてバランスの取れた訓練データセットを作成することは一般的な手法である。しかし、この手順は訓練分布が基礎となる母集団を代表しなくなるため、モデルの予測確率にバイアスを生じさせる。これを修正するために、サンプリング率に基づいて、アンダーサンプリングされたモデルの予測を真の母集団の確率へとマッピングする解析的な較正手法（Dal Pozzoloらによる2015年の式1）が提案されている。この手法はランダムフォレスト（RF）などのモデルに広く適用されているが、本論文は、アンダーサンプリングされたデータで訓練された決定木ベースのモデルにこの解析的なアプローチを適用した場合、適切に較正された確率推定が得られるかどうかを調査している。

手法
著者らは、解析的較正の有効性を評価するために多角的なアプローチを採用している：

理論的分析： 本論文では、まずBalanced Random Forests（Chen et al., 2004）に対して式1を適用することの数学的正当性を検証している。これは、式1の導出が、Balanced Random Forestsに固有のブートストラップ・プロシージャによって違反されるサンプリング確率の仮定に基づいていることを示している。
実証的ケーススタディ： アルバータ州Lac La Biche地域における人為的な森林火災（1996年～2016年）の現実世界のデータセットを用い、アンダーサンプリングされたデータで標準的なランダムフォレストを訓練する。著者らは、2つのハイパーパラメータ（多数派クラスのサンプリング率と、各分割において考慮される予測変数の数 $m_{try}$ ）を系統的に変化させる。モデルは式1を用いて較正され、得られた有病率推定値（予測確率の総和）が実際のイベント数と比較される。
シミュレーション研究： 変数を分離し、データ生成プロセスを制御するために、シミュレーター（10個の予測変数と複雑な非線形関係（式2）を備えたもの）を開発した。これにより、既知の真の確率を持つデータセットを生成できる。著者らは、シミュレーション研究において実証的ケーススタディを繰り返し、その知見の整合性を評価した。
メカニズムの調査：
- $m_{try}$ の影響： 著者らは、較正前後の予測分布をQ-Qプロットを用いて分析し、式1の非線形性がランダムフォレストの予測の「極端さ」とどのように相互作用するかを理解する。
- サンプリング率の影響： 異なる不均衡レベルを持つデータセットに対して個別の決定木（純度に基づいて適合）を訓練し、決定木自体が少数派クラスに対してバイアスを持っているかどうかをテストする。これが、ランダムフォレストで見られる系統的な過大評価を説明する可能性がある。

主な貢献
本論文の主な貢献は以下の3点である：

Balanced Random Forestsへの不適合性： 解析的較正（式1）は、ブートストラップ・プロシージャが少数派クラスの観測値の包含確率（ $\mathbb{P}(S=1|Y=1) \approx 0.632$ ）を変化させるため、理論的にBalanced Random Forestsには適していないことを実証した。これは、式1の導出に必要な仮定に反するものである。
標準的なランダムフォレストにおけるハイパーパラメータへの感受性： アンダーサンプリングされたデータで訓練された標準的なランダムフォレストについて、解析的較正を用いると、有病率の推定値がハイパーパラメータの選択に対して不変ではないことを明らかにした。具体的には、推定される有病率は、各分割で考慮される予測変数の数およびサンプリング率の両方に伴って系統的に増加する。
決定木における少数派クラスへのバイアスの発見： 決定木は多数派クラスに対してバイアスを持つ（少数派を無視または過小評価する）という既存の文献の示唆に反し、著者らは、不均衡なデータで訓練された場合、決定木は少数派クラスに対してバイアスを持つ（確率を過大評価する）可能性があるという証拠を提示している。このバイアスは解析的較正後も持続する。

結果

森林火災予測： 現実世界の適用において、予測された森林火災の数は、モデルが較正されているにもかかわらず、ハイパーパラメータの選択によって40%以上変動した。推定値は、サンプリング率および各分割で考慮される予測変数の数の両方と明確な正の相関を示した。
シミュレーション： シミュレーション研究は現実世界の知見を裏付け、有病率の推定値がサンプリング率および予測変数とともに増加することを示した。多くの場合、較正されたモデルは真の有病率を最大20%系統的に過大評価した。
$m_{try}$ のメカニズム： 分析の結果、より多くの予測変数が考慮されると、ランダムフォレストはより極端な予測（0または1に近い値）を生成することが示された。較正前の分布は類似していたが、式1の非線形な性質がこれらの差異を増幅させ、より高い $m_{try}$ を持つモデルが有意に高い有病率推定値をもたらす原因となった。
サンプリング率のメカニズム： 個別の決定木の調査により、クラスの不均衡が増すにつれて、予測確率と真の確率の比率が上昇（1.0を超える）し、少数派クラスへの過大評価バイアスが生じることが判明した。このバイアスは解析的較正によっても排除されなかった。

意義と主張
著者らは、解析的較正はアンダーサンプリングされたデータで訓練された決定木ベースのモデルの較正には不適切であると結論付けている。この手法は、ハイパーパラメータの恣意的な選択や、解析的な公式では修正できない決定木の構造に固有のバイアスに依存するため、適切に較正された確率推定を生み出すことができない。

良好な有病率の推定は、良好な較正のための必要条件であるため、安定した有病率の推定を生み出せないことは、このアプローチの根本的な欠陥を示していると著者らは主張している。したがって、決定木ベースのモデルをアンダーサンプリングされたデータで訓練する場合、解析的な補正に頼るのではなく、ベータ較正や修正プラット・スケーリングのように、データから誤較正のパターンを学習できる較正手法を利用すべきであると示唆している。

決定木が少数派クラスに対してバイアスを持つ可能性があるという発見は、既存の文献に対する重要な対抗軸として提示されており、実務家は決定木が不均衡な設定において少数派クラスを軽視すると自動的に想定すべきではないことを示唆している。しかし、著者らは、このバイアスがすべての構成（例：一部のR実装のバリエーション）において一貫して観察されたわけではないことを指摘し、このバイアスが発生する条件を完全に理解するためにはさらなる研究が必要であるとして、控えめな姿勢を保っている。