📊 statistics

Challenges in the calibration of tree-based models for imbalanced classification

Diese Arbeit zeigt auf, dass die analytische Kalibrierung von baumbasierten Modellen, die auf unterabgetasteten, imbalancierten Daten trainiert wurden, zu unzuverlässigen Prävalenzschätzungen und unerwarteten Verzerrungen führt, und plädiert stattdessen für die Verwendung lernbasierter Kalibrierungsmethoden wie der Beta-Kalibrierung.

Ursprüngliche Autoren: Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Rezept“-Problem

Stellen Sie sich vor, Sie sind ein Koch, der lernen möchte, wie man eine perfekte Suppe zubereitet. Ihr Küchenvorrat ist jedoch extrem unausgewogen: Sie haben 10.000 Kartoffeln, aber nur 10 Karotten. Wenn Sie versuchen, das Rezept zu lernen, indem Sie eine Schüssel probieren, die 10.000 Kartoffeln und 10 Karotten enthält, werden Sie niemals lernen, wie eine Karotte schmeckt. Sie werden denken, die Suppe besteht zu 99,9 % aus Kartoffeln.

Um dies zu beheben, entscheiden Sie sich für das Undersampling (Unterabtastung). Sie werfen die meisten Kartoffeln weg, sodass Sie eine Schüssel mit 50 Kartoffeln und 10 Karotten haben. Jetzt ist Ihre Trainingsdatenbasis ausgewogen, und Sie können das Rezept besser lernen.

Der Haken: Wenn Sie die Suppe schließlich in der realen Welt kochen (wo es tatsächlich 10.000 Kartoffeln gibt), sind Ihre Geschmacksknospen immer noch an die ausgewogene Schüssel gewöhnt. Sie denken, die Suppe besteht zu 50 % aus Karotten, aber in Wirklichkeit besteht sie immer noch zu 99,9 % aus Kartoffeln. Ihre Vorhersagen sind „verzerrt“ (biased).

Die alte Lösung: Die „Mathematische Formel“

Lange Zeit nutzten Datenwissenschaftler eine spezifische mathematische Formel (Gleichung 1 in der Arbeit), um dies zu korrigieren. Die Idee war simpel: „Wir wissen, dass wir 90 % der Kartoffeln weggeworfen haben. Lassen Sie uns einfach unsere Vorhersage mit einer Zahl multiplizieren, um sie mathematisch wieder ‚hinzuzufügen‘.“

Die Autoren dieser Arbeit sagen: „Hören Sie auf damit.“

Sie fanden heraus, dass diese mathematische Formel bei baumbasierten Modellen (wie Random Forests) nicht gut funktioniert. Anstatt die Suppe zu korrigieren, macht die Formel den Geschmack völlig unberechenbar.

Die zwei Hauptprobleme, die entdeckt wurden

1. Das „Knopf“-Problem (Anzahl der Prädiktoren)

Stellen Sie sich vor, Ihr Random Forest ist ein Team von 500 Detektiven, die versuchen, ein Rätsel zu lösen.

Die Regel: Bei jedem Schritt dürfen die Detektive nur eine bestimmte Anzahl an Hinweisen (Prädiktoren) betrachten, um zu entscheiden, welchen Weg sie einschlagen.
Das Experiment: Die Autoren drehten an einem „Hinweis-Knopf“. Manchmal ließen sie die Detektive nur 2 Hinweise betrachten. Manchmal ließen sie sie 15 Hinweise betrachten.

Was passierte?
Als sie die alte mathematische Formel verwendeten, um die Verzerrung zu korrigieren, änderte sich das Endergebnis drastisch, je nachdem, wie viele Hinweise die Detektive sehen durften.

Wenn sie 2 Hinweise sahen, sagte das Modell 100 Brände voraus.
Wenn sie 15 Hinweise sahen, sagte es 140 Brände voraus.

Die Analogie: Es ist, als würde man eine Gruppe von Menschen fragen, das Gewicht einer Wassermelone zu schätzen. Wenn man ihnen sagt, sie sollen nur auf die Farbe achten, schätzen sie 10 Pfund. Wenn man ihnen sagt, sie sollen auf die Farbe, den Stiel, das Geräusch beim Klopfen und die Textur achten, schätzen sie 15 Pfund.
In einer perfekten Welt sollte die mathematische Formel diese Schätzungen so korrigieren, dass sie alle beim gleichen wahren Gewicht landen. Aber stattdessen sorgte die Formel dafür, dass die Schätzungen weiter auseinanderdrifteten. Je mehr Hinweise die Detektive nutzten, desto stärker sprang die endgültige Schätzung nach oben.

2. Die „Überraschende Verzerrung“ (Sampling Rate)

Normalerweise denken wir, dass ein Modell Ereignisse ignoriert oder zu niedrig schätzt, wenn man zu wenige „Minderheiten-Objekte“ (wie die 10 Karotten) hat.

Die alte Annahme: „Entscheidungsbäume ignorieren die Minderheitenklasse.“
Die Entdeckung der Arbeit: In ihren Experimenten machten die Entscheidungsbäume genau das Gegenteil! Sie überschätzten die Minderheitenklasse.

Die Analogie: Stellen Sie sich vor, Sie versuchen zu erraten, wie viele rote Murmeln in einem Glas mit 1.000 Murmeln sind (990 blaue, 10 rote). Sie nehmen eine kleine Stichprobe.

Erwartung: Sie könnten sagen: „Vielleicht 1 oder 2 rote Murmeln“ (Unterschätzung).
Was die Bäume taten: Die Bäume betrachteten die Stichprobe und sagten: „Wow, rote Murmeln sind überall! Ich wette, es gibt 50 rote Murmeln!“

Die Autoren fanden heraus, dass die Überschätzung des Modells immer schlimmer wurde, wenn sie die Sampling-Rate änderten (also wie viele Kartoffeln sie wegwarfen). Die mathematische Formel versuchte dies zu korrigieren, aber da der Baum bereits zu hoch schätzte, machte die Formel das Endergebnis nur noch chaotischer.

Das Praxisbeispiel: Waldbrände

Die Autoren testeten dies mit echten Daten über Waldbrände in Alberta, Kanada.

Waldbrände sind selten (wie die Karotten).
Sie verwendeten die „mathematische Formel“, um die Modelle zu korrigieren.
Das Ergebnis: Je nachdem, wie sie den „Hinweis-Knopf“ (Anzahl der Prädiktoren) einstellten oder wie sie die Daten sampelten, konnte die Vorhersage der Anzahl zukünftiger Brände um 40 % variieren.
Warum das wichtig ist: Wenn eine Regierungsbehörde diese Modelle nutzt, um zu entscheiden, wohin sie Feuerwehrautos schickt, schicken sie vielleicht zu viele LKWs in ein Gebiet und gar keine in ein anderes, nur weil sie eine Einstellung im Computercode geändert haben.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass die „mathematische Formel“ (analytische Kalibrierung) ein kaputtes Werkzeug für diese spezifische Aufgabe ist. Sie erzeugt eine Situation, in der:

Eine Änderung einer Einstellung (wie der Anzahl der Hinweise) das Ergebnis verändert, obwohl sich die Antwort eigentlich nicht ändern sollte.
Die Modelle manchmal schätzen, dass die Minderheit häufiger vorkommt, als sie es tatsächlich ist, und die Formel dies nicht korrigieren kann.

Die Lösung: Anstatt eine starre mathematische Formel zu verwenden, schlagen die Autoren „lernende“ Methoden vor (wie die Beta-Kalibrierung). Denken Sie daran als das Einstellen eines Geschmackstesters, der die fertige Suppe tatsächlich probiert und lernt, wie er die Würze anpassen muss, anstatt zu versuchen, die Anpassung mit einem Taschenrechner zu berechnen.

Zusammenfassung in einem Satz

Die Verwendung einer einfachen mathematischen Formel, um „unausgewogene“ Daten in baumbasierten Modellen zu korrigieren, funktioniert nicht; es macht die Vorhersagen instabil und führt dazu, dass Modelle seltene Ereignisse überschätzen, weshalb wir intelligentere, lernbasierte Wege benötigen, um die Verzerrung zu beheben.

Technische Zusammenfassung: Herausforderungen bei der Kalibrierung baumbasierter Modelle für die imbalancierte Klassifikation

Problemstellung
Bei der imbalancierten binären Klassifikation ist es gängige Praxis, die Mehrheitsklasse unterzusampeln, um einen balancierten Trainingsdatensatz zu erstellen. Dieses Verfahren verzerrt jedoch die vorhergesagten Wahrscheinlichkeiten des Modells, da die Trainingsverteilung nicht mehr die zugrunde liegende Population repräsentiert. Um dies zu korrigieren, wurden analytische Kalibrierungsmethoden (speziell die durch Dal Pozzolo et al., 2015 hergeleitete Gleichung 1) vorgeschlagen, um die Vorhersagen von untergesampelten Modellen basierend auf der Samplingrate wieder auf die wahren Populationswahrscheinlichkeiten abzubilden. Während dies weit verbreitet auf Modelle wie Random Forests (RF) angewendet wird, untersucht diese Arbeit, ob dieser analytische Ansatz wohldefinierte (well-calibrated) Wahrscheinlichkeitsschätzungen liefert, wenn er auf baumbasierte Modelle angewendet wird, die auf untergesampelten Daten trainiert wurden.

Methodik
Die Autoren verwenden einen facettenreichen Ansatz, um die Wirksamkeit der analytischen Kalibrierung zu bewerten:

Theoretische Analyse: Die Arbeit untersucht zunächst die mathematische Validität der Anwendung von Gleichung 1 auf Balanced Random Forests (Chen et al., 2004). Sie zeigt auf, dass die Herleitung von Gleichung 1 auf Annahmen über Samplingwahrscheinlichkeiten beruht, die durch das in Balanced Random Forests inhärente Bootstrapping-Verfahren verletzt werden.
Empirische Fallstudie: Unter Verwendung eines realen Datensatzes über menschengemachte Waldbrände in der Region Lac La Biche in Alberta (1996–2016) trainieren die Autoren Standard-Random-Forests auf untergesampelten Daten. Sie variieren systematisch zwei Hyperparameter: die Samplingrate der Mehrheitsklasse und die Anzahl der Prädiktoren, die an jedem Split berücksichtigt werden ( $m_{try}$ ). Die Modelle werden mit Gleichung 1 kalibriert, und die resultierenden Prävalenzschätzungen (Summe der vorhergesagten Wahrscheinlichkeiten) werden mit der tatsächlichen Anzahl der Ereignisse verglichen.
Simulationsstudie: Um Variablen zu isolieren und den datengenerierenden Prozess zu kontrollieren, wurde ein Simulator entwickelt, der 10 Prädiktoren und eine komplexe nichtlineare Beziehung (Gleichung 2) nutzt. Dies ermöglicht die Generierung von Datensätzen mit bekannten wahren Wahrscheinlichkeiten. Die Autoren wiederholen die empirische Fallstudie auf diesen simulierten Datensätzen, um die Konsistenz der Ergebnisse zu bewerten.
Untersuchung der Mechanismen:
- Effekt von $m_{try}$ : Die Autoren analysieren die Verteilung der Vorhersagen vor und nach der Kalibrierung mittels Quantil-Quantil-Plots, um zu verstehen, wie die Nichtlinearität von Gleichung 1 mit der „Extremität“ der Random-Forest-Vorhersagen interagiert.
- Effekt der Samplingrate: Die Autoren testen einzelne Entscheidungsbäume (optimiert auf Reinheit/Purity), die auf Datensätzen mit unterschiedlichen Imbalancen trainiert wurden, um festzustellen, ob die Bäume selbst eine Tendenz zur Minderheitsklasse aufweisen, was die beobachtete systematische Überschätzung in den Random Forests erklären könnte.

Zentrale Beiträge
Die Arbeit leistet drei wesentliche Beiträge:

Ungeeignetheit für Balanced Random Forests: Sie zeigt auf, dass die analytische Kalibrierung (Gleichung 1) theoretisch ungeeignet für Balanced Random Forests ist, da der Bootstrapping-Prozess die Einschlusswahrscheinlichkeit von Beobachtungen der Minderheitsklasse verändert ( $\mathbb{P}(S=1|Y=1) \approx 0,632$ ), was die für die Herleitung der Gleichung erforderlichen Annahmen verletzt.
Hyperparameter-Sensitivität in Standard-Random-Forests: Sie zeigt, dass für Standard-Random-Forests, die auf untergesampelten Daten trainiert wurden, die analytische Kalibrierung zu Prävalenzschätzungen führt, die nicht invariant gegenüber Hyperparameter-Wahlen sind. Insbesondere steigt die geschätzte Prävalenz systematisch mit sowohl der Anzahl der an jedem Split betrachteten Prädiktoren als auch mit der verwendeten Samplingrate.
Entdeckung des Bias zur Minderheitsklasse in Entscheidungsbäumen: Im Gegensatz zur gängigen Literatur, die nahelegt, dass Entscheidungsbäume zur Mehrheitsklasse tendieren (die Minderheitsklasse ignorieren oder unterschätzen), liefern die Autoren Belege dafür, dass Entscheidungsbäume bei Training auf imbalancierten Daten eine Tendenz zur Minderheitsklasse aufweisen können (Überschätzung der Wahrscheinlichkeiten). Dieser Bias bleibt auch nach der analytischen Kalibrierung bestehen.

Ergebnisse

Waldbrand-Vorhersage: In der realen Anwendung variierte die vorhergesagte Anzahl der Waldbrände um mehr als 40 %, abhängig von der Wahl der Hyperparameter, obwohl die Modelle kalibriert wurden. Die Schätzungen zeigten klare positive Korrelationen sowohl mit der Samplingrate als auch mit der Anzahl der an jedem Split betrachteten Prädiktoren.
Simulation: Die Simulationsstudie bestätigte die Ergebnisse aus der realen Welt und zeigte, dass die Prävalenzschätzungen mit der Samplingrate und der Anzahl der Prädiktoren zunahmen. In vielen Fällen überschätzten die kalibrierten Modelle die wahre Prävalenz systematisch um bis zu 20 %.
Mechanismus von $m_{try}$ : Die Analyse zeigte, dass Random Forests extremere Vorhersagen (näher an 0 oder 1) produzieren, wenn mehr Prädiktoren an jedem Split betrachtet werden. Während die Vor-Kalibrierungs-Verteilungen ähnlich waren, verstärkte die nichtlineare Natur von Gleichung 1 diese Unterschiede post-Kalibrierung, was dazu führte, dass das Modell mit höherem $m_{try}$ signifikant höhere Prävalenzschätzungen lieferte.
Mechanismus der Samplingrate: Die Untersuchung einzelner Entscheidungsbäume ergab, dass mit zunehmender Klassenimbalance das Verhältnis von vorhergesagter zu wahrer Wahrscheinlichkeit stieg (übersteigt 1,0), was auf einen Überschätzungs-Bias zugunsten der Minderheitsklasse hindeutet. Dieser Bias wurde durch die analytische Kalibrierung nicht eliminiert.

Bedeutung und Behauptungen
Die Autoren kommen zu dem Schluss, dass die analytische Kalibrierung ungeeignet ist, um baumbasierte Modelle zu kalibrieren, die auf untergesampelten Daten trainiert wurden. Die Methode scheitert daran, wohldefinierte Wahrscheinlichkeitsschätzungen zu liefern, da die resultierende Prävalenz von willkürlichen Hyperparameter-Wahlen und inhärenten Biases in der Baumstruktur abhängt, die die analytische Formel nicht korrigieren kann.

Die Arbeit argumentt, dass da eine gute Prävalenzschätzung eine notwendige Bedingung für eine gute Kalibrierung ist, das Scheitern bei der Erzeugung stabiler Prävalenzschätzungen auf einen fundamentalen Fehler des Ansatzes hindeutet. Folglich schlagen die Autoren vor, dass bei baumbasierten Modellen, die auf untergesampelten Daten trainiert wurden, Kalibrierungsmethoden verwendet werden sollten, die in der Lage sind, das Fehlkalibrierungsmuster aus den Daten zu lernen (wie etwa Beta-Kalibrierung oder modifiziertes Platt's Scaling), anstatt sich auf analytische Korrekturen zu verlassen.

Die Erkenntnis, dass Entscheidungsbäume zu einem Bias zugunsten der Minderheitsklasse neigen können, wird als bedeutender Gegenpunkt zur bestehenden Literatur präsentiert, der darauf hinweist, dass Praktiker nicht automatisch davon ausgehen sollten, dass Entscheidungsbäume in imbalancierten Settings die Minderheitsklasse vernachlässigen. Die Autoren bleiben jedoch zurückhaltend und merken an, dass dieser Bias nicht konsistent über alle Konfigurationen hinweg beobachtet wurde (z. B. in einigen R-Implementierungsvariationen) und dass weitere Arbeiten nötig sind, um die Bedingungen, unter denen dieser Bias auftritt, vollständig zu verstehen.