🤖 machine learning

The Hidden Cost of Resampling: How Imbalance Correction Degrades Probability Calibration in Tree Ensembles

Diese Arbeit zeigt, dass SMOTE zwar die Wahrscheinlichkeitskalibrierung in Baumensembles leicht verschlechtert, Random Undersampling jedoch bei hohen Imbalance-Verhältnissen zu schweren Kalibrierungsfehlern führt, aber beide Probleme durch Post-hoc-Rekalibrierung effektiv gelöst werden können, ohne die Ranking-Leistung signifikant zu opfern.

Ursprüngliche Autoren: Zewen Liu

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zewen Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Die „versteckten Kosten“ der Behebung von Ungleichgewichten

Stellen Sie sich vor, Sie sind eine Lehrkraft, die versuchen muss, eine Klasse zu bewerten, in der 99 % der Schüler exzellent sind (die „Mehrheit“) und nur 1 % Schwierigkeiten hat (die „Minderheit“). Wenn Sie nur auf die Durchschnittsnote schauen, wirkt die Klasse perfekt. Aber wenn Sie den Schülern helfen wollen, die Schwierigkeiten haben, müssen Sie diesen besondere Aufmerksamkeit schenken.

In der maschinellen Lernprozesse nennt man dies Klassenungleichgewicht (Class Imbalance). Um dies zu beheben, nutzen Datenwissenschaftler das Resampling:

Oversampling (SMOTE): Sie erstellen „synthetische“ Kopien der Schüler mit Schwierigkeiten, um die Klasse ausgeglichener aussehen zu lassen.
Undersampling: Sie werfen die meisten exzellenten Schüler weg, damit die Schüler mit Schwierigkeiten nicht untergehen.

Die Entdeckung des Papers:
Die Autoren fanden heraus, dass diese Tricks dem Modell zwar helfen, besser darin zu werden, wer Schwierigkeiten hat zu ranken (die richtigen Personen zu finden), aber heimlich die Fähigkeit des Modells untergraben, Ihnen zu sagen, wie sicher es sich ist.

Denken Sie an einen Wetterprognostiker. Wenn er sagt: „Es besteht eine Regenwahrscheinlichkeit von 70 %“, erwarten Sie, dass es in 7 von 10 Fällen regnet. Wenn das Modell kalibriert ist, sagt es die Wahrheit. Wenn es fehlkalibriert ist, sagt es vielleicht „70 %“, obwohl es in Wirklichkeit nur in 10 % der Fälle regnen wird.

Dieses Paper fragt: Zerstören diese „Reparatur-Tricks“ die Ehrlichkeit des Modells bezüglich seiner eigenen Konfidenz?

Die drei Hauptergebnisse

1. Der „Synthetische Kopie“-Trick (SMOTE) ist ein kleiner Preis für die Leistung

Die Analogie: Stellen Sie sich vor, Sie haben ein Rezept für einen Kuchen, aber Sie haben nur ein einziges Ei. Um mehr Kuchen zu backen, fotokopieren Sie einfach die Anleitung für das Ei. Der Kuchen schmeckt immer noch gut (das Modell findet die richtigen Leute), aber die Anweisungen darüber, wie viel Ei man verwenden soll, werden etwas ungenau.
Das Ergebnis: Die Verwendung von SMOTE (Erstellung synthetischer Daten) führt dazu, dass das Modell etwas weniger ehrlich über seine Konfidenz ist. Die Schädigung ist jedoch gering. Das Modell findet die Schüler mit Schwierigkeiten immer noch gut, und der leichte Verlust an „Ehrlichkeit“ ist meistens den Gewinn wert, sie überhaupt zu finden.

2. Der „Wegwerfen von Daten“-Trick (Undersampling) ist gefährlich

Die Analogie: Stellen Sie sich vor, Sie haben 1.000 Schüler, aber Sie entscheiden, 990 davon wegzuwerfen, nur um sich auf die 10 mit Schwierigkeiten zu konzentrieren. Nun versuchen Sie, ein komplexes Thema mit nur 10 Beispielen zu lernen. Sie könnten die richtige Antwort durch Glück erraten, aber Ihr Vertrauen wird völlig wahnsinnig sein.
Das Ergebnis: Random Undersampling ist der wahre Bösewicht. Wenn das Ungleichgewicht extrem hoch ist (wie 70 zu 1), zerstört diese Methode die Ehrlichkeit des Modells. Das Modell wird extrem überkonfident. Es sagt: „Ich bin mir zu 99 % sicher!“, obwohl es eigentlich blind rät, weil es nicht genug Daten zum Lernen hatte.

3. Die „Magische Lösung“ (Rekalibrierung)

Die Analogie: Stellen Sie sich ein Thermometer vor, das zwar genau ist, aber 5 Grad zu hoch anzeigt. Sie müssen das Thermometer nicht neu bauen; Sie müssen nur einen Aufkleber hinzufügen, auf dem steht: „Minus 5“.
Das Ergebnis: Die Autoren fanden eine einfache, kostengünstige Lösung. Nachdem das Modell trainiert wurde (selbst wenn es die oben genannten „schlechten“ Tricks verwendet hat), können Sie es durch einen schnellen „Rekalibrierungsschritt“ laufen lassen (unter Verwendung von Methoden wie Platt Scaling oder Isotonischer Regression).

Dies behebt das Ehrlichkeitsproblem fast vollständig.
Es kostet fast nichts in Bezug auf die Fähigkeit des Modells, Menschen korrekt zu ranken.
Wichtiger Hinweis: Sie können nicht einfach eine mathematische Formel verwenden, um den „synthetischen Daten-Trick“ (SMOTE) rückgängig zu machen, da SMOTE die Form der Daten verändert und nicht nur die Zahlen. Sie benötigen einen datengesteuerten „Aufkleber“ (Rekalibrierung), um es zu korrigieren.

Warum das für Sie wichtig ist

Wenn Sie ein System bauen, das Entscheidungen basierend auf Wahrscheinlichkeiten trifft (z. B. „Ist dieses Darlehen riskant? Wenn das Risiko > 20 % ist, lehne es ab“), müssen Sie sich um die Kalibrierung kümmern.

Die Falle: Die meisten Menschen prüfen nur, ob das Modell die „schlechten“ Fälle findet (mit Metriken wie F1 oder AUC). Das Paper zeigt, dass Resampling diese Scores oft verbessert, was Sie glauben lässt, das Modell sei großartig.
Die Realität: Während das Modell besser darin ist, die schlechten Fälle zu finden, könnten seine Wahrscheinlichkeitswerte Sie anlügen. Es könnte „20 % Risiko“ sagen, wenn das reale Risiko bei 50 % liegt.
Die Lösung:
1. Wenn Sie Resampling verwenden, prüfen Sie immer die Kalibrierung des Modells (Ehrlichkeit), nicht nur dessen Genauigkeit.
2. Wenn Sie Undersampling bei stark unbalancierten Daten verwenden, seien Sie sehr vorsichtig; es kann die Konfidenz des Modells zerstören.
3. Fügen Sie am Ende immer einen Rekalibrierungsschritt hinzu, wenn Ihr System auf Wahrscheinlichkeitszahlen basiert. Es ist eine kostengünstige Lösung, die Sie davor bewahrt, Entscheidungen auf Basis falscher Konfidenz zu treffen.

Zusammenfassung in einem Satz

Resampling hilft Modellen, seltene Ereignisse zu finden, beeinträchtigt aber oft ihre Fähigkeit, die Sicherheit ihrer Vorhersagen mitzuteilen; ein einfacher Schritt der „Rekalibrierung“ kann diese gebrochene Ehrlichkeit jedoch beheben, ohne die Leistung des Modells zu ruinieren.

Technisches Resümee: Die verborgenen Kosten des Resampling in Baum-Ensembles

1. Problemstellung

Klassenimbalance ist in hochsensiblen Bereichen wie der Betrugserkennung und der Krankheitsdiagnostik allgegenwärtig. Das Standardremedium umfasst Resampling-Techniken – insbesondere die Synthetic Minority Over-sampling Technique (SMOTE), Random Oversampling (ROS) und Random Undersampling (RUS) –, um die Trainingsdatensätze auszugleichen. Während diese Methoden routinemäßig anhand von Diskriminationsmetriken (z. B. F1-Score, AUC, Recall der Minderheitenklasse) evaluiert werden, werden sie fast nie auf ihre Wahrscheinlichkeitskalibrierung hin untersucht.

Viele eingesetzte Systeme verlassen sich auf vorhergesagte Wahrscheinlichkeiten für nachgelagerte Entscheidungen (z. B. Optimierung der erwarteten Kosten, Triage-Schwellenwerte). Resampling verzerrt die während des Trainings beobachtete Klassenprior gezielt, was zur Hypothese führt, dass es auch die emittierten Wahrscheinlichkeiten verzerrt. Diese Arbeit untersucht, ob Resampling die Kalibrierung von Baum-Ensembles verschlechtert, wie diese Verschlechterung mit dem Imbalance-Verhältnis (IR) skaliert und ob Post-hoc-Korrekturen den Schaden beheben können, ohne die Ranking-Leistung zu opfern.

2. Methodik

Die Studie verwendet ein rigoroses, Multi-Seed-, gepaart-statistisches experimentelles Design über fünf öffentliche binäre Klassifikationsdatensätze (Imbalance-Verhältnisse von 1,9 bis 70,1) und zwei Baum-Ensemble-Modelle: Random Forests (RF) und Histogram Gradient Boosting (HGB).

Experimentelle Bedingungen:
- Baseline: Kein Resampling.
- Resampling: SMOTE, ROS und RUS (mit dem Ziel eines 1:1 Klassenverhältnisses innerhalb der Trainings-Folds).
- Kontrolle: Class-Weighting (Rebalancing der Loss-Funktion ohne Modifikation der Daten).
- Post-hoc-Kalibrierung: Platt-Scaling und Isotonische Regression, angewendet auf SMOTE-Modelle auf einem separat gehaltenen Kalibrierungs-Split.
Metriken:
- Kalibrierung: Expected Calibration Error (ECE), Brier-Score und Reliability Diagrams.
- Diskriminierung: ROC-AUC, PR-AUC und F1 der Minderheitenklasse.
Statistische Analyse: Vergleiche nutzen den gepaarten Wilcoxon-Vorzeichen-Rang-Test über 10 Random Seeds und eine 5-fache Kreuzvalidierung. Effektstärken werden mittels Cliff's $\delta$ quantifiziert. Eine Holm–Bonferroni-Korrektur wird angewendet, um die Familienfehlerquote zu kontrollieren.
Spezifische Untersuchungen:
- H1: Verschlechtert Resampling die Kalibrierung?
- H2: Kann eine Post-hoc-Rekalibrierung den Schaden beheben?
- H3: Wie skaliert der Schaden mit dem Imbalance-Verhältnis und der Aggressivität des Oversampling?
- H4 (Negatives Ergebnis): Überträgt sich die analytische Prior-Shift-Korrektur (gültig für Undersampling) auf SMOTE?

3. Kernergebnisse

A. Resampling verschlechtert die Kalibrierung (H1)

Alle Resampling-Familien erhöhen den ECE im Vergleich zur Baseline signifikant, wenngleich das Ausmaß drastisch variiert:

SMOTE & ROS: Verursachen einen geringen bis moderaten Anstieg des ECE (z. B. SMOTE: $0,052 \to 0,061$ , $\delta = +0,27$ ).
Random Undersampling (RUS): Verursacht eine schwere Verschlechterung, insbesondere bei hohen Imbalance-Verhältnissen. Auf dem Datensatz yeast_ml8 (IR=70) bläht RUS den ECE von $0,008$ auf $0,395$ auf. Dies wird auf einen „Stichprobenumfang-Kollaps“ (Training auf $\sim50$ Samples) zurückgeführt, nicht primamente auf den Resampling-Mechanismus selbst, obwohl RUS auch bei Datensätzen mit ausreichenden Stichprobengrößen schädlich bleibt.
Class Weighting: Verursacht nur marginale Kalibrierungsverschiebungen, was darauf hindeutet, dass der Schaden durch die Veränderung der Trainingsdatenverteilung entsteht und nicht bloß durch die Modifikation der Zielfunktion.

B. Post-hoc-Rekalibrierung behebt den Schaden (H2)

Ein einziger Post-hoc-Rekalibrierungsschritt (Platt oder Isotonisch) eliminiert effektiv den Kalibrierungsschaden durch SMOTE:

ECE-Reduktion: Der ECE von SMOTE sinkt von $0,061$ auf $0,021$ (Platt) und $0,025$ (Isotonisch), was oft unter die ursprüngliche Baseline fällt.
Ranking-Kosten: Die Reparatur verursacht vernachlässigbare Kosten für die Ranking-Leistung. Der AUC sinkt nur um $0,002 $($ \delta = -0,07$). Dieser geringfügige Abfall ist weitgehend auf die Reduktion der Daten für den Kalibrierungs-Split zurückzuführen, nicht auf die Transformation selbst.
Trade-off: Ein Tausch von $0,002$ AUC-Verlust gegen eine $66\,\%$ Reduktion des ECE ist für Entscheidungssysteme vorteilhaft.

C. Skalierung mit Imbalance und Aggressivität (H3)

Imbalance-Verhältnis: Der Kalibrierungs-Schaden durch RUS wächst steil mit dem Imbalance-Verhältnis. Im Gegensatz dazu bleibt der Kalibrierungs-Malus von SMOTE über den untersuchten IR-Bereich (1,9–70) relativ klein und stabil.
Oversampling-Verhältnis: Der Kalibrierungsfehler steigt monoton mit der Aggressivität von SMOTE (der Menge der injizierten synthetischen Daten), während die Diskriminationsmetriken (AUC, F1) flach bleiben oder sich leicht verbessern.

D. Analytische Korrektur versagt bei SMOTE (Negatives Ergebnis)

Die Arbeit zeigt, dass die analytische Prior-Shift-Korrektur (die bei RUS durch Anpassung an die verschobene Prior $\pi_{train}$ funktioniert) nicht auf SMOTE übertragbar ist.

Begründung: RUS verschiebt nur die Prior $p(y)$ , lässt aber die klassenbedingte Dichte $p(x|y)$ intakt. SMOTE hingegen synthetisiert neue Punkte durch Interpolation und verzerrt damit die klassenbedingte Dichte $p(x|y=1)$ .
Ergebnis: Die Anwendung der analytischen Korrektur auf SMOTE-Modelle verbessert den ECE nicht (es verschlechtert ihn in einigen Fällen sogar), während die datengesteuerte isotonische Rekalibrierung erfolgreich ist.

E. Stabilität der Feature-Attribution

Eine SHAP-Analyse auf dem Datensatz credit-g zeigt, dass SMOTE die gelernte Feature-Struktur bewahrt (Spearman-Korrelation der Feature-Wichtigkeits-Rankings von 0,96), während es die Wahrscheinlichkeitsskala korrumpiert. Dies bestätigt, dass der Kalibrierungs-Schaden ein Skalierungsproblem ist, das durch monotone Transformationen korrigierbar ist, und keine fundamentale Änderung dessen, was das Modell lernt.

4. Bedeutung und Beiträge

Die Autoren positionieren diese Arbeit nicht als Entdeckung eines neuartigen Phänomens (da die Kalibrierungs-Schäden von Undersampling bereits durch Dal Pozzolo et al. angemerkt wurden), sondern als eine praktische, evidenzbasierte Konsolidierung und Erweiterung bestehenden Wissens.

Klärung des Risikos: Die Studie unterscheidet zwischen „kleinen, aber realen“ Kalibrierungskosten für SMOTE und „genuin gefährlichen“ Kosten für RUS, insbesondere bei extremen Imbalance-Verhältnissen.
Praktischer Leitfaden: Sie bietet ein klares Protokoll für Praktiker: Wenn Resampling verwendet wird und Wahrscheinlichkeiten Entscheidungen steuern, ist ein Post-hoc-Rekalibrierungsschritt notwendig und ausreichend.
Methodische Korrektur: Sie warnt explizit davor, analytische Prior-Shift-Korrekturen auf synthetische Oversampling-Methoden anzuwenden, da diese die Dichteverzerrung nicht berücksichtigen.
Evaluationsstandard: Die Arbeit argumentiert, dass Studien zum imbalancierten Lernen neben Diskriminationsmetriken (F1, AUC) auch Kalibrierungsmetriken (ECE, Brier) berichten müssen, um zu verhindern, dass Modelle mit unzuverlässigen Wahrscheinlichkeiten ausgeliefert werden.

5. Limitationen

Die Autoren räumen mehrere Grenzen ihrer Aussagen ein:

Die Studie beschränkt sich auf tabellarische Daten und zwei Baum-Ensemble-Modelle; neuronale Netze und andere Modalitäten könnten sich anders verhalten.
Die Dekomposition des AUC-Verlusts in „Datenreduktion“ vs. „Kalibrierungs-Transformations“-Kosten basiert auf einem spezifischen Split-Verhältnis.
Die Erklärung für das Versagen der analytischen Korrektur bei SMOTE ist eine intuitive Hypothese bezüglich der $p(x|y)$ -Verzerrung, die einer formalen Analyse in zukünftiger Arbeit bedarf.
Die Ergebnisse sind auf den getesteten Bereich der Imbalance-Verhältnisse (IR 1,9–70) begrenzt; extreme Verhältnisse (Hunderte oder Tausende) könnten größere Effekte aufweisen.