Technische Samenvatting: De Verborgen Kosten van Resampling in Tree Ensembles

1. Probleemstelling

Klassenimbalans is wijdverspreid in domeinen met een hoog risico, zoals fraudedetectie en ziekteonderzoek. De standaardoplossing omvat resamplingtechnieken—specifiek de Synthetic Minority Over-sampling Technique (SMOTE), random oversampling (ROS) en random undersampling (RUS)—om trainingssets in evenwicht te brengen. Hoewel deze methoden routinematig worden geëvalueerd aan de hand van discriminatiemetrieken (bijv. F1-score, AUC, recall van de minderheidsklasse), worden ze bijna nooit beoordeeld op probabilistische kalibratie.

Veel operationele systemen vertrouwen op voorspelde waarschijnlijkheden voor downstream-beslissingen (bijv. optimalisatie van verwachte kosten, triage-drempelwaarden). Resampling verstoort doelbewust de geobserveerde klassenprior tijdens de training, wat leidt tot de hypothese dat dit ook de uitgegeven waarschijnlijkheden verstoort. Dit onderzoek onderzoekt of resampling de kalibratie van tree ensembles verslechtert, hoe deze degradatie schaalt met de imbalansratio (IR), en of post-hoc correcties de schade kunnen herstellen zonder het rangschikkingsvermogen op te offeren.

2. Methodologie

De studie maakt gebruik van een rigoureus, multi-seed, gepaard-statistisch experimenteel ontwerp over vijf publieke binaire classificatiedatasets (Imbalansratio's variërend van 1,9 tot 70,1) en twee tree ensemble-modellen: Random Forests (RF) en Histogram Gradient Boosting (HGB).

• Experimentele Condities:
  • Baseline: Geen resampling.
  • Resampling: SMOTE, ROS en RUS (gericht op een 1:1 klassenbalans binnen de trainingsfolds).
  • Controle: Class-weighting (herbalanceren van de loss zonder modificatie van de data).
  • Post-hoc Kalibratie: Platt scaling en Isotonic regression toegepast op een SMOTE-model op een apart gehouden kalibratiesplit.
• Metrieken:
  • Kalibratie: Expected Calibration Error (ECE), Brier score en reliability diagrams.
  • Discriminatie: ROC-AUC, PR-AUC en F1 van de minderheidsklasse.
• Statistische Analyse: Vergelijkingen maken gebruik van de gepaarde Wilcoxon signed-rank test over 10 random seeds en 5-voudige cross-validatie. Effectgroottes worden gekwantificeerd met behulp van Cliff's $\delta$. Holm–Bonferroni correctie wordt toegepast om de family-wise error rates te controleren.
• Specifieke Onderzoeken:
  • H1: Verslechtert resampling de kalibratie?
  • H2: Kan post-hoc recalibratie de schade herstellen?
  • H3: Hoe schaalt de schade met de imbalansratio en de agressiviteit van oversampling?
  • H4 (Negatief Resultaat): Transfereert de analytische prior-shift correctie (geldig voor undersampling) naar SMOTE?

3. Belangrijkste Resultaten

A. Resampling Verslechtert Kalibratie (H1)

Alle resampling-families verhogen de ECE significant ten opzichte van de baseline, hoewel de omvang drastisch varieert:

• SMOTE & ROS: Veroorzaken een kleine tot matige toename in ECE (bijv. SMOTE: $0,052 \to 0,061$, $\delta = +0,27$).
• Random Undersampling (RUS): Veroorzaakt ernstige degradatie, vooral bij hoge imbalansratio's. Op de yeast_ml8 dataset (IR=70) blaast RUS de ECE op van $0,008$ naar $0,395$. Dit wordt toegeschreven aan "sample-size collapse" (trainen op $\sim50$ monsters) in plaats van aan het resamplingmechanisme zelf, hoewel RUS schadelijk blijft op datasets met voldoende monsteromvang.
• Class Weighting: Veroorzaakt slechts marginale kalibratieverschuivingen, wat aangeeft dat de schade voortkomt uit het wijzigen van de trainingsdatadistributie, en niet louter uit de objectieve functie.

B. Post-hoc Recalibratie Herstelt Schade (H2)

Een enkele post-hoc recalibratiestap (Platt of Isotonic) elimineert effectief de kalibratieschade veroorzaakt door SMOTE:

• ECE Reductie: De ECE van SMOTE daalt van $0,061$ naar $0,021$ (Platt) en $0,025$ (Isotonic), en valt vaak zelfs onder de oorspronkelijke baseline.
• Rangschikkingskosten: De reparatie brengt een verwaarloosbare kost met zich mee voor het rangschikkingsvermogen. De AUC daalt met slechts $0,002$($\delta = -0,07$). Deze kleine daling wordt grotendeels toegeschreven aan de reductie van de data die nodig is voor de kalibratiesplit, en niet aan de transformatie zelf.
• Trade-off: Het ruilen van een $0,002$ AUC-daling voor een $66\%$ reductie in ECE is gunstig voor beslissingssystemen.

C. Schaling met Imbalans en Agressiviteit (H3)

• Imbalansratio: De kalibratieschade door RUS groeit steil met de imbalansratio. In tegen tegenstelling hiertoe blijft de kalibratiepenalty van SMOTE relatief klein en stabiel over het bestudeerde IR-bereik (1,9–70).
• Oversampling Ratio: De kalibratiefout groeit monotoon met de agressiviteit van SMOTE (de hoeveelheid gesynthetiseerde data die wordt geïnjecteerd), terwijl discriminatiemetrieken (AUC, F1) vlak blijven of licht verbeteren.

D. Analytische Correctie Faalt voor SMOTE (Negatief Resultaat)

Het paper demonstreert dat de analytische prior-shift correctie (die werkt voor RUS door te corrigeren voor de verschoven prior $\pi_{train}$) niet transfereert naar SMOTE.

• Redenering: RUS verschuift alleen de prior $p(y)$, waardoor de klasse-conditionele dichtheid $p(x|y)$ intact blijft. SMOTE synthetiseert echter nieuwe punten via interpolatie, waardoor de klasse-conditionele dichtheid $p(x|y=1)$ wordt verstoord.
• Resultaat: Het toepassen van de analytische correctie op SMOTE-modellen slaagt er niet in de ECE te verbeteren (en verslechtert deze in sommige gevallen zelfs), terwijl data-gedreven isotone recalibratie wel slaagt.

E. Stabiliteit van Feature Attributie

SHAP-analyse op de credit-g dataset geeft aan dat SMOTE de geleerde featurestructuur behoudt (Spearman correlatie van 0,96 in feature belangrangschikking) terwijl het de waarschijnlijkheidsschaal corrumpeert. Dit bevestigt dat de kalibratieschade een schaalprobleem is dat corrigeerbaar is door monotone transformaties, en geen fundamentele verandering is in wat het model leert.

4. Betekenis en Bijdragen

De auteurs positioneren dit werk niet als een ontdekking van een nieuw fenomeen (de kalibratieschade van undersampling werd eerder opgemerkt door Dal Pozzolo et al.), maar als een praktische, op bewijs gebaseerde consolidatie en uitbreiding van bestaande kennis.

• Verheldering van Risico: De studie maakt onderscheid tussen "kleine maar reële" kalibratiekosten voor SMOTE en "werkelijk gevaarlijke" kosten voor RUS, vooral bij extreme imbalansratio's.
• Praktische Gids: Het biedt een duidelijk protocol voor professionals: als resampling wordt gebruikt en waarschijnlijkheden beslissingen sturen, is een post-hoc recalibratiestap noodzakelijk en voldoende.
• Methodologische Correctie: Het waarschuwt expliciet tegen het toepassen van analytische prior-shift correcties op synthetische oversampling-methoden, omdat deze geen rekening houden met dichtheidsverstoring.
• Evaluatiestandaard: Het paper betoogt dat studies naar imbalanced learning kalibratiemetrieken (ECE, Brier) moeten rapporteren naast discriminatiemetrieken (F1, AUC) om te voorkomen dat modellen met onbetrouwbare waarschijnlijkheden in productie worden gebracht.

5. Beperkingen

De auteurs erkennen verschillende grenzen aan hun claims:

• De studie is beperkt tot tabelvormige data en twee tree ensemble-modellen; neurale netwerken en andere modaliteiten kunnen anders reageren.
• De decompositie van AUC-verlies in "data-reductie" versus "kalibratietransformatie" kosten is gebaseerd op een specifieke split-ratio.
• De verklaring voor het falen van de analytische correctie bij SMOTE is een intuïtieve hypothese betreffende $p(x|y)$ verstoring, die een formele analyse in toekomstig werk vereist.
• De resultaten zijn begrensd door de geteste imbalansrange (IR 1,9–70); extreme ratio's (honderden of duizenden) kunnen grotere effecten opleveren.