📊 statistics

Challenges in the calibration of tree-based models for imbalanced classification

Dit artikel toont aan dat het analytisch kalibreren van boomgebaseerde modellen die getraind zijn op ondergesampleerde ongebalanceerde data leidt tot onbetrouwbare prevalentieschattingen en onverwachte biases, waarbij in plaats daarvan wordt gepleit voor het gebruik van leergebaseerde kalibratiemethoden zoals bètakalibratie.

Oorspronkelijke auteurs: Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Recept"-probleem

Stel je voor dat je een chef bent die probeert te leren hoe je de perfecte soep maakt. Echter, je keuken is extreem uit balans: je hebt 10.000 aardappelen maar slechts 10 wortels. Als je probeert het recept te leren door een kom te proeven die 10.000 aardappelen en 10 wortels bevat, zul je nooit leren hoe een wortel smaakt. Je zult denken dat de soep voor 99,9% uit aardappel bestaat.

Om dit op te lossen, besluit je te undersamplen (ondersteunen). Je gooit de meeste aardappelen weg, zodat je een kom hebt met 50 aardappelen en 10 wortels. Nu is je trainingsdata gebalanceerd en kun je het recept beter leren.

De Haken en Stellen: Wanneer je de soep uiteindelijk kookt voor de echte wereld (waar er daadwerkelijk 10.000 aardappelen zijn), zijn je smaakpapillen nog gewend aan de gebalanceerde kom. Je denkt dat de soep voor 50% uit wortels bestaat, maar in werkelijkheid bestaat deze nog steeds voor 99,9% uit aardappel. Je voorspellingen zijn "bevooroordeeld" (biased).

De Oude Oplossing: De "Wiskundige Formule"

Lange tijd gebruikten data scientists een specifieke wiskundige formule (Vergelijking 1 in het artikel) om dit op te lossen. Het idee was simpel: "We weten dat we 90% van de aardappelen hebben weggegooid. Laten we onze voorspelling gewoon vermenigvuldigen met een getal om ze wiskundig weer 'toe te voegen'."

De auteurs van dit artikel zeggen: "Stop daarmee."

Ze ontdekten dat deze wiskundige formule niet goed werkt voor Boom-gebaseerde Modellen (zoals Random Forests). In plaats van de soep te repareren, maakt de formule de smaak volkomen onvoorspelbaar.

De Twee Belangrijkste Problemen Ontdekt

1. Het "Knop"-probleem (Aantal Predictoren)

Stel je voor dat je Random Forest een team is van 500 detectives die een mysterie proberen op te lossen.

De Regel: Bij elke stap mogen de detectives slechts naar een bepaald aantal aanwijzingen (predictors) kijken om te beslissen welke kant ze op gaan.
Het Experiment: De auteurs draaiden aan een "aanwijzingen-knop". Soms lieten ze de detectives naar slechts 2 aanwijzingen kijken. Soms lieten ze ze naar 15 aanwijzingen kijken.

Wat er gebeurde?
Wanneer ze de oude wiskundige formule gebruikten om de bias te corrigeren, veranderde het uiteindelijke antwoord drastisch afhankelijk van hoeveel aanwijzingen de detectives mochten bekijken.

Als ze naar 2 aanwijzingen keken, voorspelde het model 100 branden.
Als ze naar 15 aanwijzingen keken, voorspelde het model 140 branden.

De Analogie: Het is alsoك een groep mensen vragen om het gewicht van een watermeloen te raden. Als je hen vertelt dat ze alleen naar de kleur mogen kijken, raden ze 10 pond. Als je hen vertelt dat ze naar de kleur, de steel, het geluid bij het tikken en de textuur moeten kijken, raden ze 15 pond.
In een perfecte wereld zou de wiskundige formule deze gokken moeten corrigeren zodat ze allemaal op hetzelfde ware gewicht uitkomen. Maar in plaats daarvan zorgde de formule ervoor dat de gokken verder uit elkaar dreven. Hoe meer aanwijzingen de detectives gebruikten, hoe meer de definitieve schatting omhoog sprong.

2. De "Verrassende Bias" (Sampling Rate)

Normaal gesproken denken we dat als je te weinig "minderheidsitems" hebt (zoals de 10 wortels), het model ze zal negeren en te laag zal gokken.

De Oude Overtuiging: "Beslissingsbomen negeren de minderheidsklasse."
De Ontdekking van het Papier: In hun experimenten deden de beslissingsbomen precies het tegenovergestelde! Ze overschatten de minderheidsklasse.

De Analogie: Stel je voor dat je probeert te raden hoeveel rode knikkers er in een pot van 1.000 knikkers zitten (990 blauwe, 10 rode). Je neemt een kleine steekproef.

Verwachting: Je zou misschien "misschien 1 of 2 rode knikkers" gokken (onderschatting).
Wat de Bomen Deden: De bomen keken naar de steekproef en zeiden: "Wauw, rode knikkers zijn overal! Ik wed dat er 50 rode knikkers zijn!"

De auteurs ontdekten dat naarmate ze de sampling rate veranderden (hoeveel aardappelen ze weggoiden), de overschatting van het model erger werd. De wiskundige formule probeerde dit te corrigeren, maar omdat de boom al te hoog had gegokt, maakte de formule het eindresultaat alleen maar chaotischer.

Het Praktijkvoorbeeld: Bosbranden

De auteurs testten dit met echte gegevens over bosbranden in Alberta, Canada.

Bosbranden zijn zeldzaam (zoals de wortels).
Ze gebruikten de "wiskundige formule" om de modellen te corrigeren.
Het Resultaat: Afhankelijk van hoe ze de "aanwijzingen-knop" (aantal predictoren) instelden of hoe ze de data samplen, kon de voorspelling van het aantal toekomstige branden variëren met 40%.
Waarom dit ertoe doet: Als een overheidsinstantie deze modellen gebruikt om te beslissen waar ze brandweerauto's naartoe moeten sturen, kunnen ze te veel auto's naar het ene gebied sturen en geen enkele naar het andere, simpelweg omdat ze een instelling in de computercode hebben aangepast.

De Conclusie

Het papier concludeert dat de "wiskundige formule" (analytische kalibratie) een kapot instrument is voor deze specifieke taak. Het creëert een situatie waarin:

Het veranderen van een instelling (zoals het aantal aanwijzingen) het antwoord verandert, terwijl het antwoord eigenlijk niet zou mogen veranderen.
De modellen soms inschatten dat de minderheidsklasse vaker voorkomt dan het in werkelijkheid is, en de formule slaagt er niet in dit te corrigeren.

De Oplossing: In plaats van een rigide wiskundige formule, suggereren de auteurs het gebruik van "leer"-methoden (zoals Beta Kalibratie). Denk hierbij aan het inhuren van een smaaktester die daadwerkelijk de uiteindelijke soep proeft en leert hoe hij de kruiden moet aanpassen, in plaats van te proberen de aanpassing te berekenen met een rekenmachine.

Samenvatting in één zin

Het gebruik van een simpele wiskundige formule om "ongebalanceerde" data in boom-gebaseerde modellen te corrigeren werkt niet; het maakt de voorspellingen extreem instabiel en zorgt er soms voor dat modellen zeldzame gebeurtenissen overschatten, dus hebben we slimmere, leer-gebaseerde manieren nodig om de bias te corrigeren.

Technische Samenvatting: Uitdagingen in de Kalibratie van Boomgebaseerde Modellen voor Imbalanced Classificatie

Probleemstelling
Bij imbalanced binaire classificatie is het een gangbare praktijk om de meerderheidsklasse te undersamplen om een gebalanceerde trainingsdataset te creëren. Echter, deze procedure vertekent de voorspelde waarschijnlijkheden van het model omdat de trainingsverdeling niet langer representatief is voor de onderliggende populatie. Om dit te corrigeren, zijn analytische kalibratiemethoden (specifiek Vergelijking 1 afgeleid door Dal Pozzolo et al., 2015) voorgesteld om voorspellingen van undersampled modellen terug te mappen naar de ware populatie-waarschijnlijkheden op basis van de sampling rate. Hoewel deze methode breed wordt toegepast op modellen zoals Random Forests (RF), onderzoekt dit artikel of deze analytische benadering wel goed gekalibreerde waarschijnlijkheidsschattingen oplevert wanneer deze wordt toegepast op boomgebaseerde modellen die getraind zijn op undersampled data.

Methodologie
De auteurs hanteren een veelzijdige aanpak om de effectiviteit van analytische kalibratie te evalueren:

Theoretische Analyse: Het artikel onderzoekt eerst de wiskundige geldigheid van het toepassen van Vergelijking 1 op Balanced Random Forests (Chen et al., 2004). Het toont aan dat de afleiding van Vergelijking 1 rust op aannames over sampling-kansen die worden geschonden door de bootstrapping-procedure die inherent is aan Balanced Random Forests.
Empirische Casestudy: Met behulp van een real-world dataset van menselijke bosbranden in de regio Lac La Biche in Alberta (1996–2016), trainen de auteurs standaard Random Forests op undersampled data. Zij variëren systematisch twee hyperparameters: de sampling rate van de meerderheidsklasse en het aantal predictoren dat bij elke split wordt overwogen ( $m_{try}$ ). De modellen worden gekalibreerd met Vergelijking 1, en de resulterende prevalentieschattingen (som van de voorspelde waarschijnlijkheden) worden vergeleken met het werkelijke aantal gebeurtenissen.
Simulatiestudie: Om variabelen te isoleren en het proces van datageneratie te controleren, is een simulator ontwikkeld met 10 predictoren en een complexe niet-lineaire relatie (Vergelijking 2). Dit maakt het mogelijk om datasets te genereren met bekende ware waarschijnlijkheden. De auteurs herhalen de empirische casestudy op deze gesimuleerde datasets om de consistentie van de bevindingen te beoordelen.
Onderzoek naar Mechanismen:
- Effect van $m_{try}$ : De auteurs analyseren de distributie van voorspellingen vóór en na kalibratie met behulp van kwantiel-kwantiel plots om te begrijpen hoe de niet-lineariteit van Vergelijking 1 interageert met de "extremiteit" van Random Forest-voorspellingen.
- Effect van Sampling Rate: De auteurs testen individuele Decision Trees (getraind op zuiverheid/purity) op datasets met variërende niveaus van imbalans om te bepalen of de bomen zelf een bias vertonen richting de minderheidsklasse, wat de systematische overschatting zou kunnen verklaren die bij de Random Forests wordt waargenomen.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

Ongeschiktheid voor Balanced Random Forests: Het toont aan dat analytische kalibratie (Vergelijking 1) theoretisch ongeschikt is voor Balanced Random Forests omdat het bootstrapping-proces de waarschijnlijkheid van inclusie voor minderheidsklasse-observaties wijzigt ( $\mathbb{P}(S=1|Y=1) \approx 0.632$ ), wat de aannames vereist voor de afleiding van de vergelijking schendt.
Hyperparametergevoeligheid in Standaard Random Forests: Het onthult dat voor standaard Random Forests die getraind zijn op undersampled data, analytische kalibratie leidt tot prevalentieschattingen die niet invariant zijn aan de keuze van hyperparameters. Specifiek neemt de geschatte prevalentie systematisch toe met zowel het aantal overwogen predictoren bij elke split als de gebruikte sampling rate.
Ontdekking van Minderheidsklasse-bias in Decision Trees: In tegenstelling tot de gangbare literatuur die suggereert dat decision trees een bias hebben naar de meerderheidsklasse (het negeren of onderschatten van de minderheid), leveren de auteurs bewijs dat decision trees juist een bias naar de minderheidsklasse kunnen hebben (overschatting van waarschijnlijkheden) wanneer ze getraind zijn op imbalanced data. Deze bias blijft bestaan zelfs na analytische kalibratie, wat leidt tot systematische overpredictie.

Resultaten

Bosbrandvoorspelling: In de real-world toepassing varieerde het voorspelde aantal bosbranden met meer dan 40% afhankelijk van de keuze van hyperparameters, ondanks het feit dat de modellen gekalibreerd waren. De schattingen vertoonden duidelijke positieve correlaties met zowel de sampling rate als het aantal predictoren dat bij elke split werd overwogen.
Simulatie: De simulatiestudie bevestigde de resultaten uit de echte wereld, waarbij de prevalentieschattingen toenamen met de sampling rate en het aantal predictoren. In veel gevallen overschatten de gekalibreerde modellen de ware prevalentie systematisch met wel 20%.
Mechanisme van $m_{try}$ : De analyse toonde aan dat Random Forests extremere voorspellingen produceren (dichter bij 0 of 1) wanneer er meer predictoren bij elke split worden overwogen. Hoewel de pre-kalibratie distributies vergelijkbaar waren, versterkte de niet-lineaire aard van Vergelijking 1 deze verschillen post-kalibratie, waardoor het model met een hogere $m_{try}$ aanzienlijk hogere prevalentieschattingen opleverde.
Mechanisme van Sampling Rate: Het onderzoek naar individuele decision trees toonde aan dat naarmate de class imbalance toenam, de ratio van de voorspelde waarschijnlijkheid tot de ware waarschijnlijkheid steeg (hoger dan 1.0), wat wijst op een overpredictie-bias naar de minderheidsklasse. Deze bias werd niet geëlimineerd door analytische kalibratie.

Betekenis en Claims
De auteurs concluderen dat analytische kalibratie ongeschikt is voor het kalibreren van boomgebaseerde modellen die getraind zijn op undersampled data. De methode slaagt er niet in om goed gekalibreerde waarschijnlijkheidsschattingen te produceren omdat de resulterende prevalentie afhankelijk is van arbitraire hyperparameterkeuzes en inherente biases in de boomstructuur die de analytische formule niet kan corrigeren.

De auteurs stellen dat omdat goede prevalentieschattingen een noodzakelijke voorwaarde zijn voor goede kalibratie, het falen om stabiele prevalentieschattingen te produceren wijst op een fundamenteel gebrek in de aanpak. Daarom suggereren zij dat boomgebaseerde modellen getraind op undersampled data gebruik moeten maken van kalibratiemethoden die in staat zijn om het miskalibratiepatroon uit de data te leren, zoals beta-kalibratie of gemodificeerde Platt's scaling, in plaats van te vertrouwen op analytische correcties.

De bevinding dat decision trees een bias naar de minderheidsklasse kunnen hebben, wordt gepresenteerd als een belangrijk tegenwicht voor de bestaande literatuur, wat suggereert dat beoefenaars niet automatisch moeten aannemen dat decision trees de minderheid zullen verwaarlozen in imbalanced settings. De auteurs blijven echter bescheiden en merken op dat deze bias niet consistent werd waargenomen in alle configuraties (bijv. in sommige variaties van R-implementaties) en dat er verder werk nodig is om volledig te begrijpen onder welke condities deze bias optreedt.