Tipping the Balance: Impact of Class Imbalance Correction on the Performance of Clinical Risk Prediction Models

Deze studie concludeert dat veelgebruikte technieken voor het corrigeren van klasonevenwicht in klinische risicopredictiemodellen geen algemeen verbetering van de discriminatie opleveren en juist leiden tot een verslechtering van de probabilistische kalibratie.

De kern

Titel: Waarom het "evenwicht maken" van medische voorspellingen vaak mislukt

Stel je voor dat je een supersterke voorspeller bent die moet zeggen of een patiënt ziek wordt of niet. In de echte wereld zijn er echter veel meer gezonde mensen dan zieke mensen. Dit noemen we een ongelijk gewicht (in het Engels: class imbalance).

Om deze voorspeller te helpen, proberen onderzoekers vaak het trainingsmateriaal "in evenwicht" te brengen. Ze doen alsof er evenveel zieke als gezonde mensen zijn, door extra zieke gevallen te kopiëren of gezonde gevallen te verwijderen. Het idee is: "Als de computer meer zieke mensen ziet, wordt hij beter in het herkennen van ziekte."

Deze studie, uitgevoerd door een team van experts, heeft gekeken of dit slimme trucje inderdaad werkt. Ze hebben tien verschillende medische situaties onderzocht, van diabetes tot hartziektes, met in totaal meer dan 600.000 patiënten.

Hier is wat ze ontdekten, vertaald naar alledaagse taal:

1. De "Spiegel" en de "Verkeerde Kaart"

Stel je voor dat je een spiegel maakt die precies weergeeft hoe groot het risico is dat iemand ziek wordt.

• De originele data: De spiegel kijkt naar de echte wereld. Hij ziet dat ziekte zeldzaam is. Hij zegt: "Je hebt een 2% kans." Dit is een kalibratie (een juiste schatting).
• De "evenwichtige" data: De onderzoekers hebben de spiegel getraind met een nepwereld waarin ziekte 50% van de tijd voorkomt. De spiegel leert in die nepwereld.

Het probleem: Als je deze getrainde spiegel weer terugbrengt naar de echte wereld (waar ziekte maar 2% voorkomt), is hij in de war. Hij blijft denken dat ziekte veel vaker voorkomt. Hij gaat zeggen: "Je hebt 50% kans!" terwijl het maar 2% is.
De voorspeller is nog steeds goed in het onderscheiden van wie ziek is en wie niet (hij kan nog steeds zeggen wie "meer risico" heeft dan wie), maar hij is niet meer goed in het zeggen van de juiste kans. Hij geeft een verkeerd getal.

2. De "Kwaliteitscontrole" (Discriminatie vs. Kalibratie)

De studie keek naar twee dingen:

1. Discriminatie: Kan de computer het verschil zien tussen een zieke en een gezonde? (Zoals een goede wijnproever die onderscheid maakt tussen goede en slechte wijn).
2. Kalibratie: Geeft de computer de juiste kans? (Zoals een weerman die zegt: "Er is 80% kans op regen" en het regent ook echt 80% van die dagen).

De verrassende conclusie:

• Het "in evenwicht brengen" van de data maakte de voorspeller niet beter in het onderscheid maken. Soms werd hij zelfs iets slechter.
• Het maakte de voorspeller wel veel slechter in het geven van de juiste kansen. De getallen werden onbetrouwbaar.

3. De "Kopieer- en Plak-Strategie" (SMOTE, ROS, RUS)

De onderzoekers testten drie populaire methoden om het evenwicht te herstellen:

• ROS (Random Oversampling): Je kopieert de zeldzame zieke gevallen totdat er evenveel zijn als de gezonde. Gevolg: De computer ziet dezelfde zieke patiënt steeds weer en raakt in de war of leert de verkeerde patronen.
• RUS (Random Undersampling): Je gooit gezonde gevallen weg totdat er evenveel over zijn. Gevolg: Je gooit waardevolle informatie weg.
• SMOTE: Je maakt "kunstmatige" zieke patiënten door twee bestaande zieke patiënten te mixen (zoals een smoothie van twee vruchten). Gevolg: Soms ontstaan er "onzin-patiënten" die in de echte wereld niet bestaan (bijvoorbeeld een patiënt met een combinatie van eigenschappen die medisch onmogelijk is).

In alle drie de gevallen bleek dat de computer zijn "gevoel" voor de echte kansen verloor.

4. Wat moeten artsen doen?

De boodschap van deze studie is duidelijk: Stop met het forceren van evenwicht.

Als je een arts een voorspelling geeft, wil hij weten: "Heeft deze patiënt een 5% of een 50% kans?"
Als je het model "in evenwicht" traint, krijgt de arts een getal dat niet klopt met de realiteit. Dat kan leiden tot onnodige paniek of juist onnodige geruststelling.

De beste aanpak is:

1. Laat de computer leren op de echte, ongebalanceerde data.
2. Als de computer te vaak zegt "nee" terwijl het "ja" is, pas dan de drempel aan.
   • Analogie: Stel je hebt een metaaldetector die te gevoelig is en elke steen als metaal ziet. Je hoeft de detector niet te herschrijven om meer metaal te zien; je draait gewoon de knop iets minder gevoelig. Zo kun je de "gevoeligheid" van het model aanpassen zonder de onderliggende kansen te verstoren.

Samenvattend

Het is alsof je een weerman traint in een land waar het elke dag regent, zodat hij beter in staat is om regen te voorspellen. Maar als je hem terugstuurdt naar Nederland, waar het maar 10% van de dagen regent, blijft hij zeggen: "Morgen regent het zeker!" terwijl het misschien zonnig is.

De studie zegt: Laat de weerman in Nederland werken. Hij ziet dan precies hoe vaak het regent en geeft je de juiste waarschuwing. Het "evenwicht maken" van de data helpt niet bij het voorspellen van kansen in de echte wereld.

Technische samenvatting

Probleemstelling

In de gezondheidszorg worden machine learning-modellen steeds vaker gebruikt voor klinische risicopredictie. Een cruciaal aspect van deze modellen is niet alleen hun discriminatievermogen (het vermogen om patiënten met een gebeurtenis te onderscheiden van die zonder), maar vooral hun calibratie. Calibratie verwijst naar de overeenstemming tussen de voorspelde waarschijnlijkheid en de daadwerkelijke gebeurtenis.

Veel klinische uitkomsten zijn zeldzaam, wat leidt tot een ongelijke verdeling van klassen (class imbalance) in de dataset. Om dit op te lossen, passen onderzoekers vaak technieken toe om de trainingsdata te herschalen (resampling), zoals het oversamplen van de minderheidsklasse of het undersamplen van de meerderheidsklasse. Hoewel deze methoden populair zijn om de gevoeligheid te verhogen, is hun impact op de probabilistische calibratie onvoldoende onderzocht. Er bestaat een risico dat het herschalen van de data de voorspelde kansen systematisch verstoort, wat in de klinische praktijk kan leiden tot onterechte alarmen of valse geruststelling.

Methodologie

De auteurs voerden een empirische evaluatie uit over tien verschillende klinische datasets, variërend van cardiometabole ziekten en sepsis tot mortaliteit in de intensive care. De datasets omvatten in totaal 605.842 patiënten en de prevalentie van de uitkomsten varieerde van 1,9% tot 34,9%.

• Modellen: Er werden diverse machine learning-families geëvalueerd, waaronder lineaire modellen (logistische regressie) en niet-lineaire benaderingen (XGBoost, CatBoost, Random Forest, Artificial Neural Networks, TabPFN).
• Experimenteel Opzet: Voor elke dataset werden modellen getraind onder vier condities:
  1. Op de originele data (zonder correctie).
  2. Met Random Oversampling (ROS): willekeurig dupliceren van de minderheidsklasse.
  3. Met Random Undersampling (RUS): willekeurig verwijderen van de meerderheidsklasse.
  4. Met SMOTE (Synthetic Minority Oversampling Technique): genereren van synthetische voorbeelden van de minderheidsklasse via interpolatie.
  • Alle methoden streefden naar een 1:1 klassenverhouding in de trainingsdata.
• Evaluatiemetrics: De prestaties werden getest op onafhankelijke testdata met behulp van:
  • Discriminatie: ROC-AUC (Area Under the Curve) en PR-AUC.
  • Calibratie: Brier-score (gemiddelde kwadratische fout), calibratie-intercept (systematische overschatting/onderschatting) en calibratieslope (over- of underfitting).

Belangrijkste Resultaten

De studie leverde een eenduidig en verrassend negatief beeld op voor het gebruik van resampling in deze context:

1. Geen verbetering in discriminatie:

   • Resampling had over het algemeen geen positief effect op het discriminatievermogen (ROC-AUC).
   • De veranderingen in ROC-AUC waren klein en inconsistent. In sommige gevallen was er zelfs een lichte afname (bijv. SMOTE: -0,01; ROS: -0,002).
   • Alleen bij één dataset (Hypoglykemie in de eICU) toonde RUS een marginale verbetering in ROC-AUC, maar dit ging gepaard met een sterke verslechtering van de Brier-score en PR-AUC.

2. Verslechtering van de calibratie:

   • In tegenstelling tot discriminatie, had resampling een negatief effect op de calibratie.
   • Modellen getraind met resampling vertoonden hogere Brier-scores (variërend van 0,029 tot 0,080), wat aangeeft dat de voorspelde kansen minder nauwkeurig waren.
   • Er waren significante afwijkingen in de calibratie-intercept en -slope. Dit betekent dat de modellen systematisch de risico's onderschatten of overschatten, zelfs als de rangschikking van de patiënten (discriminatie) behouden bleef.
   • SMOTE en ROS leidden vaak tot een sterke overschatting van het risico voor de minderheidsklasse.

3. Dissociatie tussen discriminatie en calibratie:

   • De resultaten tonen aan dat een model zijn rangschikking (wie is risicovoller) kan behouden, terwijl de absolute kansschattingen volledig onbetrouwbaar worden door resampling.

Belangrijkste Bijdragen

• Empirisch Bewijs in Real-World Data: Waar eerdere studies voornamelijk gebaseerd waren op simulaties, biedt dit onderzoek bewijs op basis van tien diverse, echte klinische datasets met honderdduizenden patiënten.
• Focus op Calibratie: De studie benadrukt dat het evalueren van alleen ROC-AUC misleidend kan zijn in onbalanssituaties. Calibratie is essentieel voor klinische besluitvorming en wordt vaak verwaarloosd bij het toepassen van resampling.
• Uitgebreide Vergelijking: Het onderzoek vergelijkt meerdere algoritmen en drie veelgebruikte resampling-methoden, wat de generaliseerbaarheid van de bevindingen verhoogt.

Significantie en Conclusie

De conclusie van de auteurs is dat het niet aanbevolen is om standaard resampling-technieken toe te passen bij het ontwikkelen van klinische risicomodellen, tenzij het doel puur het maximaliseren van een specifieke classificatiedrempel is (en niet het verkrijgen van nauwkeurige kansen).

• Advies: Als nauwkeurige risicokansen nodig zijn voor klinische beslissingen, moeten modellen worden getraind op de originele data.
• Alternatieve aanpak: Als een betere gevoeligheid nodig is, is het beter om de beslissingsdrempel (threshold) van een goed gekalibreerd model aan te passen, in plaats van het model opnieuw te trainen op herschaalde data.
• Risico: Het gebruik van resampling kan leiden tot systematische fouten in de risicoberekening, wat gevaarlijk kan zijn voor patiëntenzorg. Indien resampling toch wordt toegepast, is het cruciaal om de calibratie te valideren op onafhankelijke data en eventueel een recalibratiestap toe te passen voordat het model in de praktijk wordt ingezet.

Kortom: "Tipping the Balance" (het herschalen van de data) kantelt de balans vaak ten nadele van de betrouwbaarheid van de voorspelde kansen, zonder de discriminatie significant te verbeteren.