Class imbalance correction in artificial intelligence models leads to miscalibrated clinical predictions: a real-world evaluation

Een evaluatie in de echte wereld toont aan dat correctie voor klassenonevenwichtigheid in AI-modellen voor chirurgische risico's de kalibratie ernstig verstoort en leidt tot een overmatige risicoschatting, waardoor het gebruik van het model met de natuurlijke verdeling voor klinische besluitvorming superieur is.

De kern

Titel: Waarom "evenwicht" in kunstmatige intelligentie soms gevaarlijk is voor artsen

Stel je voor dat je een zeer slimme, digitale assistent bouwt die artsen moet helpen beslissen of een patiënt een risicovolle operatie moet ondergaan. Deze assistent moet twee dingen voorspellen:

1. Kan de patiënt binnen 90 dagen overlijden?
2. Krijgt de patiënt complicaties?

In de echte wereld zijn deze slechte dingen zeldzaam. Van de 100 patiënten overlijdt er misschien 1 of 2, en bij 10 of 15 krijgen ze complicaties. De overige 85+ mensen gaan gewoon naar huis.

Het probleem: De "Zeldzame Gebeurtenis"

Wanneer je een computer leert om deze zeldzame gebeurtenissen te voorspellen, heeft de computer een probleem. Omdat 98% van de data "geen probleem" is, leert de computer het makkelijkste antwoord: "Zeg gewoon bij iedereen dat het goed komt." Dan heeft hij 98% van de tijd gelijk! Maar dat is nutteloos voor de arts, want hij wil juist weten wie wel risico loopt.

Om dit op te lossen, gebruiken programmeurs vaak een trucje: Class Imbalance Correction (Klasse-ongelijkheid corrigeren).

De Truc: Het "Evenwicht"

Stel je voor dat je een klas hebt met 98 rustige kinderen en 2 zeer drukke kinderen. De leraar (de computer) negeert de drukke kinderen omdat ze maar met twee zijn.
Om de leraar te helpen, nemen de programmeurs een foto van de twee drukke kinderen, maken er 49 kopietjes van (of simuleren nieuwe drukke kinderen), en plakken die in de klas. Nu heeft de leraar 50 rustige en 50 drukke kinderen. Hij leert nu perfect om de drukke kinderen te herkennen!

In de AI-wereld noemen ze dit oversampling (meer maken van de zeldzame gevallen) of undersampling (minder maken van de veelvoorkomende gevallen). Het doel is om de computer te dwingen om de zeldzame risico's serieuzer te nemen.

Wat deze studie ontdekte: De "Leugen" van de Evenwichtige Klas

De auteurs van dit artikel (van universiteiten in Nieuw-Zeeland, Schotland en de VS) keken naar een enorme dataset van meer dan 1,8 miljoen operaties. Ze lieten hun AI-modellen deze "truc" doen en vergeleken ze met een model dat gewoon de echte, ongewijzigde data leerde.

Het resultaat was verrassend en waarschuwend:

1. De "Score" ging omhoog, maar de "Waarheid" ging omlaag.
   De modellen die de "truc" gebruikten, scoorden hoger op standaard meetlatjes (zoals recall en F1-score). Het leek alsof ze beter waren. Maar dit was een schijnbeeld. Ze waren zo getraind op een "valse" wereld waar risico's veel vaker voorkwamen, dat ze in de echte wereld de verkeerde dingen zeiden.

2. De "Kalibratie" brak.
   Dit is het belangrijkste punt. Een goed medisch model moet niet alleen zeggen wie risico loopt, maar ook hoe groot dat risico is.

   • Het natuurlijke model (zonder trucjes) zei: "Deze patiënt heeft 2% kans op complicaties." En dat klopte precies.
   • De gecorrigeerde modellen (met de trucjes) zeiden: "Deze patiënt heeft 15% kans op complicaties!"

   Ze over-schatte het risico enorm. Het was alsof de leraar, na zijn klas te hebben "gebalanceerd", bij elke rustige kindje schreeuwde: "Jij bent een drukke kind!"

3. Het Gevaar voor de Patiënt
   Omdat deze modellen de risico's zo hoog inschatten, zouden artsen op basis van deze AI veel meer patiënten als "hoog risico" bestempelen.

   • In de studie bleek dat sommige modellen het aantal operaties dat als "hoog risico" werd gezien, met wel 62% verhoogde.
   • Dit kan leiden tot onnodige angst voor patiënten, onnodige extra controles, of het weigeren van operaties die eigenlijk veilig hadden gekund. Het is alsof je een brandblusser pakt voor een klein kaarsje omdat je denkt dat het een bosbrand is.

De Gouden Les: Eerlijkheid boven "Perfectie"

De conclusie van de auteurs is helder: In de medische wereld is het belangrijker dat een model eerlijk is (goed gekalibreerd) dan dat het "slim" lijkt op papier.

Wanneer je een model traint op een vervalste, evenwichtige dataset, verlies je het contact met de realiteit. De computer vergeet hoe zeldzaam de ziekte eigenlijk is.

De analogie van de weersvoorspeller:
Stel je voor dat je een weersvoorspeller traint in een woestijn waar het 360 dagen per jaar droog is en 5 dagen regent.

• Als je de "truc" gebruikt en 180 dagen regen toevoegt aan je trainingsdata, leert de computer perfect om regen te voorspellen.
• Maar als je die computer nu in de echte woestijn zet, zal hij elke dag zeggen: "Morgen regent het!"
• Dat is technisch gezien een "goede" voorspeller voor regen (hij mist geen enkele regenbui), maar hij is gebruikloos en gevaarlijk voor de mensen die paraplu's kopen voor een zonnige dag.

Samenvatting voor de leek

Deze studie waarschuwt artsen en ontwikkelaars van AI: Gebruik geen "trucjes" om ongelijke data gelijk te maken als je exacte risicoprocenten nodig hebt.

Het is beter om een model te hebben dat zegt: "Ik zie een heel klein risico, en dat klopt met de realiteit," dan een model dat zegt: "Ik zie een groot risico!" en daardoor verkeerde medische beslissingen veroorzaakt. Soms is het beste wat je kunt doen, gewoon de echte, ongemakkelijke realiteit accepteren in je data.

Technische samenvatting

Probleemstelling

In de klinische besluitvorming worden voorspellende modellen op basis van machine learning (ML) steeds vaker ingezet. Een veelvoorkomend probleem bij het ontwikkelen van deze modellen voor zeldzame klinische gebeurtenissen (zoals postoperatieve sterfte of ernstige complicaties) is class imbalance (ongelijke verdeling van klassen). In grote datasets zijn de "negatieve" gevallen (geen complicatie/overlijden) vaak dominant, terwijl de "positieve" gevallen zeldzaam zijn.

Om dit aan te pakken, passen ontwikkelaars vaak technieken toe om de dataset te balanceren, zoals:

• Oversampling van de minderheidsklasse (ROS, SMOTE).
• Undersampling van de meerderheidsklasse (RUS).
• Cost-sensitive learning (CSL).

De kernvraag van dit onderzoek is of deze veelgebruikte correctiemethoden de prestaties van het model daadwerkelijk verbeteren voor klinisch gebruik, of dat ze juist leiden tot miscalibratie (onbetrouwbare waarschijnlijkheidsvoorspellingen), wat in de kliniek kan leiden tot systematische schade.

Methodologie

Het onderzoek is uitgevoerd volgens de TRIPOD+AI-richtlijnen en gebruikte een grote, nationale retrospectieve dataset van >1,8 miljoen patiënten die chirurgische ingrepen ondergingen in openbare ziekenhuizen in Nieuw-Zeeland (periode 2010–2024).

• Doelvariabelen: Voorspelling van 90-daagse sterfte (incidentie ~1,3%) en 90-daagse complicaties (incidentie ~9,4%).
• Modelarchitectuur: Een Histogram Gradient Boosting (HGB) classifier, vergelijkbaar met de huidige NSQIP-riskcalculator.
• Vergelijkingsgroepen:
  1. Natural: Het model getraind op de ongewijzigde, onbalans dataset.
  2. Correctiemethoden: Modellen getraind met Cost-Sensitive Learning (CSL), Random Oversampling (ROS), Random Undersampling (RUS) en SMOTE.
• Validatie: Tijdsgebonden cross-validatie (trainen op 2010–2022, testen op 2023–2024).
• Evaluatiemetrics:
  • Discriminatie: AUROC en AUPRC.
  • Kalibratie: Log-loss (logaritmisch verlies) en kalibratiecurven.
  • Klassificatie (drempelafhankelijk): Nauwkeurigheid, precisie, recall, F1-score.
  • Klinische impact: Decision Curve Analysis (DCA) en een gesimuleerd klinisch scenario met risicodrempels.

Belangrijkste Resultaten

1. Discriminatie vs. Kalibratie:

   • De AUROC en AUPRC (discriminatie) bleven onveranderd tussen het "Natural" model en de gecorrigeerde modellen.
   • De Log-loss (een maat voor kalibratie) verslechterde aanzienlijk bij alle methoden voor class imbalance correctie. Het "Natural" model had de beste kalibratie (laagste log-loss).
   • De gecorrigeerde modellen toonden een systematische overvoorspelling van risico's. Bijvoorbeeld, bij de sterfte-voorspelling leidde dit tot een overvoorspelling van het risico met tot wel 62,8%.

2. Verwarring door klassieke metrics:

   • De gecorrigeerde modellen lieten een verbetering zien in recall en F1-score (bij een drempel van 0,5).
   • Echter, dit ging ten koste van precisie en nauwkeurigheid. De schijnbare verbetering is een artefact van het veranderen van de verdeling tijdens het trainen, waardoor de modeldrempel minder streng wordt voor de zeldzame klasse.

3. Klinische Impact (Decision Curve Analysis):

   • De Decision Curve Analysis (DCA) toonde aan dat het "Natural" model over het hele bereik van klinisch relevante drempels de hoogste netto-voordeel (net benefit) bood.
   • In een gesimuleerd klinisch scenario (waarbij een risico >2% voor sterfte of >10% voor complicaties leidt tot een andere klinische beslissing), resulteerden de gecorrigeerde modellen in een drastisch hoger percentage patiënten dat als "hoogrisico" werd geclassificeerd (tot 89,9% vs 31,0% bij het natuurlijke model). Dit zou leiden tot overdiagnose en een inefficiënte toewijzing van klinische middelen.

Kernbijdragen

• Waarschuwing voor Class Imbalance Correctie: Het artikel levert empirisch bewijs dat het toepassen van standaard class imbalance correctietechnieken (zoals SMOTE, ROS, RUS, CSL) in klinische voorspellende modellen voor zeldzame uitkomsten leidt tot ernstige miscalibratie.
• Prioriteit van Kalibratie: Het onderzoek onderstreept dat voor klinische besluitvorming, waar het gaat om nauwkeurige risicoprocenten (posterior probabilities), kalibratie cruciaaler is dan het maximaliseren van binaire classificatiemetrics zoals recall of F1-score.
• Kritiek op huidige praktijken: Het benadrukt dat het gebruik van drempelafhankelijke metrics (zoals F1-score) kan leiden tot het selecteren van inferieure modellen die slecht presteren in de echte wereld, omdat ze de pre-test waarschijnlijkheid (prevalentie) van de populatie verstoren.

Significantie en Conclusie

De studie concludeert dat in klinische omgevingen, waar beslissingen gebaseerd zijn op specifieke risicodrempels, het trainen van modellen op de natuurlijke, onbalans verdeling superieur is. Het kunstmatig balanceren van de dataset scheurt de relatie tussen de voorspelde waarschijnlijkheid en de werkelijke basale risico's los.

Praktische implicaties:

• Ontwikkelaars van klinische AI-modellen moeten voorzichtig zijn met het toepassen van oversampling/undersampling.
• Evaluatie van modellen moet focussen op kalibratiecurves, log-loss en Decision Curve Analysis in plaats van alleen op AUROC of F1-score.
• Als class imbalance correctie toch noodzakelijk wordt geacht (bijvoorbeeld voor ranking-taken), moeten de uitkomsten post-hoc worden gekalibreerd (bijv. via Platt scaling) om de voorspellingen weer te laten overeenkomen met de werkelijke prevalentie.

Kortom: voor klinische risicovoorvoorspelling is een goed gekalibreerd model op een onbalans dataset veiliger en nuttiger dan een "gebalanceerd" model dat de risico's systematisch overdrijft.