Prevalence Shift and ICU Mortality Miscalibration Across Institutions

Technische Samenvatting: Verschuiving in Prevalentie en Miscalibratie van IC-mortaliteit tussen Instellingen

Probleemstelling
Machine learning-modellen voor het voorspellen van mortaliteit in de intensive care (IC) vertonen vaak een sterke discriminerende prestatie (gemeten via AUROC) op hun trainingsdata, maar lijden onder prestatievermindering wanneer ze worden ingezet bij verschillende ziekenhuissystemen. Hoewel "dataset shift" een bekend probleem is, blijft de specifieke impact van prevalentieverschuiving (ook wel label shift of prior probability shift genoemd) op de calibratie van modellen op grote schaal onderbelicht.

Prevalentieverschuiving treedt op wanneer de marginale distributie van de uitkomst, $P(Y)$, verschilt tussen de trainingsbron en de doelomgeving tijdens de inzet, terwijl de conditionele distributie van kenmerken gegeven de uitkomst, $P(X|Y)$, stabiel blijft. In een klinische setting is miscalibratie cruciaal: overschatting leidt tot onnodige interventies, terwijl onderschatting essentiële zorg vertraagt. Het artikel stelt dat variaties in mortaliteitscijfers op ziekenhuisniveau een primaire mechanistische drijfveer zijn van het falen van de calibratie, maar dat deze relatie nog niet systematisch is gekwantificeerd over een grote, diverse set van echte instellingen. Bovendien zijn standaardmetrieken zoals AUROC theoretisch invariant voor monotone waarschijnlijkheidstransformaties en daardoor ongevoelig voor prevalentieverschuivingen, wat een "blinde vlek" creëert waarbij modellen robuust lijken (hoge AUROC) maar klinisch onbetrouwbaar zijn (slechte calibratie).

Methodologie
De studie maakt gebruik van een cross-institutioneel implementatiekader met twee belangrijke datasets:

1. Brondomein: MIMIC-IV (Beth Israel Deaconess Medical Center), bevattende 45.587 patiënten voor training.
2. Doeldomein: eICU Collaborative Research Database, verspreid over 185 afzonderlijke Amerikaanse ziekenhuizen met 159.224 patiënten.

Experimenteel Ontwerp:

• Modellen: Vier classificators die verschillende families vertegenwoordigen, werden getraind op MIMIC-IV: Logistische Regressie (LR), Random Forest (RF), XGBoost (XGB) en LightGBM (LGBM).
• Evaluatie: De modellen werden geëvalueerd over de 185 eICU-ziekenhuizen. Prestaties werden gemeten met behulp van de Area Under the Receiver Operating Characteristic Curve (AUROC) en de Expected Calibration Error (ECE).
• Correlatieanalyse: De studie analyseerde de correlatie tussen de "prevalentiekloof" ($|\pi_h - \pi_0|$, waarbij $\pi_h$ de lokale mortaliteit van het ziekenhuis is en $\pi_0$ de trainingsprevalentie) en zowel ECE als AUROC.
• Correctiestrategie: Een gesloten vorm Bayesian prevalentiecorrectie werd toegepast. Deze methode past de voorspelde waarschijnlijkheden aan met behulp van enkel de lokale mortaliteit ($\pi_h$) en de trainingsprevalentie ($\pi_0$), zonder dat er gelabelde doeldata nodig zijn of hertraining van het model. De formule is afgeleid van het label-shift kader:
  $$\hat{p}_h(x) = \frac{\hat{p}(x) \cdot (\pi_h/\pi_0)}{\hat{p}(x) \cdot (\pi_h/\pi_0) + (1-\hat{p}(x)) \cdot \frac{1-\pi_h}{1-\pi_0}}$$
• Vergelijkende Baselines: De zero-label Bayesian correctie werd vergeleken met:
  • Geen correctie (ruwe voorspellingen).
  • Gesuperviseerde methoden (Platt scaling, Isotonic regression, Temperature scaling) aangepast op 30% van de gelabelde doeldata per ziekenhuis.
• Causale Validatie: Synthetische experimenten werden uitgevoerd op MIMIC-IV data die niet gebruikt was voor training, waarbij de prevalentie kunstmatig werd verschoven via gestratificeerde herbevoorrading (resampling) terwijl $P(X|Y)$ strikt behouden bleef. Dit isoleerde prevalentieverschuiving als de enige variabele om causaliteit te bevestigen.
• Attributieanalyse: Een empirische metriek ($\phi_h$) werd gedefinieerd om het deel van de totale kalibratiefout te kwantificeren dat specifiek toe te schrijven is aan de prevalentieverschuiving.

Belangrijkste Resultaten

1. Sterke Correlatie tussen Prevalentiekloof en Kalibratiefout: Over alle vier de modelarchitecturen heen vertoonde ECE een sterke positieve correlatie met de prevalentiekloof ($r = 0,52$ tot $0,75$, $p < 10^{-14}$). Naarmate het verschil tussen de lokale en de trainingsmortaliteit toenam, nam de kalibratiefout significant toe.
2. AUROC/ECE Dissociatie: In scherp contrast hiermee vertoonde AUROC zwakke tot niet-significante correlaties met de prevalentiekloof ($|r| = 0,03$ tot $0,22$). Voor LightGBM was de correlatie effectief nul ($r = -0,027$), wat bevestigt dat ranggebaseerde metrieken falen in het detecteren van de degradatie van de kalibratie veroorzaakt door prevalentieverschuiving.
3. Effectiviteit van Zero-Label Correctie: De Bayesian prevalentiecorrectie verminderde de gemiddelde ECE met 56% tot 65% bij goed gekalibreerde modellen (LR, XGB, LGBM).
   • Voorbeeld: Voor LightGBM daalde de ECE van 0,085 naar 0,037.
   • Deze prestatie was vergelijkbaar met gesuperviseerde methoden (Platt scaling en Isotonic regression) die 30% gelabelde doeldata per ziekenhuis gebruikten (ECE $\approx$ 0,022–0,024).
   • Random Forest vertoonde een lagere verbetering (43,7% reductie) vanwege inherente overmoedigheid die niet gerelateerd is aan prevalentieverschuiving.
4. Causale Bevestiging: Synthetische experimenten bevestigden dat het variëren van de prevalentie alleen (terwijl $P(X|Y)$ constant werd gehouden) voldoende was om de lineaire toename in ECE te reproduceren die werd waargenomen bij de inzet in de echte wereld.
5. Attributie Decompositie: Empirische analyse toonde aan dat prevalentieverschuiving ongeveer 55–65% van de totale kalibratiefout verklaart voor goed gekalibreerde modellen. De resterende fout wordt toegeschreven aan andere factoren zoals feature drift of meetheterogeniteit.

Betekenis en Claims
Het artikel claimt geen nieuwheid in de wiskundige afleiding van de Bayesian correctieformule, die geworteld is in gevestigde label-shift theorie (Saerens et al., Lipton et al.). In plaats daarvan zijn de bijdragen empirisch en kwantitatief:

• Grootschalige Kwantificering: Dit is de eerste studie die de relatie tussen de mortaliteitsprevalentie op ziekenhuisniveau en de kalibratiefout systematisch karakteriseert over 185 echte instellingen en 159.224 patiënten.
• Demonstratie van de Blinde Vlek: Het levert robuust bewijs dat AUROC onvoldoende is voor het beoordelen van de inzetbaarheid in aanwezigheid van prevalentieverschuiving, aangezien modellen een hoge discriminatie kunnen behouden terwijl ze ernstig misgekalibreerd raken.
• Praktische Zero-Label Oplossing: Het werk vestigt een praktisch kader voor klinische inzet waarbij ziekenhuizen miskalibratie kunnen corrigeren met behulp van één enkele, gemakkelijk beschikbare populatiestatistiek (lokale mortaliteit), zonder dat daar gelabelde data, hertraining of expertise in machine learning voor nodig is.
• Causale Attributie: Het valideert empirisch dat prevalentieverschuiving de dominante drijfveer is van de kalibratiefout in deze setting, en verklaart het merendeel van de waargenomen degradatie bij cross-institutionele inzet.

De auteurs concluderen dat prevalentiemismatch een analytisch behapbare bron van falen bij de inzet is, die onmiddellijk kan worden gemitigeerd door elke instelling met behulp van de voorgestelde zero-label correctie, wat de veiligheid en betrouwbaarheid van AI-gestuurde klinische besluitvorming ten goede komt.