ICU Mortality and LOS Prediction Models Using Machine Learning Based on Both Real and Synthetic Data

Technische Samenvatting: Voorspellingsmodellen voor IC-mortaliteit en ligduur (LOS) met behulp van Machine Learning gebaseerd op zowel Reële als Synthetische Data

Probleemstelling
De ontwikkeling van nauwkeurige machine learning (ML)-modellen voor uitkomsten op de Intensive Care Unit (IC) in omgevingen met beperkte middelen, specifiek in Ethiopië, wordt belemmerd door twee primaire uitdagingen: een schaarste aan hoogwaardige trainingsdata en een significante klassenonbalans. In de bestudeerde cohort van 10.669 patiënten uit vijf Ethiopische publieke ziekenhuizen was het mortaliteitscijfer slechts 13,9%, wat een ernstige onbalans creëert die modellen doorgaans richting de meerderheidsklasse (overleving) bevoordeelt. Bovendien zijn standaard ernstindices (bijv. SAPS-II, SOFA) vaak niet toepasbaar in deze context vanwege de onbeschikbaarheid van specifieke laboratoriumtesten (bijv. arteriële bloedgas, bilirubine) en de beperkte middelen die de tijdige interventies beïnvloeden. Hoewel deep learning-architecturen (bijv. Transformers, TCN's) uitblinken in omgevingen met veel middelen en dichte tijdreeksen, zijn ze beperkt in settings waar de data schaars, tabelvormig en vaak gebaseerd is op papierwerk. Deze studie adresseert de behoefte aan voorspellende instrumenten die effectief kunnen functioneren binnen dergelijke door data beperkte omgevingen.

Methodologie
De studie maakte gebruik van een retrospectief vergelijkend experimenteel ontwerp met gegevens uit vijf publieke ziekenhuizen in Ethiopië (Ethiopisch Kalenderjaar 2013–2016). De dataset omvatte 10.669 volwassen IC-records met demografie, vitale functies, laboratoriumresultaten en uitkomsten.

1. Data Preprocessing en Balancering:

   • Records met >20% ontbrekende waarden in cruciale administratieve velden werden verwijderd.
   • Ontbrekende numerieke waarden werden geïmputeerd met de mediaan; categorische waarden met de modus.
   • Om de klassenonbalans aan te pakken, werd de meerderheidsklasse (overlevers) ondergesampled, waardoor een gebalanceerde trainingsset van 2.942 patiënten (50% mortaliteit) ontstond. Dit proces verwierp 7.631 oorspronkelijke records.
   • Uitschieters werden afgekapt op de 1e en 99e percentielen, en categorische kenmerken werden via label-encoding verwerkt.

2. Generatie van Synthetische Data:
   Drie verschillende algoritmen werden geëvalueerd voor het genereren van synthetische data om de reële dataset aan te vullen:

   • SMOTE-NC (Synthetic Minority Over-sampling Technique for Nominal and Continuous): Gebruikte lineaire interpolatie tussen bestaande minderheidsexemplaren en hun k-dichtstbijzijnde buren. Het is computationeel efficiënt (2,1s) en deterministisch.
   • CTGAN (Conditional Tabular Generative Adversarial Network): Een generator-discriminator architectuur ontworpen voor complexe, niet-lineaire tabelverdelingen. Het is computationeel intensief (187,4s) en stochastisch.
   • Variational Autoencoder (VAE): Een probabilistisch latent variabelenmodel. Het had moeite met gemengde datatypen in deze specifieke implementatie, wat resulteerde in slechte prestaties.

3. Experimenteel Ontwerp:
   Modellen werden getraind onder drie configuraties:

   • Real-Only (RO): Alleen trainen op reële data.
   • Synthetic-Only (SO): Alleen trainen op synthetische data.
   • Hybrid (HY): Trainen op een combinatie van 80% reële en 20% synthetische data.

4. Machine Learning Algoritmen:
   Drie algoritmen werden getest voor zowel classificatie (Mortaliteit) als regressie (Ligduur - LOS):

   • Logistische Regressie (Baseline)
   • Random Forest
   • XGBoost

5. Validatie:
   Een gestratificeerde 80/20 hold-out split werd gebruikt, waarbij de testset (n=589) werd afgeschermd tot de finale evaluatie. Prestaties werden beoordeeld met behulp van Accuracy, F1-score, AUC voor mortaliteit, en Mean Absolute Error (MAE) en R² voor LOS. Stabiliteit werd geverifieerd via 5×5 herhaalde gestratificeerde kruisvalidatie.

Belangrijkste Resultaten

• Kwaliteit van Synthetische Data:

  • CTGAN toonde superieure downstream bruikbaarheid, met een nauwkeurigheid van 91,7% op een reële testset (vs. 86,4% voor SMOTE-NC), hoewel het aanzienlijk langere trainingstijd vereiste.
  • VAE slaagde er niet in voorspellende kracht te produceren (51,6% nauwkeurigheid, vergelijkbaar met willekeurig gokken) en werd uitgesloten van verdere hybride experimenten.
  • SMOTE-NC bood een pragmatische balans tussen het behoud van hoge correlatie en computationele efficiëntie.

• Mortaliteitsvoorspelling:

  • Hybride modellen presteerden consistent beter dan real-only en synthetic-only modellen.
  • Het best presterende model was CTGAN + XGBoost in de hybride configuratie, met een nauwkeurigheid van 0,998 (95% BI: 0,995–1,000), een F1-score van 0,996 en een AUC van 0,99.
  • SMOTE-NC + Random Forest behaalde ook een hoge nauwkeurigheid (0,996).
  • Noot: De auteurs waarschuwen expliciet dat deze hoge nauwkeurigheidscijfers gebaseerd zijn op een kunstmatig gebalanceerde testset (50% mortaliteit) en de werkelijke klassenverdelingen niet weerspiegelen.

• Voorspelling van de Ligduur (LOS):

  • CTGAN + XGBoost in de hybride configuratie behaalde de beste prestaties met een MAE van 4,08 dagen (95% BI: 3,58–4,67) en een R² van 0,601.
  • CTGAN + Random Forest, getraind op louter synthetische data, presteerde verrassend genoeg beter dan de real-only baselines (MAE 3,76 dagen), wat suggereert dat CTGAN succesvol klinisch betekenisvolle temporele patronen heeft behouden.

• Feature Belang (Feature Importance):

  • Zuurstofverzadiging kwam naar voren als de dominante voorspeller. Zuurstofbehoefte (r = 0,327) en SpO2 (r = 0,299) waren de hoogst gerangschikte kenmerken.
  • Hemoglobine vertoonde een verwaarloosbare associatie met mortaliteit (r = -0,023, rang 15/19).
  • Leeftijd was geen statistisch significante voorspeller (p = 0,39).
  • SHAP-analyse bevestigde dat zuurstofvariabelen het mortaliteitsrisico sterker drijven dan hemoglobine of leeftijd in deze specifieke cohort.

Betekenis en Claims
Het artikel claimt drie primaire bijdragen te leveren:

1. Vergelijkende Prestaties: Het biedt een systematische vergelijking van machine learning-modellen over reële, synthetische en hybride dataconfiguraties in een omgeving met beperkte middelen in Ethiopië.
2. Contextspecifieke Voorspellers: Het identificeert klinische voorspellers die specifiek zijn voor de Ethiopische IC-context, waarbij het met name de nadruk legt op zuurstofverzadiging als kritieke factor en de significantie van hemoglobine en leeftijd, zoals gevonden in andere studies, uitdaagt.
3. Prototype Ontwikkeling: Er is een interactief Streamlit-prototype ontwikkeld om modelinzichten, feature-belang en "wat-als"-scenario's te visualiseren voor belanghebbenden in de gezondheidszorg.

De auteurs benadrukken dat hybride modellering (het combineren van reële en synthetische data) een levensvatbare oplossing is voor het creëren van effectieve voorspellingsmodellen in omgevingen met beperkte middelen waar data schaars en ongebalanceerd is. Zij stellen dat synthetische data-augmentatie de discriminatie van modellen kan verbeteren zonder significante bias te introduceren, mits de methode van generatie (bijv. CTGAN of SMOTE-NC) gevalideerd wordt op downstream bruikbaarheid.

Bescheidenheid en Beperkingen
Het artikel hanteert een bescheiden toon met betrekking tot klinische inzetbaarheid:

• Validatiestatus: De resultaten zijn gebaseerd op interne validatie (retrospectieve data van vijf ziekenhuizen). De auteurs stellen expliciet dat de hoge nauwkeurigheid (99,5%) waarschijnlijk optimistisch is vanwege de kunstmatige balancering van de testset en het gebrek aan externe validatie op niet-geziene instellingen.
• Klinische Bruikbaarheid: Het prototype wordt beschreven als een "proof-of-concept" voor demonstratie van onderzoek en hypothesegeneratie alleen. Het is niet goedgekeurd voor klinisch gebruik en mag geen beslissingen in de patiëntenzorg onderbouwen.
• Generaliseerbaarheid: De bevindingen zijn specifiek voor publieke tertiaire ziekenhuizen in Ethiopië en moeten niet worden gegeneraliseerd naar private ziekenhuizen, rurale faciliteiten of andere landen zonder herkalibratie en externe validatie.
• Causaliteit: De auteurs verduidelijken dat SHAP-waarden en feature-belang duiden op associatie, niet op causaliteit. De geobserveerde relaties (bijv. tussen SpO2 en mortaliteit) worden beïnvloed door niet-gemeten factoren zoals de tijd tot interventie en de beschikbaarheid van middelen.

De studie concludeert dat hoewel synthetische data-augmentatie veelbelovend is voor het overwinnen van dataschaarste, externe prospectieve validatie en implementatiewetenschappelijke trials vereisten zijn voordat enige klinische inzet mogelijk is.