ICU Mortality and LOS Prediction Models Using Machine Learning Based on Both Real and Synthetic Data

Technische Zusammenfassung: Vorhersagemodelle für die ICU-Mortalität und Liegedauer (LOS) mittels maschinellen Lernens auf Basis von realen und synthetischen Daten

Problemstellung
Die Entwicklung präziser Modelle des maschinellen Lernens (ML) für ICU-Ergebnisse in ressourcenarmen Umgebungen, speziell in Äthiopien, wird durch zwei primäre Herausforderungen erschwert: den Mangel an qualitativ hochwertigen Trainingsdaten und eine signifikante Klassenimbalance. In der untersuchten Kohorte von 10.669 Patienten aus fünf äthiopischen öffentlichen Krankenhäusern lag die Mortalitätsrate bei nur 13,9 %, was eine schwere Imbalance erzeugte, die Modelle typischerweise zugunsten der Mehrheitsklasse (Überleben) verzerrt. Zudem sind Standard-Schweregradindizes (z. B. SAPS-II, SOFA) in diesem Kontext oft nicht anwendbar, da spezifische Labortests (z. B. Blutgasanalysen, Bilirubin) nicht verfügbar sind und Ressourcenbeschränkungen rechtzeitige Interventionen beeinflussen. Während Deep-Learning-Architekturen (z. B. Transformer, TCNs) in ressourcenreichen Umgebungen mit dichten Zeitreihendaten exzellieren, sind sie in Settings begrenzt, in denen Daten spärlich, tabellarisch und oft papierbasiert sind. Diese Studie adressiert das Bedürfnis nach prädiktiven Werkzeugen, die in solchen datenbeschränkten Umgebungen effektiv funktionieren.

Methodik
Die Studie verwendete ein retrospektives, vergleichendes experimentelles Design unter Verwendung von Daten aus fünf öffentlichen Krankenhäusern in Äthiopien (2013–2016 Äthiopischer Kalender). Der Datensatz umfasste 10.669 Aufzeichnungen von Erwachsenen auf der Intensivstation, einschließlich Demografie, Vitalparametern, Laborergebnissen und Outcomes.

1. Datenvorverarbeitung und Balancing:

   • Datensätze mit einem Anteil an fehlenden Werten von >20 % in zentralen administrativen Feldern wurden entfernt.
   • Fehlende numerische Werte wurden mit dem Median imputiert; kategoriale Werte mit dem Modus.
   • Um die Klassenimbalance zu adressieren, wurde die Mehrheitsklasse (Überlebende) mittels Undersampling reduziert, wodurch ein balancierter Trainingsdatensatz von 2.942 Patienten (50 % Mortalität) entstand. Dieser Prozess verworf 7.631 der ursprünglichen Datensätze.
   • Ausreißer wurden am 1. und 99. Perzentil gekappt, und kategoriale Merkmale wurden mittels Label-Encoding kodiert.

2. Synthetische Datengenerierung:
   Drei verschiedene Algorithmen wurden zur Generierung synthetischer Daten evaluiert, um den realen Datensatz zu augmentieren:

   • SMOTE-NC (Synthetic Minority Over-sampling Technique for Nominal and Continuous): Verwendete lineare Interpolation zwischen existierenden Minderheitsinstanzen und ihren k-nächsten Nachbarn. Es ist recheneffizient (2,1 s) und deterministisch.
   • CTGAN (Conditional Tabular Generative Adversarial Network): Eine Generator-Diskriminator-Architektur, konzipiert für komplexe, nicht-lineare tabellarische Verteilungen. Es ist rechenintensiv (187,4 s) und stochastisch.
   • Variational Autoencoder (VAE): Ein probabilistisches latentes Variablentmodell. Es hatte Schwierigkeiten mit gemischten Datentypen in dieser spezifischen Implementierung, was zu einer schlechten Performance führte.

3. Experimentelles Design:
   Modelle wurden unter drei Konfigurationen trainiert:

   • Real-Only (RO): Training ausschließlich auf realen Daten.
   • Synthetic-Only (SO): Training ausschließlich auf synthetischen Daten.
   • Hybrid (HY): Training auf einer Kombination aus 80 % realen und 20 % synthetischen Daten.

4. Algorithmen des maschinellen Lernens:
   Drei Algorithmen wurden sowohl für die Klassifikation (Mortalität) als auch für die Regression (Liegedauer – LOS) getestet:

   • Logistische Regression (Baseline)
   • Random Forest
   • XGBoost

5. Validierung:
   Ein stratifizierter 80/20 Hold-out-Split wurde verwendet, wobei der Testdatensatz (n=589) bis zur finalen Evaluierung isoliert blieb. Die Performance wurde mittels Accuracy, F1-Score, AUC für die Mortalität sowie MAE und R² für die LOS bewertet. Die Stabilität wurde über eine 5×5 wiederholte stratifizierte Kreuzvalidierung verifiziert.

Kernergebnisse

• Qualität der synthetischen Daten:

  • CTGAN demonstrierte eine überlegene Downstream-Nützlichkeit und erreichte eine Genauigkeit von 91,7 % auf einem realen Testset (gegenüber 86,4 % für SMOTE-NC), benötigte jedoch signifikant längere Trainingszeiten.
  • VAE konnte keine prädiktive Kraft erzeugen (51,6 % Genauigkeit, vergleichbar mit dem Zufallsergebnis) und wurde von weiteren Hybrid-Experimenten ausgeschlossen.
  • SMOTE-NC bot ein pragmatisches Gleichgewicht zwischen hoher Erhaltung der Korrelation und Recheneffizienz.

• Mortalitätsvorhersage:

  • Hybrid-Modelle übertrafen konsistent die Real-Only- und Synthetic-Only-Modelle.
  • Das leistungsfähigste Modell war CTGAN + XGBoost in der Hybrid-Konfiguration mit einer Genauigkeit von 0,998 (95 % KI: 0,995–1,000), einem F1-Score von 0,996 und einer AUC von 0,99.
  • SMOTE-NC + Random Forest erreichte ebenfalls eine hohe Genauigkeit (0,996).
  • Hinweis: Die Autoren warnen explizit davor, dass diese hohen Genauigkeitswerte auf einem künstlich balancierten Testset (50 % Mortalität) basieren und nicht die reale Klassenverteilung widerspiegeln.

• Vorhersage der Liegedauer (LOS):

  • Das CTGAN + XGBoost Modell in der Hybrid-Konfiguration erzielte die beste Performance mit einem MAE von 4,08 Tagen (95 % KI: 3,58–4,67) und einem R² von 0,601.
  • CTGAN + Random Forest, trainiert auf rein synthetischen Daten, übertraf überraschenderweise die Real-Only-Baselines (MAE 3,76 Tage), was darauf hindeutet, dass CTGAN erfolgreich klinisch bedeutsame temporale Muster bewahrt hat.

• Merkmalsrelevanz (Feature Importance):

  • Oxygenierung erwies sich als der dominante Prädiktor. Sauerstoffbedarf (r = 0,327) und SpO2 (r = 0,299) waren die am höchsten bewerteten Merkmale.
  • Hämoglobin zeigte eine vernachlässigbare Assoziation mit der Mortalität (r = -0,023, Rang 15/19).
  • Alter war kein statistisch signifikanter Prädiktor (p = 0,39).
  • Die SHAP-Analyse bestätigte, dass Oxygenierungs-Variablen das Mortalitätsrisiko stärker treiben als Hämoglobin oder Alter in dieser spezifischen Kohorte.

Bedeutung und Ansprüche
Die Arbeit beansprucht drei primäre Beiträge:

1. Vergleichende Performance: Sie bietet einen systematischen Vergleich von ML-Modellen über reale, synthetische und hybride Datenkonfigurationen in einem ressourcenarmen äthiopischen Kontext.
2. Kontextspezifische Prädiktoren: Sie identifiziert klinische Prädiktoren, die spezifisch für den äthiopischen ICU-Kontext sind, wobei sie insbesondere die Bedeutung der Oxygenierung hervorhebt und die Signifikanz von Hämoglobin und Alter, wie in anderen Studien gefunden, infrage stellt.
   3. Prototyp-Entwicklung: Es wurde ein interaktiver Streamlit-Prototyp entwickelt, um Modell-Insights, Merkmalsrelevanz und „Was-wäre-wenn“-Szenarien für Stakeholder im Gesundheitswesen zu visualisieren.

Die Autoren betonen, dass die Hybrid-Modellierung (Kombination aus realen und synthetischen Daten) eine praktikable Lösung darstellt, um effektive Vorhersagemodelle in ressourcenarmen Gebieten zu erstellen, in denen Daten knapp und imbalanciert sind. Sie argumentieren, dass die Augmentation durch synthetische Daten die Diskriminationsfähigkeit verbessern kann, ohne signifikante Bias einzuführen, sofern die Generierungsmethode (z. B. CTGAN oder SMOTE-NC) hinsichtlich des Downstream-Nutzen validiert wird.

Bescheidenheit und Limitationen
Die Arbeit wahrt einen bescheidenen Ton hinsichtlich der klinischen Einsatzreife:

• Validierungsstatus: Die Ergebnisse basieren auf einer internen Validierung (retrospektive Daten aus fünf Krankenhäusern). Die Autoren stellen explizit klar, dass die hohe Genauigkeit (99,5 %) aufgrund des künstlich balancierten Testsets optimistisch ist und keine externe Validierung an ungesehenen Institutionen vorliegt.
• Klinischer Nutzen: Der Prototyp wird als „Proof-of-Concept“ für Forschungsdemonstrationen und Hypothesengenerierung beschrieben. Er ist nicht für den klinischen Gebrauch zugelassen und sollte nicht zur Entscheidungsfindung in der Patientenversorgung herangezogen werden.
• Generalisierbarkeit: Die Ergebnisse sind spezifisch für öffentliche tertiäre Krankenhäuser in Äthiopien und sollten nicht ohne Rekalibrierung und externe Validierung auf private Krankenhäuser, ländliche Einrichtungen oder andere Länder übertragen werden.
• Kausalität: Die Autoren stellen klar, dass SHAP-Werte und Merkmalsrelevanz Assoziationen und keine Kausalitäten anzeigen. Die beobachteten Beziehungen (z. B. zwischen SpO2 und Mortalität) werden durch nicht erfasste Faktoren wie die Zeit bis zur Intervention und die Ressourcenverfügbarkeit konfundiert.

Die Studie kommt zu dem Schluss, dass die Augmentation durch synthetische Daten zwar vielversprechend ist, um Datenknappheit zu überwinden, eine prospektive externe Validierung und Implementationsforschung jedoch Voraussetzungen für jeglichen klinischen Einsatz sind.