ICU Mortality and LOS Prediction Models Using Machine Learning Based on Both Real and Synthetic Data

Sintesi Tecnica: Modelli di Predizione della Mortalità e della Durata della Degenza (LOS) in Terapia Intensiva mediante Machine Learning Basato su Dati Reali e Sintetici

Definizione del Problema
Lo sviluppo di modelli accurati di machine learning (ML) per gli esiti in terapia intensiva (ICU) in contesti a basse risorse, specificamente in Etiopia, è ostacolato da due sfide primarie: la scarsità di dati di addestramento di alta qualità e un significativo squilibrio delle classi. Nella coorte studiata di 10.669 pazienti provenienti da cinque ospedali pubblici etiopi, il tasso di mortalità era solo del 13,9%, creando uno squilibrio severo che tipicamente penalizza i modelli verso la classe di maggioranza (sopravvivenza). Inoltre, gli indici di gravità standard (es. SAPS-II, SOFA) sono spesso inapplicabili in questo contesto a causa dell'indisponibilità di specifici test di laboratorio (es. emogasanalisi, bilirubina) e dei vincoli di risorse che influenzano la tempestività degli interventi. Sebbene le architetture di deep learning (es. Transformer, TCN) eccellano in ambienti ad alta intensità di risorse con dati di serie temporali densi, esse risultano limitate in contesti dove i dati sono scarsi, tabulari e spesso cartacei. Questo studio affronta la necessità di strumenti predittivi che funzionino efficacemente in tali ambienti caratterizzati da vincoli di dati.

Metodologia
Lo studio ha impiegato un disegno sperimentale comparativo retrospettivo utilizzando dati provenienti da cinque ospedali pubblici in Etiopia (2013–2016 Calendario Etiopico). Il dataset includeva 10.669 record di pazienti adulti coprendo demografia, parametri vitali, risultati di laboratorio ed esiti.

1. Pre-elaborazione e Bilanciamento dei Dati:

   • I record con >20% di dati mancanti nei campi amministrativi chiave sono stati eliminati.
   • I valori numerici mancanti sono stati imputati con la mediana; i valori categorici con la moda.
   • Per affrontare lo squilibrio delle classi, la classe di maggioranza (sopravvissuti) è stata sottoposta a sottocampionamento (undersampling), creando un set di addestramento bilanciato di 2.942 pazienti (50% mortalità). Questo processo ha scartato 7.631 record originali.
   • Gli outlier sono stati limitati ai percentili 1 e 99, e le caratteristiche categoriche sono state sottoposte a label encoding.

2. Generazione di Dati Sintetici:
   Sono stati valutati tre algoritmi distinti per la generazione di dati sintetici volti ad aumentare il dataset reale:

   • SMOTE-NC (Synthetic Minority Over-sampling Technique for Nominal and Continuous): Utilizzato per l'interpolazione lineare tra le istanze esistenti della classe minoritaria e i loro k-vicini più prossimi. È computazionalmente efficiente (2,1 s) e deterministico.
   • CTGAN (Conditional Tabular Generative Adversarial Network): Un'architettura generatore-discriminatore progettata per distribuzioni tabulari complesse e non lineari. È computazionalmente intensivo (187,4 s) e stocastico.
   • Variational Autoencoder (VAE): Un modello probabilistico di variabili latenti. Ha faticato con i tipi di dati misti in questa specifica implementazione, risultando in una scarsa performance.

3. Disegno Sperimentale:
   I modelli sono stati addestrati sotto tre configurazioni:

   • Solo Reale (RO - Real-Only): Addestramento esclusivamente su dati reali.
   • Solo Sintetico (SO - Synthetic-Only): Addestramento esclusivamente su dati sintetici.
   • Ibrido (HY - Hybrid): Addestramento su una combinazione dell'80% di dati reali e del 20% di dati sintetici.

4. Algoritmi di Machine Learning:
   Tre algoritmi sono stati testati sia per la classificazione (Mortalità) che per la regressione (Durata della Degenza - LOS):

   • Regressione Logistica (Baseline)
   • Random Forest
   • XGBoost

5. Validazione:
   È stata utilizzata una suddivisione stratificata hold-out 80/20, con il set di test (n=589) isolato fino alla valutazione finale. Le performance sono state valutate tramite Accuratezza, F1-score, AUC per la mortalità, e Mean Absolute Error (MAE) e R² per la LOS. La stabilità è stata verificata tramite 5×5 cross-validazione stratificata ripetuta.

Risultati Chiave

• Qualità dei Dati Sintetici:

  • CTGAN ha dimostrato una utilità downstream superiore, raggiungendo un'accuratezza del 91,7% su un set di test reale (rispetto all'86,4% di SMOTE-NC), sebbene richiedesse tempi di addestramento significativamente più lunghi.
  • VAE non è riuscito a produrre potere predittivo (accuratezza del 51,6%, paragonabile al caso casuale) ed è stato escluso dai successivi esperimenti ibridi.
  • SMOTE-NC ha offerto un equilibrio pragmatico tra preservazione della correlazione e un'elevata efficienza computazionale.

• Predizione della Mortalità:

  • I modelli ibridi hanno costantemente superato i modelli real-only e synthetic-only.
  • Il modello con le migliori prestazioni è stato CTGAN + XGBoost nella configurazione ibrida, raggiungendo un'accuratezza di 0,998 (95% CI: 0,995–1,000), un F1-score di 0,996 e un AUC di 0,99.
  • Anche SMOTE-NC + Random Forest ha raggiunto un'alta accuratezza (0,996).
  • Nota: Gli autori avvertono esplicitamente che queste alte cifre di accuratezza si basano su un set di test artificialmente bilanciato (50% mortalità) e non riflettono le distribuzioni di classe del mondo reale.

• Predizione della Durata della Degenza (LOS):

  • La configurazione ibrida CTGAN + XGBoost ha ottenuto le migliori prestazioni con un MAE di 4,08 giorni (95% CI: 3,58–4,67) e un R² di 0,601.
  • CTGAN + Random Forest, addestrato esclusivamente su dati sintetici, ha sorprendentemente superato le baseline real-only (MAE 3,76 giorni), suggerendo che il CTGAN abbia preservato con successo i pattern temporali clinicamente significativi.

• Importanza delle Caratteristiche (Feature Importance):

  • L'Ossigenazione è emersa come il predittore dominante. Il fabbisogno di ossigeno (r = 0,327) e la SpO2 (r = 0,299) sono stati i primi fattori classificati.
  • L'Emoglobina ha mostrato un'associazione trascurabile con la mortalità (r = -0,023, rango 15/19).
  • L'Età non è stata un predittore statisticamente significativo (p = 0,39).
  • L'analisi SHAP ha confermato che le variabili di ossigenazione guidano il rischio di mortalità più dell'emoglobina o dell'età in questo specifico coorte.

Significatività e Rivendicazioni
Il documento sostiene di fornire tre contributi primari:

1. Performance Comparativa: Fornisce un confronto sistematico tra modelli di machine learning attraverso diverse configurazioni di dati reali, sintetici e ibridi in un contesto a basse risorse in Etiopia.
2. Predittori Specifici per il Contesto: Identifica predittori clinici specifici per il contesto delle ICU etiopi, evidenziando in particolare l'ossigenazione come fattore critico e mettendo in discussione la significatività di emoglobina ed età trovata in altri studi.
3. Sviluppo di un Prototipo: Ha sviluppato un prototipo interattivo in Streamlit per visualizzare gli insight del modello, l'importanza delle caratteristiche e scenari "what-if" per gli stakeholder sanitari.

Gli autori sottolineano che la modellazione ibrida (combinazione di dati reali e sintetici) è una soluzione valida per creare modelli predittivi efficaci in contesti con scarse risorse e dati sbilanciati. Essi sostengono che l'aumento dei dati sintetici può migliorare la discriminazione del modello senza introdurre un bias significativo, a condizione che il metodo di generazione (es. CTGAN o SMOTE-NC) sia validato per l'utilità downstream.

Modestia e Limitazioni
Il documento mantiene un tono modesto riguardo alla prontezza clinica:

• Stato di Validazione: I risultati si basano su una validazione interna (dati retrospettivi da cinque ospedali). Gli autori dichiarano esplicitamente che l'alta accuratezza (99,5%) è probabilmente ottimistica a causa del bilanciamento artificiale del set di test e della mancanza di validazione esterna su istituzioni non viste.
• Utilità Clinica: Il prototipo è descritto come una "prova di concetto" per la dimostrazione della ricerca e la generazione di ipotesi soltanto. Non è approvato per l'uso clinico e non deve informare le decisioni di cura del paziente.
• Generalizzabilità: I risultati sono specifici per gli ospedali terziari pubblici in Etiopia e non dovrebbero essere generalizzati a ospedali privati, strutture rurali o altri paesi senza ricalibrazione e validazione esterna.
• Causalità: Gli autori chiariscono che i valori SHAP e l'importanza delle caratteristiche indicano un'associazione, non una causalità. Le relazioni osservate (es. tra SpO2 e mortalità) sono influenzate da fattori confondenti come il tempo all'intervento e la disponibilità di risorse.

Lo studio conclude che, sebbene l'aumento dei dati sintetici mostri potenziale per superare la scarsità di dati, la validazione esterna prospettica e i trial di scienza dell'implementazione sono prerequisiti necessari prima di qualsiasi implementazione clinica.