ICU Mortality and LOS Prediction Models Using Machine Learning Based on Both Real and Synthetic Data

Resumen Técnico: Modelos de Predicción de Mortalidad y Estancia Hospitalaria en UCI Mediante Aprendizaje Automático Basados en Datos Reales y Sintéticos

Planteamiento del Problema
El desarrollo de modelos precisos de aprendizaje automático (ML) para los resultados en Unidades de Cuidados Intensivos (UCI) en entornos de bajos recursos, específicamente en Etiopía, se ve obstaculizado por dos desafíos primarios: la escasez de datos de entrenamiento de alta calidad y un desequilibrio de clases significativo. En la cohorte estudiada de 10,669 pacientes de cinco hospitales públicos etíopes, la tasa de mortalidad fue de solo un 13.9%, lo que crea un desequilibrio severo que típicamente sesga los modelos hacia la clase mayoritaria (supervivencia). Además, los índices de gravedad estándar (p. ej., SAPS-II, SOFA) suelen ser inaplicables en este contexto debido a la indisponibilidad de pruebas de laboratorio específicas (p. ej., gases en sangre arterial, bilirrubina) y las limitaciones de recursos que afectan las intervenciones oportunas. Si bien las arquitecturas de aprendizaje profundo (p. ej., Transformers, TCNs) sobresalen en entornos de altos recursos con datos de series temporales densos, están limitadas en entornos donde los datos son dispersos, tabulares y a menudo basados en papel. Este estudio aborda la necesidad de herramientas predictivas que funcionen eficazmente dentro de estos entornos con restricciones de datos.

Metodología
El estudio empleó un diseño experimental comparativo retrospectivo utilizando datos de cinco hospitales públicos en Etiopía (calendario etíope 2013–2016). El conjunto de datos incluyó 10,669 registros de adultos en UCI que cubren demografía, signos vitales, resultados de laboratorio y desenlaces.

1. Preprocesamiento y Balanceo de Datos:

   • Se descartaron los registros con >20% de valores faltantes en campos administrativos clave.
   • Los valores numéricos faltantes se imputaron con la mediana; los categóricos con la moda.
   • Para abordar el desequilibrio de clases, se realizó un submuestreo de la clase mayoritaria (supervivientes), creando un conjunto de entrenamiento balanceado de 2,942 pacientes (50% mortalidad). Este proceso descartó 7,631 registros originales.
   • Los valores atípicos se limitaron en los percentiles 1 y 99, y las características categóricas se codificaron mediante label-encoding.

2. Generación de Datos Sintéticos:
   Se evaluaron tres algoritmos distintos para generar datos sintéticos para aumentar el conjunto de datos reales:

   • SMOTE-NC (Synthetic Minority Over-sampling Technique for Nominal and Continuous): Utilizó interpolación lineal entre instancias minoritarias existentes y sus k-vecinos más cercanos. Es computacionalmente eficiente (2.1s) y determinista.
   • CTGAN (Conditional Tabular Generative Adversarial Network): Una arquitectura de generador-discriminador diseñada para distribuciones tabulares complejas y no lineales. Es computacionalmente intensiva (187.4s) y estocástica.
   • VAE (Variational Autoencoder): Un modelo probabilístico de variables latentes. Tuvo dificultades con los tipos de datos mixtos en esta implementación específica, resultando en un desempeño deficiente.

3. Diseño Experimental:
   Los modelos fueron entrenados bajo tres configuraciones:

   • Solo Reales (RO - Real-Only): Entrenamiento exclusivamente con datos reales.
   • Solo Sintéticos (SO - Synthetic-Only): Entrenamiento exclusivamente con datos sintéticos.
   • Híbrido (HY): Entrenamiento con una combinación de 80% de datos reales y 20% de datos sintéticos.

4. Algoritmos de Aprendizaje Automático:
   Se probaron tres algoritmos tanto para clasificación (Mortalidad) como para regresión (Estancia Hospitalaria - LOS):

   • Regresión Logística (Línea base)
   • Random Forest
   • XGBoost

5. Validación:
   Se utilizó una división de hold-out estratificada de 80/20, con el conjunto de prueba (n=589) aislado hasta la evaluación final. El desempeño se evaluó mediante Exactitud, F1-score, AUC para mortalidad, y Error Absoluto Medio (MAE) y R² para LOS. La estabilidad se verificó mediante validación cruzada estratificada repetida de 5×5.

Resultos Clave

• Calidad de los Datos Sintéticos:

  • CTGAN demostró una utilidad descendente superior, logrando una exactitud del 91.7% en un conjunto de prueba real (frente al 86.4% de SMOTE-NC), aunque requirió un tiempo de entrenamiento significativamente mayor.
  • VAE no logró producir poder predictivo (51.6% de exactitud, comparable al azar) y fue excluido de experimentos híbridos posteriores.
  • SMOTE-NC ofreció un equilibrio pragmático entre la preservación de la correlación y la eficiencia computacional.

• Predicción de Mortalidad:

  • Los modelos híbridos superaron consistentemente a los modelos de solo reales y de solo sintéticos.
  • El mejor modelo fue CTGAN + XGBoost en la configuración híbrida, logrando una exactitud de 0.998 (IC 95%: 0.995–1.000), F1-score de 0.996 y AUC de 0.99.
  • SMOTE-NC + Random Forest también alcanzó una alta exactitud (0.996).
  • Nota: Los autores advierten explícitamente que estas altas cifras de exactitud se basan en un conjunto de prueba artificialmente balanceado (50% mortalidad) y no reflejan las distribuciones de clases del mundo real.

• Predicción de la Estancia Hospitalaria (LOS):

  • La configuración híbrida de CTGAN + XGBoost logró el mejor desempeño con un MAE de 4.08 días (IC 95%: 3.58–4.67) y un R² de 0.601.
  • CTGAN + Random Forest, entrenado únicamente con datos sintéticos, superó sorprendentemente a las líneas base de solo reales (MAE 3.76 días), lo que sugiere que CTGAN preservó con éxito patrones temporales clínicamente significativos.

• Importancia de las Características:

  • La Oxigenación emergió como el predictor dominante. El requerimiento de oxígeno (r = 0.327) y la SpO2 (r = 0.299) fueron las características mejor clasificadas.
  • La Hemoglobina mostró una asociación insignificante con la mortalidad (r = -0.023, rango 15/19).
  • La Edad no fue un predictor estadísticamente significativo (p = 0.39).
  • El análisis SHAP confirmó que las variables de oxigenación impulsan el riesgo de mortalidad más que la hemoglobina o la edad en este cohorte específico.

Significancia y Reivindicaciones
El artículo afirma realizar tres contribuciones principales:

1. Desempeño Comparativo: Proporciona una comparación sistemática de modelos de aprendizaje automático a través de configuraciones de datos reales, sintéticos y híbridos en un entorno de bajos recursos en Etiopía.
2. Predictores Específicos del Contexto: Identifica predictores clínicos específicos para el contexto de las UCI en Etiopía, destacando notablemente la oxigenación como el factor crítico, mientras desafía la significancia de la hemoglobina y la edad encontradas en otros estudios.
3. Desarrollo de Prototipo: Desarrolló un prototipo interactivo en Streamlit para visualizar los conocimientos del modelo, la importancia de las características y escenarios de "qué pasaría si" para las partes interesadas en salud.

Los autores enfatizan que el modelado híbrido (combinar datos reales y sintéticos) es una solución viable para crear modelos de predicción efectivos en entornos con recursos limitados donde los datos son escasos y desequilibrados. Argumentan que la aumentación de datos sintéticos puede mejorar la discriminación del modelo sin introducir un sesgo significativo, siempre que el método de generación (como CTGAN o SMOTE-NC) sea validado para su utilidad descendente.

Modestia y Limitaciones
El documento mantiene un tono modesto respecto a la preparación clínica:

• Estado de Validación: Los resultados se basan en una validación interna (datos retrospectivos de cinco hospitales). Los autores declaran explícitamente que la alta exactitud (99.5%) es probablemente optimista debido al balanceo artificial del conjunto de prueba y la falta de validación externa en otras instituciones.
• Utilidad Clínica: El prototipo se describe como una "prueba de concepto" para demostración de investigación y generación de hipótesis únicamente. No está aprobado para uso clínico y no debe informar decisiones de atención al paciente.
• Generalización: Los hallazgos son específicos de los hospitales terciarios públicos en Etiopia y no deben generalizarse a hospitales privados, instalaciones rurales u otros países sin recalibración y validación externa.
• Causalidad: Los autores aclaran que los valores SHAP y la importancia de las características indican asociación, no causalidad. Las relaciones observadas (p. ej., entre SpO2 y mortalidad) están confundidas por factores no medidos como el tiempo de intervención y la disponibilidad de recursos.

El estudio concluye que, si bien la aumentación de datos sintéticos muestra promesa para superar la escasez de datos, la validación externa prospectiva y los ensayos de ciencia de la implementación son requisitos previos antes de cualquier despliegue clínico.