Beyond AUROC: External Validation, Calibration, and Explainability of Machine Learning Models for 30-Day Hospital Readmission Using Electronic Health Records—A Rapid Systematic Review

Cada año, millones de pacientes abandonan un hospital solo para regresar en menos de un mes, a menudo porque su recuperación se estancó o su plan de cuidados se desmoronó. Este ciclo de reingreso es una carga importante para los sistemas de salud, lo que eleva los costos y señala que algo salió mal con la transición del hospital al hogar. Para detener esto, los hospitales han recurrido al aprendizaje automático, una rama de la informática donde el software aprende a encontrar patrones en vastas cantidades de datos. Al alimentar estos programas con registros médicos electrónicos —archivos digitales que contienen resultados de laboratorio, listas de medicamentos y notas médicas—, los investigadores esperan construir herramientas que puedan detectar a los pacientes con mayor probabilidad de regresar y enviarles ayuda adicional antes de que se retiren. Durante años, la comunidad científica ha juzgado estas herramientas mediante un único número: una puntuación que mide qué tan bien el modelo clasifica a los pacientes de menor a mayor riesgo. Si un modelo puede decir correctamente "este paciente es más riesgoso que aquel", obtiene una puntuación alta, y eso ha sido suficiente para declararlo un éxito.

Sin embargo, un nuevo análisis sugiere que esta única puntuación cuenta solo la mitad de la historia. Una revisión sistemática rápida realizada por investigadores de la Universidad de Ingeniería y Tecnología de Chittagong examinó 156 estudios publicados entre 2020 y 2026 que utilizaron el aprendizaje automático para predecir reingresos hospitalarios a los 30 días. El equipo encontró que, si bien estos modelos suelen parecer impresionantes sobre el papel, con frecuencia no logran demostrar que funcionarán en el mundo real. Los investigadores descubrieron que casi todos los estudios dependieron de pruebas internas, donde el modelo se verifica con datos del mismo hospital que lo creó. Muy pocos estudios probaron si el modelo funcionaría en un hospital diferente o con datos de un período de tiempo posterior. Además, los estudios rara vez verificaron si los porcentajes de riesgo que producían los modelos eran realmente precisos, o si las razones que los modelos daban para sus predicciones tenían sentido para los médicos humanos. La revisión concluye que el campo se ha movido demasiado rápido en la adopción de características llamativas mientras descuida los controles básicos necesarios para asegurar que estas herramientas sean seguras y confiables para los pacientes.

El problema central identificado es que un modelo puede ser bueno clasificando pacientes sin ser bueno prediciendo resultados reales. Imagine una aplicación del clima que le dice correctamente que el martes es más probable que llueva que el lunes, pero falla al no decirle que la probabilidad de lluvia es de cero por ciento en ambos días. En el contexto de los reingresos hospitalarios, esta distinción es crítica. Los hospitales necesitan saber la probabilidad real de que un paciente regrese para poder decidir cuántos recursos asignar. Si un modelo predice un 90 por ciento de probabilidad de reingreso para un paciente que solo tiene un 10 por ciento, el hospital podría desperdiciar servicios de atención de transición escasos en ese paciente mientras omite a otros que realmente los necesitan. La revisión encontró que, si bien el 85 por ciento de los estudios reportó la puntuación de clasificación, solo alrededor del 15 por ciento mencionó verificar si sus predicciones coincidían con la realidad, y solo un estudio utilizó una métrica específica diseñada para medir esta precisión.

Más allá de la precisión, los investigadores observaron si estos modelos podían viajar. Un modelo construido con datos de un gran hospital universitario urbano en una ciudad podría fallar por completo cuando se aplica a una clínica rural en otro estado, simplemente porque las poblaciones de pacientes y las prácticas médicas son diferentes. Esto se conoce como validación externa. La revisión encontró que solo el 12 por ciento de los estudios probaron sus modelos en un nuevo entorno o en un momento posterior. Cuando los pocos estudios que realizaron estas pruebas compartieron sus resultados, los modelos casi siempre funcionaron peor en el nuevo entorno. En cinco casos donde los investigadores compararon el desempeño de un modelo en su hospital de origen frente a uno nuevo, la capacidad de clasificar correctamente a los pacientes disminuyó en todas las instancias. Esto sugiere que muchos modelos están sobreajustados a sus datos locales específicos, capturando las peculiaridades de un hospital en lugar de signos universales de riesgo.

Otra brecha importante en la investigación es la explicabilidad. A medida que los modelos de aprendizaje automático se han vuelto más complejos, los investigadores han comenzado a usar herramientas para explicar por qué un modelo hizo una predicción específica, a menudo resaltando qué factores, como la presión arterial alta o un medicamento específico, contribuyeron más al puntaje de riesgo. La revisión señaló que el uso de estas herramientas de explicación ha aumentado drásticamente, pasando de menos del 6 por ciento de los estudios en los primeros años del período de revisión a casi el 30 por ciento en los años más recientes. Sin embargo, los investigadores encontraron que, aunque los estudios fueron rápidos en mostrar estas explicaciones, casi nunca probaron si las explicaciones eran realmente correctas o estables. Un modelo podría señalar un valor de laboratorio específico como la razón de un alto riesgo, pero si esa razón cambia aleatoriamente cuando los datos se modifican ligeramente, la explicación no es confiable. La revisión no encontró resúmenes que evaluaran si las explicaciones proporcionadas eran fiables o si los médicos las consideraban útiles.

El estudio también examinó si estos modelos trataban de manera justa a diferentes grupos de personas. Las tasas de reingreso pueden estar influenciadas por factores que van más allá de la pura biología, como el acceso al transporte o la capacidad de costear medicamentos. Si un modelo aprende de datos históricos que reflejan estas desigualdades, podría marcar injustamente a ciertos grupos como de alto riesgo simplemente porque tienen menos acceso a la atención, en lugar de porque estén médicamente más graves. La revisión encontró que solo una mínima fracción de los estudios, aproximadamente el 4.5 por ciento, verificó la existencia de estas disparidades entre diferentes grupos de personas basadas en raza, género o edad. Esta falta de escrutinio significa que los hospitales podrían desplegar inadvertidamente herramientas que refuercen los sesgos existentes en el sistema de salud.

Los investigadores concluyeron que el campo está priorizando las cosas equivocadas. El rápido aumento en el uso de herramientas de explicación complejas ha superado la adopción de controles de seguridad fundamentales, como probar los modelos en nuevas ubicaciones o verificar su precisión. Los autores argumentan que, antes de que estos modelos se utilicen para tomar decisiones reales sobre la atención al paciente, deben pasar un conjunto mínimo de estándares. Estos estándares incluyen probar el modelo con datos de un hospital o período de tiempo diferente, verificar que los riesgos predichos coincidan con los resultados reales y asegurar que el modelo no discrimine contra grupos específicos. La revisión sugiere que el próximo gran avance en este campo no vendrá de inventar algoritmos más complejos, sino de hacer un mejor trabajo demostrando que las herramientas que ya tenemos son seguras, precisas y justas para todos.