External validation reveals poor calibration despite preserved discrimination for a vasopressin treatment-signal prediction model across ICU databases

En el entorno de alto riesgo de una unidad de cuidados intensivos, los pacientes suelen llegar con una presión arterial tan baja que sus cuerpos no pueden bombear suficiente sangre a los órganos vitales. Para mantenerlos con vida, los médicos administran fármacos potentes llamados vasopresores para contraer los vasos sanguíneos y elevar la presión. A veces, el primer fármaco no es suficiente y el equipo médico debe añadir un segundo, como la vasopresina, para mantener la estabilidad del paciente. Predecir cuándo un paciente necesitará este segundo fármaco es un desafío complejo. No se trata solo de la biología del paciente; también se trata de cómo diferentes hospitales registran sus acciones, qué fármacos tienen a mano y cuándo deciden escalar la atención. Los investigadores han esperado durante mucho tiempo construir modelos informáticos que pudieran observar los datos actuales de un paciente —como su frecuencia cardíaca, química sanguínea y dosis de medicación actual— y predecir con certeza cuándo se ordenaría un nuevo fármaco. Si tal modelo funcionara perfectamente, podría alertar a los médicos para que revisen el caso de un paciente de forma más temprana, potencialmente previniendo una crisis antes de que ocurra.

Un equipo de investigadores se propuso probar un modelo de predicción específico diseñado para detectar la señal de que un paciente está a punto de recibir vasopresina. Construyeron su modelo utilizando datos de un único y gran hospital académico en los Estados Unidos, analizando miles de registros de pacientes para encontrar patrones que precedieran a la administración del fármaco. El modelo fue entrenado para observar quince piezas de información diferentes, como la dosis actual del primer fármaco, la frecuencia cardíaca y los niveles de ciertas sustancias químicas en la sangre. El objetivo era crear una herramienta que pudiera decirle a un médico: "Este paciente tiene un alto riesgo de necesitar vasopresina en las próximas 24 horas". Para ver si esta herramienta era realmente útil, los investigadores no se limitaron a probarla con los datos del mismo hospital donde fue creada. Tomaron exactamente el mismo modelo, sin cambiar un solo número, y lo aplicaron a un conjunto de datos completamente diferente de una red de docenas de hospitales en todo el país. Esta es la prueba definitiva para cualquier herramienta de predicción médica: ¿puede funcionar en un lugar nuevo, con diferentes pacientes y diferentes médicos, o solo funciona en el entorno específico donde fue creada?

Los resultados de esta prueba revelaron una distinción crucial y algo sorprendente. Cuando el modelo observó al nuevo grupo de pacientes, seguía siendo muy bueno clasificándolos. Si se alineaban todos los pacientes desde el de menor riesgo al de mayor riesgo, el modelo colocaba correctamente a los pacientes que realmente recibieron el fármaco cerca de la parte superior de la lista. En términos estadísticos, el modelo preservó su capacidad para distinguir entre aquellos que recibirían el fármaco y aquellos que no lo harían. Sin embargo, el modelo falló por completo al decir la verdad sobre los números reales. En el hospital original, el modelo predijo que alrededor del 14 por ciento de los pacientes necesitarían el fármaco, y eso coincidía con la realidad. Pero al aplicarse a los nuevos hospitales, el modelo predijo que el 16 por ciento de los pacientes lo necesitaría, mientras que en la realidad, solo el 9 por ciento lo hizo. El modelo estaba sobreestimando el riesgo de manera constante. Era como un pronóstico del tiempo que predice correctamente que lloverá en los días en que realmente llueve, pero te dice que hay un 90 por ciento de probabilidad de lluvia en días en los que solo existía un 30 por ciento de probabilidad.

Esta discrepancia entre la clasificación y la probabilidad real es un hallazgo significativo porque cambia la forma en que se puede utilizar la herramienta. Los investigadores descubrieron que las predicciones del modelo no eran solo ligeramente erróneas; estaban distorsionadas de una manera que hacía que los números fueran poco fiables para la toma de decisiones médicas directas. En los nuevos hospitales, las predicciones del modelo eran demasiado dispersas, lo que significa que era demasiado seguro de los extremos. Pensaba que algunos pacientes recibirían el fármaco casi con seguridad y otros casi con seguridad no lo recibirían, cuando la realidad era mucho más moderada. Incluso cuando los investigadores intentaron ajustar el modelo simplemente desplazando el promedio de la predicción hacia arriba o hacia abajo para que coincidiera con la nueva realidad, esto no solucionó el problema. La forma de las predicciones seguía siendo incorrecta. Esto sugiere que la forma en que los diferentes hospitales documentan su atención, o los umbrales específicos que utilizan para decidir cuándo administrar un fármaco, son tan distintos que un solo modelo no puede simplemente copiarse y pegarse de un lugar a otro.

El estudio también analizó si el modelo podía mejorar mediante el aprendizaje a partir de los nuevos datos. Probaron un método en el que el modelo recibía una pequeña cantidad de información nueva de los hospitales locales para ajustar sus configuraciones internas. Descubrieron que, incluso con este aprendizaje local, el modelo tenía dificultades para adaptarse perfectamente, especialmente cuando se observaban los hospitales de forma individual en lugar de como un grupo. De hecho, muchos de los hospitales individuales en la nueva red tenían muy pocos pacientes que recibieran el fármaco, lo que hacía estadísticamente imposible construir una versión personalizada y fiable para cada uno. Los investigadores concluyeron que, si bien el modelo puede servir como una herramienta de clasificación útil para ayudar a los médicos a priorizar qué pacientes revisar primero, no puede utilizarse para dar un porcentaje específico de probabilidad de que un paciente necesite vasopina. No puede decirle a un médico: "Hay un 40 por ciento de probabilidad de que este paciente necesite vasopresina", porque ese número probablemente sería erróneo.

En última instancia, esta investigación resalta un límite fundamental en el uso de los registros médicos electrónicos para predecir tratamientos médicos. El resultado que el modelo intentaba predecir no era un evento biológico como un ataque cardíaco, sino una decisión humana registrada en un sistema informático. Debido a que esa decisión depende de los hábitos locales, los medicamentos disponibles y los estilos de documentación, la "señal" que el modelo detecta es una mezcla de la fisiología del paciente y la cultura del hospital. El modelo aprendió la cultura del primer hospital tan bien que no pudo separar la biología del paciente de dicha cultura cuando se trasladó a un nuevo lugar. Los investigadores enfatizan que esta herramienta no debe utilizarse para iniciar el tratamiento automáticamente o para hacer afirmaciones definitivas sobre el futuro de un paciente. En cambio, podría ser útil en un "modo silencioso", donde señale discretamente a los pacientes de alto riesgo para que un médico humano los revise, siempre que el equipo local primero verifique y ajuste los números para que se ajusten a la realidad de su propio hospital. El estudio sirve como un recordor de que, en medicina, un modelo que funciona en un lugar no está garantizado para funcionar en otro, y que comprender la diferencia entre clasificar pacientes y predecir su riesgo exacto es esencial para una atención segura y eficaz.