Evaluating missing-data workflows under hospital-structured missingness: a simulation-calibrated study in eICU and MIMIC-IV

En el hospital moderno, la historia de un paciente se cuenta a menudo no solo por lo que se escribe, sino por lo que falta. Cuando un médico ordena un análisis de sangre, el resultado aparece en el registro electrónico. Pero si la prueba nunca se solicita, o si la máquina no logra enviar los datos, el registro muestra un espacio en blanco. Durante décadas, los investigadores que analizan estos masivos archivos digitales han tratado estos espacios en blanco como simples errores que deben corregirse o ignorarse. Han asumido que un valor de laboratorio faltante es solo un número ausente, sin relación con la condición del paciente o los hábitos del hospital. Sin embargo, en la realidad, un valor faltante es a menudo un mensaje. Puede significar que un médico decidió que una prueba no era necesaria, o que un hospital específico carece del equipo para realizarla. Cuando estos vacíos no son aleatorios, sino que siguen patrones vinculados al hospital o al trasfondo del paciente, pueden distorsionar silenciosamente toda la imagen de lo que los datos están diciendo.

Este es el desafío central explorado en un nuevo estudio que analizó cómo los investigadores manejan estas piezas de información faltante en bases de datos de cuidados críticos. Los investigadores querían saber si las formas estándar de llenar los vacíos estaban realmente cambiando las respuestas a preguntas médicas importantes. Se centraron en un escenario específico y de alto riesgo: comparar el riesgo de muerte en el hospital para diferentes grupos raciales y étnicos. El objetivo no era probar que un grupo fuera biológicamente más frágil que otro, sino ver si el método utilizado para limpiar los datos podía hacer que pareciera que había una diferencia donde no la había, o esconder una diferencia que sí existía. Al probar estos métodos contra una verdad conocida creada en una simulación por computadora, el estudio reveló que la elección de cómo manejar los datos faltantes no es solo un detalle técnico; es una decisión que cambia fundamentalmente a quién se está estudiando y qué significan los resultados.

Los investigadores recurrieron a dos enormes colecciones de datos del mundo real de unidades de cuidados intensivos en los Estados Unidos. Una base de datos, conocida como eICU, recopiló información de 206 hospitales diferentes, capturando las diversas formas en que se imparte la atención médica en todo el país. La otra, MIMIC-IV, provenía de un único y gran hospital académico. Se centraron en ocho pruebas de sangre comunes realizadas durante el primer día de la estancia del paciente, tales como mediciones de glóbulos blancos, función renal y salud hepática. En el mundo real, estas pruebas no siempre están disponibles. En la base de datos de un solo hospital, solo alrededor del 24 por ciento de los pacientes tenían los ocho resultados registrados. En la base de datos de múltiples hospitales, la cifra era ligeramente superior, un 36 por ciento, pero los vacíos distaban de ser aleatorios. Algunos hospitales tenían datos para casi todos los pacientes, mientras que otros tenían resultados faltantes para casi todos. En algunos casos, hospitales enteros no tenían valores registrados para pruebas específicas como el lactato o la bilirrubina, lo que sugería que los datos faltantes eran una característica estructural de esos centros médicos específicos, no un error aleatorio.

Para ver cómo afectaba este carácter de la falta de datos a los resultados, el equipo aplicó cinco métodos diferentes y estándar utilizados por los científicos para lidiar con registros incompletos. Un método simplemente descartaba a cualquier paciente con una sola prueba faltante. Otro llenaba los huecos con el valor medio encontrado en los datos y añadía una nota indicando que el valor faltaba. Un tercer método intentaba ponderar a los pacientes restantes para representar a los que fueron descartados. Otros dos métodos utilizaron complejos algoritmos computacionales para adivinar los números faltantes basándose en la otra información disponible para ese paciente, con una versión que intentaba tener en cuenta el hospital específico donde el paciente fue tratado. Los investigadores luego utilizaron estas cinco versiones diferentes de los datos para calcular la diferencia en las tasas de mortalidad entre grupos raciales.

Los resultados fueron sorprendentes. Dependiendo del método utilizado, la diferencia estimada en las tasas de mortalidad entre grupos oscilaba drásticamente. En un caso, al comparar a pacientes asiáticos con pacientes blancos en la base de datos del hospital único, el método que simplemente descartaba los registros incompletos sugería que los pacientes asiáticos tenían un menor riesgo de muerte. Sin embargo, un método diferente que completaba los números faltantes sugería que tenían un mayor riesgo. El tamaño de esta oscilación fue de casi tres puntos porcentuales, una diferencia lo suficientemente grande como para cambiar por completo la conclusión del estudio. En la base de datos de múltiples hospitales, los cambios fueron igual de dramáticos, con estimaciones para pacientes hispanos que pasaban de un riesgo menor a un riesgo mayor dependiendo del flujo de trabajo. El estudio demostró que el método elegido no solo añadía un poco de ruido a los datos; cambiaba la dirección del hallazgo.

Para comprender por qué sucedió esto, los investigadores construyeron una simulación por computadora donde conocían la verdad exacta. Crearon un mundo virtual de 60 hospitales y miles de pacientes, programando los datos faltantes para que aparecieran en patrones específicos que imitaban el mundo real. Debido a que conocían la respuesta verdadera en esta simulación, podían medir exactamente qué tan erróneo era cada método. Encontraron que cuando los datos faltantes estaban ligados a la estructura del hospital, incluso los métodos más sofisticados tenían dificultades. El método que intentaba tener en cuenta el contexto del hospital funcionó mejor que otros, pero no fue perfecto. Seguía produciendo errores e intervalos de confianza demasiado estrechos para ser confiables. La simulación también reveló que ningún método podía solucionar completamente el problema si los datos faltantes estaban relacionados con la gravedad no registrada del paciente de una manera que la computadora no pudiera ver. Cuando la falta de datos era impulsada por factores que el modelo no podía conocer, todos los métodos seguían sesgados, produciendo estimaciones erróneas por varios puntos porcentuales.

El estudio también examinó cómo se veía afectada la confianza de los investigadores en sus resultados. En la ciencia, un resultado suele ir acompañado de un rango de incertidumbre, un margen de error que indica qué tan seguros estamos. Los investigadores encontraron que algunos métodos producían rangos demasiado ajustados, dando una falsa sensación de precisión. En la simulación, cuando la falta de datos era pesada y estructurada por hospital, los intervalos de confianza para algunos métodos cubrían la respuesta verdadera menos del 30 por ciento de las veces, a pesar de que se suponía que debían cubrirla el 95 por ciento de las veces. Esto significa que si un investigador utilizaba uno de estos métodos defectuosos, estaría afirmando con mucha certeza un resultado que en realidad era bastante inestable. El estudio destacó que reportar simplemente un número sin verificar cómo se manejaron los datos faltantes es como medir una habitación con una regla que se encoge y se expande dependiendo de la temperatura.

Uno de los hallazgos más significativos fue que la elección del método cambió la población que estaba siendo estudiada. Cuando los investigadores simplemente descartaban a los pacientes con datos faltantes, terminaban con un grupo que se veía diferente de la multitud original. En los datos del mundo real, los pacientes que tenían todos sus resultados de laboratorio solían ser mayores o tenían características diferentes a los que no los tenían. Al completar los huecos con promedios o conjeturas complejas, los investigadores estaban creando efectivamente una nueva población sintética que podría no existir en el mundo real. El estudio mostró que la diferencia de riesgo "estandarizada" que calcularon no era una verdad universal sobre la enfermedad, sino una respuesta específica a una pregunta específica sobre un grupo específico de personas definido por el método utilizado para limpiar los datos.

Los investigadores concluyeron que no existe una solución única y mágica para los datos faltantes en los registros hospitalarios. La idea de que un modelo matemático más complejo solucionará automáticamente el problema fue demostrada falsa en sus simulaciones. Incluso un modelo que intentara explícitamente tener en cuenta las diferencias entre hospitales no garantizaba un resultado preciso. El estudio sostiene que los investigadores deben dejar de tratar los datos faltantes como un paso de limpieza técnica y empezar a tratarlos como una parte fundamental de la pregunta que están formulando. Antes de sacar cualquier conclusión, deben mapear exactamente dónde faltan los datos y por qué. Deben ser honestos sobre qué grupo de personas representan realmente sus resultados. Y deben probar sus hallazgos contra diferentes supuestos sobre por qué faltan los datos, reconociendo que si la falta de datos es impulsada por factores ocultos, los resultados podrían estar equivocados.

En última instancia, este trabajo sirve como una advertencia y una guía para el futuro de la investigación médica utilizando registros electrónicos. Muestra que la forma en que manejamos los espacios en blanco de nuestros datos puede ser tan importante como los datos que tenemos. Si ignoramos los patrones de la falta de datos, corremos el riesgo de construir el conocimiento médico sobre un cimiento que cambia con cada cambio de metodología. El estudio no ofrece una herramienta nueva y perfecta para solucionar el problema, sino que proporciona un mapa claro de dónde están las trampas. Sugiere que el camino a seguir requiere transparencia, pruebas rigurosas y la disposición de aceptar que algunas preguntas sobre las disparidades de salud pueden permanecer inciertas hasta que podamos entender mejor por qué los datos faltan en primer lugar. El objetivo no es encontrar un número perfecto, sino comprender los límites de lo que nuestros datos pueden decirnos.