Auditing missingness and input-outcome circularity in unsupervised clinical phenotyping: an empirical case study in hospitalized traumatic brain injury

Imagina que eres un detective tratando de clasificar una pila desordenada de cajas misteriosas en grupos ordenados según lo que hay dentro. En el mundo de la medicina, los científicos suelen hacer esto con los datos de los pacientes, un proceso llamado "fenotipado no supervisado". En lugar de adivinar qué pacientes son similares, utilizan computadoras para encontrar patrones ocultos en las puntuaciones de los chequeos rutinarios, como qué tan bien un paciente recuerda las cosas, cómo se siente emocionalmente o con qué facilidad puede moverse. El objetivo es descubrir "subgrupos" naturales de pacientes que los médicos puedan utilizar para brindar una mejor atención personalizada.

Sin embargo, existen dos trampas escurridizas que pueden arruinar el trabajo de detective. Primero, los datos rara vez son perfectos; algunas cajas tienen etiquetas o contenidos faltantes (esto se llama "datos perdidos"). Si simplemente adivinas lo que falta, podrías crear accidentalmente grupos que solo existen debido a tus suposiciones, no porque los pacientes sean realmente diferentes. Segundo, existe una trampa llamada "circularidad". Esto sucede si utilizas una pista específica para clasificar las cajas y luego te sorprendes al descubrir que la misma pista es la razón principal por la cual las cajas son diferentes. Es como clasificar una baraja de cartas por color y luego afirmar que has descubierto una nueva regla mágica que dice "las cartas rojas son rojas".

Un equipo de investigadores decidió probar qué tan bien resisten estos métodos de detección cuando se aplican a registros hospitalarios del mundo real de pacientes con lesiones cerebrales traumáticas (TBI). Querían ver si los grupos de pacientes que la computadora encontró eran reales, estables y útiles, o si eran solo un castillo de naipes construido sobre números faltantes y lógica circular.

El Gran Experimento de Clasificación de Pacientes

Los investigadores analizaron a 582 pacientes que habían sido hospitalizados por lesiones cerebrales. Tenían cinco diferentes "boletas de calificaciones" para cada paciente: pruebas de memoria y pensamiento (MMSE y MoCA), pruebas de depresión (GDS y Hamilton) y una prueba de qué tan bien podían realizar tareas diarias como comer o vestirse (Barthel ADL).

En un mundo perfecto, cada paciente tendría una puntuación para cada una de las cinco pruebas. Pero en la realidad desordenada de un hospital con mucho movimiento, los datos se pierden. En este estudio, solo el 17.7% de los pacientes (103 de 582) tenían las cinco puntuaciones. La prueba de depresión y la prueba de actividades de la vida diaria eran las más propensas a faltar, apareciendo en casi el 40% y el 30% de los registros, respectivamente.

El equipo ejecutó un programa de computadora estándar para clasificar a estos pacientes en grupos. El programa, utilizando un método llamado "imputación de la mediana" (que básicamente rellena los espacios en blanco con el valor central de los datos existentes), decidió que la mejor manera de clasificar a todos era en cinco grupos distintos. Uno de estos grupos parecía particularmente interesante: un grupo "Hamilton-extremo" de pacientes con puntuaciones de depresión muy altas.

Pero entonces, los investigadores comenzaron su "prueba de estrés" para ver si estos grupos eran reales o solo una ilusión.

La Prueba de Estabilidad: ¿Se mantienen unidos los grupos?
Intentaron sacudir los datos seleccionando pacientes al azar una y otra vez (una técnica llamada bootstrapping). Si los grupos fueran reales, los mismos pacientes deberían seguir cayendo en los mismos grupos cada vez. En cambio, los grupos se desmoronaron como un castillo de arena mojada. Las puntuaciones de estabilidad fueron muy bajas (entre 0.211 y 0.454), muy por debajo del umbral de 0.75 necesario para decir: "Sí, este es un grupo sólido". Cuando probaron diferentes algoritmos de clasificación, los resultados apenas coincidían entre sí.

La Prueba de Datos Perdidos: ¿Importa el método para rellenar los huecos?
A continuación, intentaron rellenar las puntuaciones faltantes utilizando un método más complejo llamado "Imputación Múltiple" (MICE), que crea 20 versiones diferentes del conjunto de datos con diferentes suposiciones para los números faltantes. Cuando ejecutaron la clasificación en estas 20 versiones, los grupos resultantes fueron casi completamente diferentes de los cinco grupos originales. La puntuación de concordancia fue de un ínfimo 0.157. Esto sugiere que los cinco grupos originales no fueron un descubrimiento de la verdadera naturaleza de los pacientes, sino un reflejo de cómo los investigadores eligieron rellenar los huecos.

La Prueba de "Casos Completos": ¿Qué pasa si solo miramos los datos perfectos?
Intentaron clasificar solo a los 103 pacientes que tenían todas sus puntuaciones. Al hacer esto, la computadora ya no quería cinco grupos; en su lugar, prefería tres. El grupo "Hamilton-extremo" que parecía tan importante en el conjunto de datos completo desapareció o cambió por completo. De hecho, en este grupo más pequeño, los pacientes con altas puntuaciones de depresión en realidad tenían mejores puntuaciones de memoria, lo cual era lo opuesto de lo que sugería el análisis original. Los investigadores concluyeron que este grupo específico de "depresión" era probablemente un artefacto —un patrón falso creado por la forma en que se manejaron los datos faltantes.

La Trampa de la Circularidad: ¿Usamos el resultado para definir la entrada?
Finalmente, probaron el problema de la "circularidad". En el análisis original, utilizaron la puntuación de "actividades de la vida diaria" (Barthel ADL) para ayudar a clasificar a los pacientes, y luego verificaron si los grupos eran buenos para predecir la puntuación de "actividades de la vida diaria". Como era de esperar, ¡los grupos fueron excelentes en esto! El vínculo estadístico era muy fuerte.

Pero luego, eliminaron la puntuación de "actividades de la vida diaria" del proceso de clasificación y solo utilizaron las pruebas de pensamiento y estado de ánimo. Cuando intentaron predecir la puntuación de "actividades de la vida diaria" usando estos nuevos grupos, el vínculo desapareció. La puntuación estadística cayó de un sólido 0.395 a un minúsculo 0.005. Esto demostió que la "conexión fuerte" que creían haber encontrado no era porque los grupos fueran naturalmente diferentes en su funcionamiento; era simplemente porque habían usado la puntuación de funcionamiento para construir los grupos. Fue un caso clásico de mirarse en el espejo y pensar que habías descubierto una cara nueva.

La Conclusión

El estudio concluye que, si bien el fenotipado no supervisado suena como una herramienta poderosa para encontrar nuevos subtipos de pacientes, es increíblemente frágil. En este caso específico de lesión cerebral traumática, los "grupos" que encontró la computadora eran altamente sensibles a cómo se manejaban los datos faltantes y eran en gran medida una ilusión causada por usar el resultado como entrada.

Los investigadores sugieren que, antes de que los médicos comiencen a usar estos grupos generados por computadora para tomar decisiones clínicas, los científicos deben realizar una auditoría rigurosa. Deben verificar si los grupos se mantienen estables cuando se vuelven a muestrear los datos, si sobreviven a diferentes formas de rellenar los números faltantes y, lo más importante, deben asegurarse de que no están usando accidentalmente el resultado para definir el grupo. Hasta que no se realicen estas comprobaciones, los "subtipos" encontrados en los datos rutinarios de los hospitales deben tratarse como hipótesis interesantes para investigar, no como hechos probados.