A Comprehensive Evaluation of Distributional Shift and Concept Drift Across Preprocessing Configurations, Domain Adaptation, and Representation Learning in GDM Prediction

El embarazo es una etapa de intensos cambios biológicos y, para muchas mujeres, conlleva el riesgo de la diabetes gestacional, una afección en la que los niveles de azúcar en sangre aumentan de forma peligrosa. Si no se controla, esto puede provocar complicaciones graves tanto para la madre como para el hijo. Para detectarlo a tiempo, los médicos suelen recurrir a una prueba de sangre específica llamada prueba de tolerancia oral a la glucosa, que consiste en beber una solución azucarada y esperar a ver cómo reacciona el cuerpo. Sin embargo, esta prueba consume mucho tiempo y requiere equipos especiales, lo que dificulta su uso en cada clínica o en zonas con recursos limitados. Debido a esto, los investigadores han pasado años intentando crear programas informáticos que puedan predecir quién desarrollará la enfermedad utilizando únicamente información rutinaria y sencilla como la edad, el peso y la presión arterial. La esperanza ha sido que estas herramientas digitales pudieran actuar como un sistema de alerta temprana y rápida, señalando a las pacientes de alto riesgo antes de que necesiten la compleja prueba de azúcar.

El desafío, sin embargo, es que estos programas informáticos suelen funcionar perfectamente en el hospital donde fueron creados, pero fallan estrepitosamente cuando se trasladan a una clínica diferente. Esto sucede porque las personas en diferentes hospitales no son idénticas; tienen diferentes edades, tipos de cuerpo e historiales de salud. Cuando un modelo entrenado en un grupo de personas se aplica a otro, los patrones subyacentes que aprendió pueden romperse. No se trata solo de que el modelo sea ligeramente impreciso; es un cambio fundamental en cómo se comporta la información. Los investigadores llaman a esto "deriva de concepto" (concept drift), una situación en la que la relación entre un factor de riesgo y la enfermedad cambia de un lugar a otro. Por ejemplo, un factor que predice fuertemente la diabetes en una ciudad podría no tener poder predictivo, o incluso tener el efecto opuesto, en otra ciudad.

Un equipo de investigadores de la Université de Moncton se propuso investigar exactamente por qué estos modelos fallan al pasar de una población a otra. Querían saber si el problema era simplemente que los modelos no eran lo suficientemente sofisticados, o si el problema era más profundo, arraigado en los datos mismos. Para encontrar la respuesta, recopilaron dos grandes grupos de registros de pacientes: uno de una fuente primaria con más de 3.500 mujeres, y un grupo completamente separado de más de 1.200 mujeres de una región diferente. Luego construyeron un experimento masivo, probando docenas de formas distintas de preparar los datos y cinco tipos diferentes de modelos de aprendizaje automático. También probaron técnicas avanzadas diseñadas para obligar a los modelos a adaptarse a la nueva población, e incluso probaron un enfoque moderno de aprendizaje profundo que intenta aprender la "forma" de los datos de una manera más abstracta.

Los resultados fueron crudos y consistentes. Cuando los modelos se probaban con los datos con los que fueron entrenados, eran casi perfectos, identificando correctamente casi todos los casos de diabetes gestacional. Pero en el momento en que se aplicaban al nuevo grupo independiente de mujeres, su rendimiento colapsaba. En lugar de una alta precisión, los modelos apenas funcionaban mejor que el azar. Este fallo ocurría independientemente de cuán complejo fuera el modelo, de cómo se limpiaran los datos o de si los investigadores intentaban usar trucos matemáticos especiales para alinear ambos grupos. Incluso los sistemas de aprendizaje profundo más avanzados, que suelen ser muy buenos encontrando patrones ocultos, sufrían el mismo fallo total. La única vez que los modelos funcionaron bien en el segundo grupo fue cuando los investigadores mezclaron los datos de ambos grupos antes del entrenamiento. Esto demostró que los modelos no eran demasiado simples para aprender la tarea; simplemente no podían aprenderla sin ver ejemplos del grupo objetivo primero.

Los investigadores descubrieron que el principal culpable era una característica específica en los datos: los resultados de la prueba de tolerancia oral a la glucosa. En el primer grupo de mujeres, esta prueba era el predictor más poderoso de la enfermedad. Los modelos informáticos aprendieron a depender fuertemente de ella. Sin embargo, en el segundo grupo de mujeres, la relación entre esta prueba y la enfermedad había cambiado tan drásticamente que la prueba se volvió casi inútil para la predicción. Debido a que los modelos dependían tanto de esta pieza de información, toda su lógica se desmoronaba al encontrarse con el nuevo grupo. Cuando los investigadores eliminaron esta prueba de los datos por completo, los modelos funcionaron ligeramente mejor en el nuevo entorno, aunque siguieron teniendo dificultades. Esto sugiere que, para que un modelo sea útil en diferentes hospitales, debe ser entrenado sin depender de la prueba diagnóstica específica que varía tan drásticamente entre poblaciones.

Otro hallazgo clave se refirió a cómo los investigadores manejaron la información faltante. En los registros médicos, los datos suelen estar incompletos; un paciente puede tener registrada su presión arterial pero no su peso. El equipo probó tres métodos diferentes para llenar estos vacíos. Encontraron que el método más sofisticado, el cual utiliza las relaciones entre diferentes variables para adivinar los valores faltantes, era el más robusto al moverse entre grupos. Los métodos más simples, que solo completan con el valor promedio, tendían a romper las delicadas conexiones entre los puntos de datos, haciendo que los modelos fueran menos fiables. Esto resalta que la forma en que se preparan los datos es tan crítica como el modelo mismo.

El estudio también reveló un giro sorprendente respecto a las técnicas avanzadas utilizadas para solucionar estos problemas. Un método popular, que intenta alinear matemáticamente las propiedades estadísticas de los dos grupos, de hecho empeoró las cosas para la mayoría de los modelos. Mejoró el rendimiento de un tipo específico de modelo, pero degradó el de los demás. Esto sugiere que intentar forzar a dos poblaciones diferentes para que parezcan estadísticamente similares no es una solución mágica. De hecho, para los modelos que dependen de tomar decisiones basadas en umbrales específicos, este alineamiento distorsionó los datos de una manera que confundió aún más al modelo.

En última instancia, el trabajo apunta a una conclusión clara: la barrera para utilizar estas herramientas predictivas en diferentes clínicas no es la falta de potencia de cálculo o de algoritmos ingeniosos. La barrera son los datos mismos. La relación entre los factores de riesgo y la enfermedad no es fija; cambia dependiendo de a quién se esté estudiando. Los investigadores descubrieron que, si quieres que un modelo funcione en un lugar nuevo, no puedes simplemente entrenarlo con datos antiguos y esperar que se adapte. Debes incluir datos de la nueva población en el proceso de entrenamiento, o al menos recalibrar el modelo utilizando una pequeña cantidad de datos nuevos. Hasta que eso suceda, el enfoque más fiable para una herramienta de detección es evitar el uso de la prueba diagnóstica específica que causa la mayor confusión y, en su lugar, confiar en los indicadores de salud básicos y más estables que permanecen constantes entre diferentes grupos. Este estudio sirve como un recordatorio de que, en el mundo de la IA médica, un modelo que funciona perfectamente en una habitación puede ser completamente ciego en la siguiente, y la única forma de ver con claridad es aprender de las personas a las que se intenta ayudar.