Feature leakage inflates machine-learning estimates of antiretroviral non-adherence risk in children living with HIV: a tiered sensitivity analysis of the EARTH cohort

En el mundo de la medicina moderna, los médicos dependen cada vez más de las computadoras para ayudar a predecir qué pacientes podrían tener dificultades para tomar sus medicamentos diarios. Esto es especialmente crítico en niños que viven con VIH, donde perder dosis de la terapia antirretroviral puede tener consecuencias graves y potencialmente mortales. Para realizar estas predicciones, los investigadores recopilan grandes cantidades de datos de las visitas hospitalarias, tales como cuántas pastillas le quedan al niño, si un padre informó una dosis perdida o cuánto tiempo tomó surtir una receta médica. Introducen esta información en modelos de aprendizaje automático, que son programas informáticos sofisticados diseñados para encontrar patrones y pronosticar comportamientos futuros. La esperanza es que estas herramientas identifiquen a los niños en riesgo de manera temprana, permitiendo que las clínicas intervengan antes de que la salud del niño se deteriore. Sin embargo, existe una trampa oculta en cómo se recopila y utiliza esta información. Si la información utilizada para realizar la predicción está demasiado ligada a la definición del problema mismo, la computadora puede parecer un genio cuando en realidad solo está leyendo la clave de respuestas. Este fenómeno, conocido como fuga de datos (data leakage), crea una ilusión de perfección en la precisión que desaparece en el momento en que el modelo se prueba en el mundo real.

Un equipo de investigadores de Uganda investigó recientemente este mismo problema utilizando datos de la cohorte EARTH, un estudio a largo plazo que realiza un seguimiento de niños que viven con VIH. Querían comprender cuánto dependía el éxito aparente de un modelo de aprendizaje automático de un tipo específico de problema metodológico: utilizar las mismas pistas que definen el problema para resolver el problema. En su estudio complementario, el equipo había construido un modelo para predecir la "adherencia suboptimal", la cual definieron como un niño que pierde dosis, se queda sin medicina o retrasa el surtido de una receta en la farmacia. Para ser rigurosos, previamente habían eliminado los puntos de datos específicos que creaban esta definición antes de entrenar a su computadora. Ese trabajo anterior mostró resultados modestos y realistas. Pero para este nuevo análisis, los investigadores se plantearon una pregunta diferente: ¿qué sucede si dejamos esas pistas? Querían ver cuánto se inflaría el rendimiento del modelo si se le permitiera echar un vistazo a la respuesta.

Para averiguarlo, los investigadores reconstruyeron el conjunto de datos a partir del mismo grupo de 208 niños y 590 visitas a la clínica, pero organizaron los datos en tres capas distintas de rigor. La primera capa fue la versión "no controlada", donde se le dio a la computadora cada una de las piezas de información disponibles, incluyendo los informes directos de dosis perdidas y el recuento exacto de pastillas restantes. Estos son los hechos específicos que los investigadores utilizaron para decidir si un niño tenía una adherencia deficiente o no. Cuando la computadora fue entrenada con esta capa, los resultados fueron asombrosamente perfectos. Seis tipos diferentes de algoritmos de aprendizaje automático, incluyendo modelos complejos basados en árboles, alcanzaron una puntuación de 1.000, lo que significa que no cometieron ningún error en sus predicciones. La computadora no estaba prediciendo el futuro; simplemente estaba repitiendo las reglas que se le habían dado. Encontró que si un niño había perdido una dosis, el modelo predecía la falta de adherencia, y si no la había perdido, predecía la adherencia. Era un bucle perfecto, pero inútil para la predicción en el mundo real.

Luego, los investigadores pasaron a la segunda capa, la versión "ligeramente controlada". Aquí, eliminaron los cinco campos específicos que definían directamente el resultado: el informe de una dosis perdida, el retraso en la recogida de la farmacia, el informe de quedarse sin medicina, el cálculo del retraso y la cantidad de medicina restante. Sin estas pistas directas, el rendimiento de la computadora disminuyó significamente. El mejor modelo, un programa llamado CatBoost, vio cómo su puntuación de precisión caía de un perfecto 1.000 a 0.735. Aunque este seguía siendo un resultado decente, estaba muy lejos de la perfección de la primera capa. Esta caída demostró que el éxito inicial era en gran medida una ilusión creada por el modelo leyendo la definición del problema en lugar de aprender un patrón genuino.

Sin embargo, la historia no terminó ahí. Los investigadores notaron que incluso en esta segunda capa, una variable seguía dominando las decisiones del modelo: un campo que indicaba si el niño había interrumpido su tratamiento desde la última visita. Aunque esta variable no definía técnicamente el resultado, estaba tan estrechamente relacionada con el concepto de adherencia que actuaba como un sustituto (proxy) casi perfecto. Cuando los investigadores eliminaron esta última variable para crear la tercera capa, la "estrictamente controlada", el rendimiento del modelo volvió a caer. El modelo CatBoost bajó su puntuación a 0.680, y su capacidad para identificar correctamente los casos más críticos cayó a 0.407. Este resultado final coincidió estrechamente con el modesto rendimiento visto en su estudio anterior, más riguroso, confirmando que la verdadera señal predictiva en los datos era mucho más débil de lo que los números inicialmente inflados sugerían.

El estudio destaca una lección crucial para cualquiera que utilice computadoras para predecir resultados médicos. Los investigadores encontraron que los modelos basados en árboles, que son populares por su capacidad para manejar datos complejos, eran particularmente susceptibles a este tipo de inflación porque son excelentes encontrando las reglas exactas que definen una categoría. Cuando el resultado objetivo se construye a partir de una combinación simple de variables de proceso —como "dosis perdida O quedarse sin medicina"— el modelo puede memorizar fácilmente estas reglas y alcanzar puntuaciones perfectas que no reflejan la realidad. Los investigadores enfatizan que variables como los registros de surtido de farmacia no son inherentemente malas; son útiles para predecir diferentes resultados, como si el virus de un niño será suprimido. El peligro surge solo cuando el objetivo es predecir la adherencia misma, y se permite que el modelo utilice las mismas mediciones que definen la adherencia como sus pistas principales.

En última instancia, este análisis sirve como una advertencia contra el hecho de tomar los números de alto rendimiento sin cuestionarlos. Los investigadores demostraron que incluir campos que definen el resultado puede aumentar artificialmente la discriminación de un modelo en hasta 0.41 puntos, una diferencia masiva que podría llevar a los clínicos a confiar en una herramienta que en realidad no está lista para su uso. Sugieren que los estudios futuros deberían adoptar un enfoque por niveles, eliminando sistemáticamente los componentes directos y los sustitutos cercanos para auditar este tipo de fuga. Al hacerlo, los científicos pueden asegurar que los modelos que construyen están detectando señales genuinas y transportables que se mantendrán en el mundo real, en lugar de simplemente reflejar la estructura de los datos con los que fueron alimentados. El trabajo confirma que, si bien el aprendizaje automático tiene una gran promesa para mejorar la atención en entornos de bajos recursos, su poder debe ser moderado con una comprensión rigurosa de cómo se construyen los datos.