Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

En el mundo de la tecnología médica, el aprendizaje automático ha prometido un futuro donde las computadoras puedan detectar enfermedades como la diabetes simplemente leyendo una lista de síntomas. La idea es poderosa: un paciente describe sus sensaciones —sed, fatiga, visión borrosa— y un algoritmo calcula instantáneamente su riesgo, detectando potencialmente la enfermedad antes de que cause un daño irreversible. Para construir estos doctores digitales, los científicos dependen de colecciones masivas de datos, donde miles de registros de pacientes pasados se utilizan para enseñar a la computadora cómo se ve una persona enferma frente a una sana. El estándar para probar estos sistemas es un método llamado validación cruzada. Imagine a un profesor dándole a un estudiante un examen de práctica y luego una versión ligeramente diferente del mismo examen, para ver si el estudiante realmente comprende el material o si solo ha memorizado las respuestas. En la comunidad científica, se supone que este proceso revela qué tan bien se desempeñará un modelo con nuevos pacientes no vistos anteriormente.

Sin embargo, un reexamen reciente de uno de los conjuntos de datos más famosos utilizados para este propósito ha descubierto una falla silenciosa en la forma en que se llevaron a cabo estas pruebas. El conjunto de datos en cuestión, recopilado de un hospital en Bangladesh, contiene registros de los síntomas de las personas y si tenían diabetes. Durante años, los investigadores han utilizado estos datos para entrenar modelos computacionales, reportando tasas de éxito que parecían casi demasiado buenas para ser verdad, afirmando a menudo niveles de precisión entre el 97 y el 99 por ciento. Estos números sugerían que los modelos eran casi perfectos. Pero un equipo de investigadores de Perú ha demostrado ahora que estos altos puntajes no fueron un signo de genialidad, sino el resultado de un error simple en el proceso de prueba. Encontraron que los datos contenían muchas copias idénticas del mismo perfil de paciente, y la forma en que se realizaron las pruebas permitió que la computadora obtuviera las respuestas incluso antes de que comenzara la prueba.

Los investigadores, liderados por William Marin-Rodriguez y sus colegas, echaron un nuevo vistazo al conjunto de datos UCI Early-Stage Diabetes. Esta colección contiene 520 registros, cada uno describiendo la edad de una persona y quince síntomas diferentes, como la micción frecuente o la pérdida de peso repentina. Cuando contaron las combinaciones únicas de estos síntomas, encontraron algo sorprendente: de los 520 registros, solo había 251 perfiles verdaderamente únicos. Esto significa que 269 de los registros eran duplicados exactos de otros, y muchos más compartían los mismos síntomas pero diferían solo en la edad. En los estudios originales, cuando los datos se dividían en grupos de entrenamiento y de prueba, estas copias idénticas se dispersaban a menudo de forma aleatoria. Un registro podía terminar en el grupo de entrenamiento, enseñándole la respuesta a la computadora, mientras que su gemelo exacto terminaba en el grupo de prueba. Cuando la computadora era probada con ese gemelo, no necesitaba adivinar o diagnosticar; simplemente reconocía el patrón que ya había memorizado.

Para ver cuánto infló esto los resultados, el equipo ejecutó los mismos modelos computacionales nuevamente, pero esta vez cambiaron las reglas del juego. En lugar de dividir los datos de forma aleatoria, mantuvieron todos los registros con el mismo perfil de síntomas en el mismo grupo. Esto aseguró que si un conjunto específico de síntomas aparecía en los datos de entrenamiento, ese conjunto exacto nunca pudiera aparecer en los datos de prueba. La computadora se vio obligada a aprender los patrones de la enfermedad en lugar de solo memorizar listas de pacientes específicos. La diferencia en los resultados fue dramática. Bajo el antiguo método aleatorio, los modelos alcanzaban puntuaciones de precisión entre el 97 y el 98 por ciento, coincidiendo con los informes entusiastas de años anteriores. Pero cuando los investigadores impusieron las reglas más estrictas y libres de filtraciones, esas cifras de precisión cayeron a un rango de 90 a 93 por ciento. Aunque siguen siendo impresionantes, esta caída reveló que las afirmaciones previas de un rendimiento casi perfecto eran en gran medida una ilusión creada por la estructura de los datos.

El estudio fue más allá para medir no solo si los modelos estaban en lo cierto o no, sino qué tan seguros estaban de sus predicciones. Observaron una métrica específica llamada coeficiente de correlación de Matthews, que ofrece una imagen más honesta del desempeño cuando el número de personas enfermas y sanas es desigual. Bajo el método de prueba aleatorio, este puntaje era artificialmente alto, sobreestimado por tanto como 0.16 puntos para algunos modelos. Cuando se eliminaron los duplicados del conjunto de prueba, los puntajes cayeron significamente. Más importante aún, la clasificación de los modelos cambió. El modelo que había sido coronado como el mejor bajo las reglas antiguas, un sistema complejo llamado ensamblaje de apilamiento (stacking ensemble), cayó del primer lugar al octavo lugar bajo las nuevas reglas. El modelo que realmente funcionó mejor cuando se probó de manera justa fue un tipo diferente de algoritmo basado en árboles conocido como Extra Trees. Este cambio demostró que la elección del "mejor" modelo no era un hecho sólido, sino el resultado del método de prueba defectuoso.

Los investigadores también investigaron qué sucede cuando se tiene en cuenta a los "duplicados cercanos". En el conjunto de datos, muchas personas compartían exactamente los mismos síntomas pero tenían edades diferentes. El equipo probó un escenario donde incluso estos perfiles casi idénticos se mantenían juntos, evitando que la computadora aprendiera de los síntomas de una persona de 40 años para predecir el riesgo de una de 45 años con los mismos síntomas. Esta prueba más estricta redujo aún más el desempeño de cada uno de los modelos. Curiosamente, un modelo muy simple que funciona encontrando el caso pasado más similar funcionó casi tan bien como los complejos bajo la primera prueba estricta, pero su desempeño colapsó cuando se eliminaron los duplicados cercanos. Esto sugirió que el modelo simple también dependía de encontrar copias de sí mismo en los datos de entrenamiento en lugar de comprender verdaderamente la enfermedad.

Las implicaciones de este trabajo se extienden más allá de solo un conjunto de datos. Los investigadores argumentan que los altos números de precisión reportados para la predicción de la diabetes en el pasado probablemente fueron inflados por este mismo problema de registros duplicados. Encontraron que la diferencia entre los resultados antiguos y los nuevos era lo suficientemente grande como para absorber las diminutas mejoras que los nuevos estudios suelen afirmar haber descubierto. Si un nuevo algoritmo afirma ser uno o dos por ciento mejor que los anteriores, esa mejora podría ser simplemente ruido causado por la forma en que se dividieron los datos, en lugar de un avance real. El equipo también señaló que muchos de los modelos estaban mal calibrados, lo que significa que, aunque podrían estar en lo cierto a menudo, sus puntuaciones de probabilidad no reflejaban la verdadera probabilidad de la enfermedad. Por ejemplo, algunos modelos eran excesivamente confiados, mientras que otros eran demasiado vacilantes, lo cual podría ser peligroso si un médico dependiera de esos números para tomar una decisión.

Este reexamen no significa que el aprendizaje automático no pueda ayudar a diagnosticar la diabetes, ni sugiere que los modelos sean inútiles. Simplemente significa que los parámetros utilizados para juzgarlos han sido defectuosos. Los investigadores enfatizan que sus hallazgos son estimaciones internas basadas en un conjunto de datos específico y no prueban que estos modelos funcionen en clínicas del mundo real. Señalan que los datos provienen de un solo hospital y carecen de detalles sobre cómo se confirmó la diabetes, por lo que los resultados no pueden aplicarse directamente al cribado general sin más pruebas. Sin embargo, el estudio ofrece un camino claro a seguir para los científicos. Recomiendan que los estudios futuros deben verificar la existencia de registros duplicados y agruparlos durante las pruebas, reportar qué tan inciertos son sus resultados y evitar declarar un único "mejor" modelo a menos que la diferencia sea estadísticamente significativa. Al limpiar el proceso de prueba, la comunidad científica puede asegurar que los doctores digitales del futuro sean juzgados por su verdadera capacidad de aprender, y no por su capacidad de obtener las respuestas.