Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

Dans le monde de la technologie médicale, l'apprentissage automatique a promis un avenir où les ordinateurs pourraient détecter des maladies comme le diabète simplement en lisant une liste de symptômes. L'idée est puissante : un patient décrit ses sensations — soif, fatigue, vision floue — et un algorithme calcule instantanément son risque, permettant potentiellement de détecter la maladie avant qu'elle ne cause des dommages irréversibles. Pour construire ces médecins numériques, les scientifiques s'appuient sur de vastes collections de données, où des milliers de dossiers de patients passés sont utilisés pour apprendre à l'ordinateur ce qu'est une personne malade par rapport à une personne en bonne santé. La norme pour tester ces systèmes est une méthode appelée validation croisée. Imaginez un enseignant donnant à un élève un examen blanc, puis une version légèrement différente du même examen, pour voir si l'élève comprend réellement la matière ou s'il a simplement mémorisé les réponses. Dans la communauté scientifique, ce processus est censé révéler la capacité d'un modèle à performer sur de nouveaux patients, encore jamais rencontrés.

Cependant, un réexamen récent de l'un des ensembles de données les plus célèbres utilisés à cette fin a mis au jour une faille discrète dans la manière dont ces tests ont été effectués. L'ensemble de données en question, recueilli dans un hôpital au Bangladesh, contient des dossiers sur les symptômes des personnes et la présence ou non de diabète. Pendant des années, des chercheurs ont utilisé ces données pour entraîner des modèles informatiques, rapportant des taux de réussite qui semblaient presque trop beaux pour être vrais, revendiquant souvent des niveaux de précision compris entre 97 et 99 pour cent. Ces chiffres suggéraient que les modèles étaient presque parfaits. Mais une équipe de chercheurs du Pérou a maintenant démontré que ces scores élevés n'étaient pas un signe de génie, mais le résultat d'une erreur simple dans le processus de test. Ils ont découvert que les données contenaient de nombreuses copies identiques du même profil de patient, et que la manière dont les tests étaient menés permettait à l'ordinateur d'obtenir les réponses avant même que le test ne commence.

Les chercheurs, dirigés par William Marin-Rodriguez et ses collègues, ont porté un regard neuf sur l'ensemble de données UCI Early-Stage Diabetes. Cette collection détient 520 enregistrements, chacun décrivant l'âge d'une personne et quinze symptômes différents, tels qu'une miction fréquente ou une perte de poids soudaine. Lorsqu'ils ont compté les combinaisons uniques de ces symptômes, ils ont trouvé quelque chose de frappant : sur les 520 enregistrements, il n'y avait que 251 profils réellement uniques. Cela signifie que 269 des enregistrements étaient des doublons exacts d'autres, et beaucoup d'autres partageaient les mêmes symptômes mais différaient uniquement par l'âge. Dans les études originales, lorsque les données étaient divisées en groupes d'entraînement et de test, ces copies identiques étaient souvent dispersées de manière aléatoire. Un enregistrement pouvait se retrouver dans le groupe d'entraînement, enseignant la réponse à l'ordinateur, tandis que son jumeau exact se retrouvait dans le groupe de test. Lorsque l'ordinateur était testé sur ce jumeau, il n'avait pas besoin de deviner ou de diagnostiquer ; il reconnaissait simplement le schéma qu'il avait déjà mémorisé.

Pour voir à quel point cela avait gonflé les résultats, l'équipe a fait tourner les mêmes modèles informatiques à nouveau, mais cette fois, ils ont changé les règles du jeu. Au lieu de diviser les données de manière aléatoire, ils ont gardé tous les enregistrements présentant le même profil de symptômes dans le même groupe. Cela garantissait que si un ensemble spécifique de symptômes apparaissait dans les données d'entraînement, cet ensemble exact ne pourrait jamais apparaître dans les données de test. L'ordinateur était forcé d'apprendre les schémas de la maladie plutôt que de simplement mémoriser des listes de patients spécifiques. La différence dans les résultats fut spectaculaire. Sous l'ancienne méthode aléatoire, les modèles atteignaient des scores de précision compris entre 97 et 98 pour cent, rejoignant les rapports élogieux des années précédentes. Mais lorsque les chercheurs ont imposé les règles plus strictes, sans fuite de données, ces chiffres de précision sont tombés dans une fourchette de 90 à 93 pour cent. Bien qu'encore impressionnants, cette chute a révélé que les affirmations précédentes de performance quasi parfaite étaient largement une illusion créée par la structure des données.

L'étude est allée plus loin en mesurant non seulement si les modèles avaient raison ou tort, mais aussi à quel point ils étaient confiants dans leurs prédictions. Ils ont examiné une métrique spécifique appelée coefficient de corrélation de Matthews, qui donne une image plus honnête de la performance lorsque le nombre de personnes malades et de personnes en bonne santé est inégal. Sous la méthode de test aléatoire, ce score était artificiellement élevé, surestimé de 0,16 point pour certains modèles. Lorsque les doublons ont été supprimés de l'ensemble de test, les scores ont chuté de manière significative. Plus important encore, le classement des modèles a changé. Le modèle qui avait été couronné meilleur sous les anciennes règles, un système complexe appelé "stacking ensemble", est tombé de la première à la huitième place sous les nouvelles règles. Le modèle qui a réellement le mieux performé lorsqu'il a été testé équitablement était un autre type d'algorithme basé sur des arbres, connu sous le nom d'Extra Trees. Ce changement a prouvé que le choix du "meilleur" modèle n'était pas un fait solide, mais le résultat de la méthode de test défaillante.

Les chercheurs ont également étudié ce qui se passe lorsqu'on tient compte des « quasi-doublons ». Dans l'ensemble de données, de nombreuses personnes partageaient exactement les mêmes symptômes mais avaient des âges différents. L'équipe a testé un scénario où même ces profils quasi identiques étaient regroupés, empêchant l'ordinateur d'apprendre des symptômes d'une personne de 40 ans pour prédire le risque pour une personne de 45 ans présentant les mêmes symptômes. Ce test plus strict a abaissé davantage la performance de chaque modèle. Curieusement, un modèle très simple qui fonctionne en trouvant le cas passé le plus similaire a presque aussi bien performé que les modèles complexes lors du premier test strict, mais sa performance s'est effondrée lorsque les quasi-doublons ont été supprimés. Cela a suggéré que le modèle simple reposait également sur la recherche de copies de lui-même dans les données d'entraînement plutôt que sur une véritable compréhension de la maladie.

Les implications de ce travail s'étendent au-delà d'un seul ensemble de données. Les chercheurs soutiennent que les chiffres de précision élevés rapportés par le passé pour la prédiction du diabète étaient probablement gonflés par ce même problème de doublons dans les enregistrements. Ils ont constaté que la différence entre les anciens et les nouveaux résultats était assez grande pour absorber les minuscules améliorations que de nouvelles études prétendent souvent avoir découvertes. Si un nouvel algorithme prétend être un ou deux pour cent meilleur que les anciens, cette amélioration pourrait n'être que du bruit causé par la façon dont les données ont été divisées, plutôt qu'une réelle percée. L'équipe a également noté que de nombreux modèles étaient mal calibrés, ce qui signifie que, bien qu'ils puissent avoir raison souvent, leurs scores de probabilité ne reflétaient pas la probabilité réelle de la maladie. Par exemple, certains modèles étaient excessivement confiants, tandis que d'autres étaient trop hésitants, ce qui pourrait être dangereux si un médecin se fiait à ces chiffres pour prendre une décision.

Cette réévaluation ne signifie pas que l'apprentissage automatique ne peut pas aider à diagnostiquer le diabète, ni qu'elle suggère que les modèles sont inutiles. Cela signifie simplement que les références utilisées pour les juger étaient erronées. Les chercheurs soulignent que leurs conclusions sont des estimations internes basées sur un ensemble de données spécifique et ne prouvent pas que ces modèles fonctionnent dans des cliniques du monde réel. Ils précisent que les données proviennent d'un seul hôpital et manquent de détails sur la manière dont le diabète a été confirmé, donc les résultats ne peuvent pas être directement appliqués au dépistage général sans tests supplémentaires. Cependant, l'étude offre une voie claire pour les scientifiques. Ils recommandent que les études futures vérifient la présence de doublons dans les enregistrements et les regroupent lors des tests, rapportent leur degré d'incertitude, et évitent de déclarer un modèle unique comme étant le "meilleur" à moins que la différence ne soit statistiquement significative. En purifiant le processus de test, la communauté scientifique peut s'assurer que les médecins numériques du futur soient jugés sur leur véritable capacité d'apprentissage, et non sur leur capacité à obtenir les réponses.