Cethraian-X: A Leakage-Clean, Multi-Seed Benchmark of Chest X-Ray Classification Under Weak Labels

Imaginez que vous essayiez d'apprendre à un ordinateur à devenir médecin en lui montant des millions de photos de poitrines humaines. C'est le monde de l'intelligence artificielle médicale, un domaine où les machines apprennent à repérer des maladies comme la pneumonie ou des fractures osseuses simplement en regardant des radiographies. Mais voici la partie délicate : les ordinateurs sont comme des étudiants très observateurs qui trichent parfois. Si vous leur montrez la photo du bras d'un patient dans la salle de radiographie d'un hôpital spécifique, l'ordinateur pourrait apprendre à dire : « Oh, cet hôpital a toujours la pneumonie ! » au lieu de réellement chercher la maladie. C'est ce qu'on appelle la « fuite de données » (data leakage), et c'est comme laisser un étudiant jeter un coup d'œil au corrigé avant l'examen. Pour obtenir une note équitable, les scientifiques doivent s'assurer que l'ordinateur n'a jamais vu les questions de l'examen auparavant, et qu'il ne se contente pas de mémoriser des motifs minuscules et invisibles dans les pixels qui se répètent par hasard. Cet article plonge précisément dans ce problème, en posant la question : si nous nettoyons vraiment, vraiment bien les données, est-ce que le score de l'ordinateur change réellement, ou était-ce simplement de la chance ?

Entrez dans Cethraian-X, une nouvelle expérience en « salle blanche » conçue pour tester la capacité d'un ordinateur à lire des radiographies thoraciques sans aucune triche. Les chercheurs ont pris une collection massive et célèbre de 112 120 radiographies thoraciques et les ont soumises à un audit rigoureux. Considérez cela comme un détective nettoyant une scène de crime : ils ont supprimé toutes les photos en double, ont vérifié qu'aucun patient n'apparaissait à la fois dans le groupe d'« entraînement » et dans le groupe de l'« examen final », et ont même scanné le code numérique des images pour s'assurer qu'aucune paire de photos n'était secrètement des jumeaux identiques. Ils voulaient voir si la performance de l'ordinateur chuterait une fois ces raccourcis sournois bloqués.

L'ordinateur qu'ils ont testé est un modèle d'IA standard et bien connu appelé DenseNet-121, qui est comme un étudiant intelligent mais basique. Les chercheurs ont fait passer cet étudiant à l'examen trois fois, en utilisant trois « graines aléatoires » (random seeds) différentes (pensez à ces graines comme des points de départ différents pour le cerveau de l'étudiant) pour voir si les résultats étaient cohérents. Ils ont gardé tout le reste exactement identique : les mêmes photos, les mêmes règles et la même façon de noter.

Voici ce qu'ils ont trouvé. Après avoir nettoyé les données de toutes ces images en double et superposées, le score global de l'ordinateur a à peine bougé. Il a obtenu un macro ROC-AUC de 0,80976 ± 0,00027. Pour mettre cela en perspective, la version légèrement « sale » originale du test avait un score de 0,81030. La différence était infime : seulement -0,00054. Cela suggère que pour cet ordinateur spécifique et cet ensemble de données spécifique, la « triche » n'a pas réellement beaucoup boosté le score. L'ordinateur était stable ; il obtenait le même résultat que les données soient désordonnées ou parfaitement propres.

Cependant, l'article contient un « mais » très important. Bien que l'ordinateur soit bon pour classer les maladies (dire « ce patient a plus de chances d'avoir un nodule que celui-là »), il était terrible pour donner de vraies probabilités. Quand l'ordinateur disait qu'il y avait une « probabilité de 70 % » d'une maladie, ce n'était pas réellement 70 %. Les chercheurs ont essayé de corriger cela avec une technique appelée « mise à l'échelle de la température » (temperature scaling), qui est comme ajuster le thermostat de la confiance de l'ordinateur, mais même après la correction, les chiffres étaient toujours erronés. Le score de « compétence de Brier » (Brier skill), qui mesure la qualité d'une prédiction par rapport à une simple estimation de la moyenne, était profondément négatif (-1,32902). Cela signifie que les chiffres de confiance de l'ordinateur étaient pires que l'inutilité pour prendre de réelles décisions médicales.

L'étude a également examiné des maladies spécifiques. Pour quelque chose de courant comme l'Épanchement (liquide dans les poumons), l'ordinateur était correct. Mais pour des choses rares comme la Hernie, l'ordinateur semblait extrêmement performant avec un score de 0,91302, mais les chercheurs préviennent que cela est trompeur car il n'y avait que 86 cas positifs dans le groupe de test — un nombre minuscule qui rend le score instable et peu fiable. De même, pour la Pneumonie, la capacité de l'ordinateur à trouver la maladie (Précision Moyenne) était très faible, tournant autour de 0,05258, ce qui est à peine meilleur qu'un choix aléatoire étant donné la rareté des cas positifs dans le groupe de test.

Les auteurs sont très clairs sur ce que cet article n'est pas. Ils déclarent explicitement qu'il ne s'agit pas d'une percée médicale. Ils n'ont pas prouvé que cet ordinateur peut remplacer un médecin, ni montré qu'il fonctionne sur des patients dans un véritable hôpital. En fait, ils listent dix limitations spécifiques, incluant le fait que les « étiquettes » (les noms des maladies) provenaient de comptes rendus de radiologie écrits par des humains, et non de médecins experts vérifiant chaque image individuellement. Ils admettent également qu'ils n'ont pas testé l'ordinateur sur un autre ensemble de données, nous ne savons donc pas s'il fonctionnerait ailleurs.

En fin de compte, Cethraian-X est un « rappel à la réalité » pour le domaine de l'IA. Il montre que même si nous pouvons rendre nos données parfaitement propres et nos expériences parfaitement reproductibles, le modèle informatique sous-jacent lutte encore pour nous donner des chiffres dignes de confiance pour la médecine réelle. L'ordinateur peut trier les images, mais il ne peut pas encore dire à un médecin : « Je suis sûr à 90 % que ce patient est malade ». Pour l'instant, ce travail constitue un benchmark solide et propre pour tester les futures idées des chercheurs, mais il trace une ligne rouge dans le sable : nous ne sommes pas encore prêts à laisser ces machines prendre des décisions cliniques.