Detecting Potential False-Normal Predictions in AI Analysis of Celiac-Related Duodenal Endoscopy Images

Dans la clinique moderne, les médecins s'appuient souvent sur une caméra pour scruter l'intérieur du corps humain, capturant des images fixes de la paroi de l'intestin grêle pour rechercher des signes de maladie. L'une de ces pathologies, la maladie cœliaque, provoque l'aplatissement et le rétrécissement des minuscules projections digitiformes de l'intestin, un changement qui peut parfois être repéré sur ces photographies. Bien qu'un médecin puisse généralement confirmer un diagnostic en prélevant un échantillon de tissu pour une analyse en laboratoire, les indices visuels présents dans une image sont précieux pour guider cette décision. Récemment, des programmes informatiques ont été entraînés pour examiner ces mêmes images et décider si elles montrent un intestin sain ou un intestin affecté par la maladie cœliaque. L'espoir est que ces programmes puissent agir comme une seconde paire d'yeux, repérant des signes subtils qu'un humain pourrait manquer ou signalant les images qui nécessitent un examen plus approfondi. Cependant, un ordinateur n'est pas parfait. Parfois, il déclare avec assurance qu'une image est normale alors que l'étiquette indique qu'elle est en réalité malade. La question cruciale pour toute personne utilisant cette technologie n'est pas seulement de savoir à quelle fréquence l'ordinateur a raison, mais de savoir comment trouver les images spécifiques où il se trompe avant qu'elles ne passent entre les mailles du filet.

Un chercheur s'est donné pour mission de tester une solution pratique à ce problème en utilisant une collection de 188 photographies numériques du duodénum, la première partie de l'intestin grêle. Ces images provenaient d'une archive publique et étaient déjà étiquetées par des experts comme montrant soit un intestin normal, soit un intestin atteint de la maladie cœliaque. Avant de lancer les tests, le chercheur a soigneusement nettoyé les données, supprimant cinq images qui étaient des copies numériques exactes d'autres et mettant de côté 24 images marquées comme « douteuses » car leur état était incertain. Cela a laissé un groupe final de 159 images distinctes pour le travail. L'objectif était de voir si un programme informatique pouvait apprendre à repérer ses propres erreurs. Plus précisément, le chercheur voulait savoir si l'ajout de vérifications simples de la qualité et de la stabilité de l'image pouvait aider un réviseur humain à prioriser les images de type « faux normal » à inspecter en premier, par rapport au simple examen de la confiance de l'ordinateur dans sa propre réponse.

Pour ce faire, le chercheur a entraîné un modèle de vision par ordinateur standard, un type de logiciel connu sous le nom de ResNet-18, pour distinguer les deux types d'images. L'entraînement a été réalisé de manière à garantir que le modèle n'avait jamais vu les images spécifiques sur lesquelles il serait testé plus tard, l'empêchant de simplement mémoriser les réponses. Une fois le modèle prêt, on lui a demandé de classifier chaque image de l'ensemble de test. Le modèle a correctement identifié la plupart des images, mais il a commis un type d'erreur spécifique : il a étiqueté 13 images comme « normales » alors que les étiquettes originales des experts indiquaient qu'elles étaient « cœliaques ». Ces 13 images sont devenues la cible de l'expérience. Le chercheur a ensuite créé deux listes différentes pour voir quelle méthode permettrait de détecter davantage de ces 13 erreurs cachées si un humain ne pouvait examiner qu'une petite fraction du total.

La première méthode était l'approche la plus simple possible : le chercheur regardait simplement le degré de confiance de l'ordinateur lorsqu'il qualifiait une image de « normale ». Si l'ordinateur n'était que légèrement sûr de lui, cette image était signalée pour révision. La seconde méthode tentait d'être plus intelligente en ajoutant des signaux supplémentaires. Elle examinait si la réponse de l'ordinateur changeait légèrement si l'image était rendue un peu plus claire ou plus sombre, ou si le fichier était enregistré avec une qualité légèrement inférieure. Elle mesurait également l'image elle-même pour détecter des défauts techniques tels que le flou, une luminosité extrême ou un reflet au centre de la photo. Ces trois facteurs — faible confiance, réponses instables et mauvaise qualité d'image — ont été combinés en un score unique pour classer les images pour révision. Le chercheur a ensuite simulé un scénario où un humain ne pouvait examiner qu'un nombre fixe d'images, tel que 20 % du total, pour voir quelle méthode trouverait davantage de ces 13 erreurs manquées.

Les résultats ont été clairs et étonnamment directs. Lorsque le chercheur a examiné les 15 premières images signalées par la méthode de la « confiance seule », il a trouvé trois des 13 cas manqués. Lorsqu'il a examiné les 15 premières images signalées par la méthode du « score combiné » plus complexe, il a également trouvé exactement trois des 13 cas manqués. Les vérifications supplémentaires de la qualité de l'image et de la stabilité n'ont pas aidé le système à trouver plus d'erreurs que le simple examen du niveau de confiance de l'ordinateur. En fait, à un taux de révision plus faible, où seules quelques images pouvaient être vérifiées, la méthode simple de la confiance a trouvé plus d'erreurs que la méthode complexe. Le chercheur a également testé une variante où les images étaient recadrées pour supprimer les bords et les bordures avant l'analyse, espérant voir si l'ordinateur s'appuyait sur des raccourcis visuels comme du texte ou des superpositions d'appareils, mais ce changement n'a pas non plus amélioré la performance du système de score complexe.

L'étude conclut que pour cet ensemble d'images spécifique, l'ajout de vérifications de la qualité technique et de tests de stabilité n'a pas amélioré la capacité à détecter les erreurs de l'ordinateur. La complexité supplémentaire n'a pas payé sa place. Cela ne signifie pas que la qualité ou la stabilité de l'image sont sans importance en général, ni que l'ordinateur est parfait. Cela signifie simplement que, dans ce test spécifique, le propre sentiment de confiance de l'ordinateur était tout aussi efficace pour pointer du doigt les images risquées qu'un système plus complexe qui tentait de mesurer les défauts techniques de l'image. Le cherchereur note que l'ensemble de données était petit, ne contenant que 159 images, et que les étiquettes étaient basées sur des catégories d'images plutôt que sur des biopsies de patients confirmées, ce qui limite la portée des conclusions à cette archive spécifique. Ce travail constitue un test rigoureux et transparent montrant qu'il ne faut pas supposer qu'un score de sécurité plus complexe est meilleur qu'un simple contrôle de confiance sans preuve directe. En fin de compte, la manière la plus efficace de trouver les erreurs de l'ordinateur dans ce cas précis était de faire confiance à sa propre incertitude, plutôt que d'essayer de mesurer l'image elle-même.