Similar discrimination, different behaviour under synthetic occlusion: confidence and attribution reproducibility of deep learning models for intraoral ultrasonography
Bien que plusieurs architectures d'apprentissage profond atteignent une discrimination de base similairement élevée pour l'échographie intraorale, elles présentent des comportements radicalement différents et souvent peu fiables sous occlusion synthétique, EfficientNet-B0 montrant un effondrement sévère des performances, un excès de confiance et une faible reproductibilité par rapport aux autres modèles.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
À l'intérieur de la bouche humaine, une sonde à ultrasons spécialisée peut capturer des images en temps réel des tissus mous sans utiliser de radiations. Ces images révèlent les couches de muscles et de peau, offrant une fenêtre sur l'anatomie qui est utile pour planifier des chirurgies ou évaluer la santé des tissus. Cependant, transformer ces images en diagnostics fiables nécessite plus qu'une simple image claire ; cela nécessite un programme informatique, ou un modèle, capable d'interpréter correctement ce qu'il voit. Ces dernières années, des scientifiques ont entraîné de nombreux modèles informatiques de ce type pour reconnaître des motifs dans les images médicales. Une façon courante d'évaluer ces modèles est de voir la fréquence à laquelle ils donnent la bonne réponse sur un ensemble d'images de test. Mais un score élevé lors d'un test standard ne raconte pas toute l'histoire. Il ne révèle pas comment le modèle se comporte lorsque l'image est modifiée, s'il reste confiant lorsqu'il se trompe, ou si les raisons qu'il invoque pour sa décision sont cohérentes.
Une équipe de chercheurs de l'Université Yonsei en Corée du Sud s'est donné pour mission d'aller au-delà des simples scores de test. Ils se sont concentrés sur une tâche spécifique : distinguer deux régions de la joue interne, connues sous le nom de muqueuse buccale. Une région se situe au-dessus des muscles de la pommette, et l'autre se situe au-dessus du muscle principal de la joue. Bien qu'un médecin sache exactement où la sonde est placée, un modèle informatique doit apprendre à distinguer ces deux zones simplement en regardant l'image. Les chercheurs ont entraîné cinq types différents de modèles informatiques sur des centaines d'images provenant de volontaires sains. Les cinq modèles ont très bien performé lors du test standard, identifiant correctement les régions dans presque tous les cas. Cette haute performance suggérait qu'ils étaient tous des candidats également bons pour une utilisation médicale future.
Pour tester s'ils étaient vraiment semblables, les chercheurs ont soumis les modèles à une série de changements contrôlés. Ils ont pris les images et ont recouvert certaines parties avec un bloc gris solide et uniforme, effaçant ainsi l'information de la moitié supérieure ou inférieure de l'image. Ce processus, appelé occlusion, simule ce qui pourrait arriver si une partie d'une image était floue ou manquante. Lorsque les chercheurs ont retiré la moitié de l'image, quatre des cinq modèles ont continué à bien performer, montrant qu'ils pouvaient encore trouver les indices nécessaires dans les parties restantes. Un modèle, cependant, a réagi de manière très différente. Lorsque la moitié de son image a été couverte, sa capacité à distinguer les deux régions s'est effondrée, chutant à un niveau qui ne dépassait pas le hasard.
La découverte la plus surprenante n'était pas seulement que ce modèle spécifique ait échoué, mais la manière dont il a échoué. Lorsque les autres modèles faisaient des erreurs, ils avaient tendance à être incertains de leurs réponses. Ce modèle, par contre, est devenu dangereusement confiant. Même alors que sa précision chutait au niveau du hasard, il continuait à attribuer une certitude extrêmement élevée à ses mauvaises réponses. C'était comme si le modèle avait perdu sa capacité à voir la différence, mais n'avait pas perdu la conviction qu'il avait raison. Ce comportement suggère qu'un modèle peut paraître hautement fiable sur un test standard tout en cachant une dépendance fragile à des parties spécifiques de l'image qui, lorsqu'elles sont supprimées, provoquent son effondrement total.
Les chercheurs ont également étudié la manière dont les modèles « expliquaient » leurs décisions. En utilisant une technique qui met en évidence les parties d'une image sur lesquelles un modèle se concentre, ils ont vérifié si ces explications étaient cohérentes. Ils ont découvert que les zones mises en évidence changeaient considérablement selon la manière dont le modèle avait été entraîné, même lorsque les scores de test finaux étaient identiques. Cela signifie qu'une explication unique provenant d'une version d'un modèle peut sembler plausible, mais qu'elle ne peut être considérée comme un guide stable de ce que le modèle apprend réellement. Les motifs d'attention n'étaient pas reproductibles, ce qui rend difficile l'utilisation de ces explications visuelles pour comprendre la logique du modèle.
L'étude conclut que deux modèles peuvent sembler identiques sur un bulletin de notes standard, tout en se comportant de manières complètement opposées lorsque l'entrée est modifiée. Les chercheurs ont constaté qu'une performance de base similaire peut dissimuler un modèle qui est hautement sensible aux informations manquantes et sujet à des erreurs confiantes. Ils n'ont pas trouvé de faille architecturale unique causant cela, ni prouvé que cet échec spécifique se produirait dans un cadre clinique réel avec de vrais patients. Au lieu de cela, ils ont démontré que l'évaluation d'un modèle nécessite plus que la simple vérification de sa précision. Pour véritablement comprendre la capacité d'un ordinateur à interpréter des images médicales, il faut également tester sa gestion des données manquantes, la façon dont il exprime sa confiance lorsqu'il se trompe, et si son raisonnement reste cohérent. Sans ces vérifications, un modèle qui semble parfait sur le papier pourrait s'avérer peu fiable en pratique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.