Comparing Four Explanation Methods for Melanoma Classification: Fidelity, Utility and Trust
Cette étude évalue quatre méthodes d'explication post-hoc pour la classification du mélanome selon les axes de fidélité, d'utilité et de confiance, révélant des désaccords significatifs dans leurs classements et concluant qu'une évaluation multi-axes avec une porte de fidélité est essentielle pour sélectionner la technique d'explication la plus appropriée.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la détection du cancer de la peau, où les enjeux sont de taille, l'intelligence artificielle a atteint un stade où les programmes informatiques peuvent souvent repérer le mélanome avec autant de précision qu'un dermatologue humain. Ces programmes, appelés modèles d'apprentissage profond (deep learning), analysent des milliers d'images dermoscopiques — des photos de près de lésions cutanées — pour établir un diagnostic. Cependant, ces systèmes fonctionnent comme des « boîtes noires ». Ils fournissent une réponse, telle que « ceci est un cancer », mais n'offrent aucune explication sur la raison pour laquelle ils sont parvenus à cette conclusion. Pour que les médecins puissent faire confiance à ces outils et les utiliser, ils ont besoin de voir le raisonnement derrière la décision. Pour combler ce fossé, les chercheurs utilisent des « méthodes d'explication ». Ce sont des techniques qui génèrent une carte de chaleur visuelle sur l'image originale, mettant en évidence les zones spécifiques que l'ordinateur juge les plus importantes. Si la carte de chaleur brille intensément sur le grain de beauté suspect et s'estompe ailleurs, l'explication semble plausible. Mais une carte qui semble correcte à l'œil humain n'est pas nécessairement une carte qui reflète la façon dont l'ordinateur pense réellement.
Une équipe de chercheurs s'est donné pour mission de tester si l'attrait visuel de ces cartes de chaleur correspond réellement à leur fiabilité technique et à leur utilité pour un médecin. Ils se sont concentrés sur quatre méthodes populaires utilisées pour générer ces explications : Grad-CAM, Integrated Gradients, LIME et l'occlusion sensitivity (sensibilité à l'occlusion). Pour garantir un test équitable, ils ont entraîné un seul modèle informatique performant pour distinguer les taches cutanées bénignes du mélanome en utilisant un vaste ensemble de données publiques de plus de dix mille images. Une fois le modèle prêt, ils ont appliqué les quatre méthodes d'explication au même ensemble d'images de test. Les chercheurs ont ensuite évalué chaque méthode non seulement par l'aspect esthétique de la carte, mais selon trois critères distincts : la fidélité technique (la carte montre-t-elle réellement ce que le modèle utilise ?), l'utilité clinique (la carte pointe-t-elle le bon endroit sur la peau ?) et le calibrage de la confiance (la carte paraît-elle meilleure lorsque le modèle a raison que lorsqu'il a tort ?).
Les résultats ont révélé un décalage surprenant. Les chercheurs ont constaté que les quatre méthodes ne concordaient pas entre elles, et qu'une méthode obtenant un score élevé sur une mesure performait souvent mal sur une autre. Par exemple, deux méthodes, LIME et l'occlusion sensitivity, étaient excellentes pour localiser précisément la lésion sur la peau. Cependant, une troisième méthode, Integrated Gradients, qui produisait des cartes assez convaincantes lors de tests standards, a échoué à un test de réalité crucial. Lorsque les chercheurs ont brouillé les poids internes du modèle informatique — le transformant essentiellement en un système de choix aléatoires — les cartes produites par Integrated Gradients sont restées presque identiques aux originales. Cela a prouvé que la méthode ne reflétait pas réellement la connaissance apprise par le modèle, mais réagissait plutôt aux caractéristiques de l'image elle-même, telles que les contours de la lésion. En revanche, les trois autres méthodes ont modifié leurs cartes immédiatement après le brouillage du modèle, prouvant qu'elles écoutaient véritablement la logique de l'ordinateur.
Lorsque l'équipe a examiné à quel point ces cartes seraient utiles à un médecin, le classement a de nouveau changé. LIME plaçait l'attention directement sur la lésion, mais elle était extrêmement lente à générer, prenant plus de six secondes pour une seule image. L'occlusion sensitivity était presque aussi précise pour trouver la lésion, mais elle s'exécutait près de trente fois plus vite, ce qui en faisait un choix beaucoup plus pratique pour une clinique chargée. Peut-être plus important encore, l'étude a montré qu'une carte de chaleur qui semble confiante ne signifie pas que le diagnostic est correct. Les chercheurs ont découvert que lorsque l'ordinateur commettait une erreur, il le faisait souvent avec une grande assurance, produisant une carte de chaleur très nette et convaincante. Cela signifie qu'un médecin pourrait être induit en erreur par une belle carte signalant une certitude pour une mauvaise réponse. L'étude conclut que se fier à un seul contrôle visuel est dangereux. Au lieu de cela, les systèmes d'IA médicale devraient être évalués à l'aide de multiples tests vérifiant la véracité, l'exactitude et la rapidité, afin de garantir que les explications auxquelles nous faisons confiance disent réellement la vérité sur la façon dont la machine perçoit le monde.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.