ShortKit-ML: an open toolkit for measuring shortcut potential in medical imaging embeddings
ShortKit-ML est un kit d'outils ouvert qui introduit une sonde conditionnelle calibrée pour mesurer le potentiel de raccourci dans les plongements d'imagerie médicale gelés, démontrant que bien que ses scores soient corrélés à la dépendance des classifieurs confondus vis-à-vis d'attributs sensibles comme le sexe, l'outil seul ne peut confirmer ou éliminer une telle dépendance sans tester également la tête du classifieur elle-même.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
L'imagerie médicale a atteint un stade où l'intelligence artificielle peut souvent égaler l'expertise humaine pour détecter des maladies sur des radiographies. Ces systèmes fonctionnent en convertissant d'abord une image en un résumé mathématique, une liste compacte de nombres qui capture les caractéristiques essentielles de l'image. Ce résumé est appelé un « embedding » (ou plongement lexical). Une fois créé, ce résumé peut être injecté dans un programme informatique plus simple pour établir un diagnostic. Cependant, un score élevé ne garantit pas que le système regarde la bonne chose. Parfois, ces systèmes apprennent à s'appuyer sur des « raccourcis ». Un raccourci est un signal qui permet de prédire correctement la réponse dans les données d'entraînement, mais qui ne fait pas partie de la maladie réelle. Par exemple, un modèle pourrait apprendre à prédire une fracture de la hanche non pas en regardant l'os, mais en remarquant le type de scanner utilisé ou l'hôpital où la photo a été prise. Si les données changent, ces raccourcis échouent et le modèle commet des erreurs dangereuses.
Le problème central est que ces raccourcis se cachent souvent à l'intérieur même du résumé mathématique. Même avant qu'un diagnostic ne soit posé, le résumé peut déjà contenir des indices cachés sur l'âge, le sexe ou l'origine ethnique d'un patient. Si un modèle utilise ces indices pour prendre une décision, il pourrait produire des résultats injustes ou inexacts pour certains groupes de personnes. La question à laquelle les chercheurs se sont longtemps heurtés est de savoir s'ils peuvent examiner uniquement le résumé mathématique et déterminer s'il contient ces indices cachés, sans avoir besoin de voir l'image originale ou le diagnostic final. S'ils peuvent mesurer ce « potentiel de raccourci » très tôt, ils pourraient être en mesure d'arrêter les mauvais modèles avant même qu'ils ne soient utilisés sur des patients.
Une équipe de chercheurs a conçu un nouvel outil en libre accès appelé ShortKit-ML pour répondre à cette question. Leur travail se concentre sur un type spécifique de test : peuvent-ils examiner un résumé mathématique figé et déterminer s'il contient des informations sur un trait sensible, comme le sexe ou l'origine ethnique d'un patient, que le diagnostic de la maladie lui-même n'explique pas ? Pour ce faire, ils ont développé une méthode qui agit comme un filtre très méticuleux. Ils prennent le résumé et l'étiquette de la maladie connue, puis demandent à un programme informatique simple de deviner le trait sensible du patient. Si le programme peut deviner le trait mieux que le hasard, même en connaissant la maladie, cela signifie que le résumé contient des informations supplémentaires et indésirables. Pour s'assurer que ce test n'est pas trompé par le bruit aléatoire, les chercheurs mélangent les traits sensibles au sein de groupes de patients ayant le même état de la maladie. Cela crée une base de référence de ce à quoi ressemble une supposition aléatoire, leur permettant de mesurer exactement quelle quantité d'information réelle se cache dans le résumé.
Les chercheurs ont mis cet outil à l'épreuve sur deux vastes collections de radiographies thoraciques, l'une provenant des États-Unis et l'autre d'un autre système hospitalier. Ils ont examiné sept types différents de résumés mathématiques pré-entraînés, qui sont comme des « yeux » différents entraînés pour voir des images médicales. Ils ont vérifié si ces résumés contenaient des indices sur le sexe, l'âge et l'origine ethnique. Les résultats ont été clairs et cohérents : chaque résumé testé contenait des informations sur ces traits. Pour le sexe, l'information cachée était très forte ; l'outil pouvait identifier presque parfaitement le sexe d'un patient simplement en regardant le résumé, même lorsque l'étiquette de la maladie était connue. Les résultats pour l'âge étaient également solides, bien que légèrement moins marqués. L'origine ethnique était plus difficile à détecter, et la force du signal variait selon la collection d'images spécifique et le type de résumé utilisé, mais l'outil en a tout de même trouvé des traces dans la plupart des cas.
Pour comprendre si la découverte de ces indices cachés importait réellement, les chercheurs ont mené une seconde expérience. Ils ont pris ces mêmes résumés et ont entraîné un nouveau programme informatique simple pour établir un diagnostic, mais ils lui ont délibérément donné des données d'entraînement où la maladie et le trait sensible étaient mélangés. Dans ces données désordonnées, le sexe ou l'âge d'un patient étaient fortement liés à la présence de la maladie, créant un piège parfait pour un raccourci. Ils ont découvert que les résumés présentant les indices cachés les plus forts lors du premier test étaient ceux qui amenaient le nouveau programme à s'appuyer le plus lourdement sur ces raccourcis. Lorsque les données d'entraînement étaient désordonnées, les programmes construits sur les résumés « fuyants » commettaient des erreurs importantes, prédisant la maladie en fonction du sexe du patient plutôt qu'en fonction de la radiographie elle-même. Cela a confirmé que le score de l'outil est un signal d'alarme utile : un score élevé sur le résumé suggère qu'un modèle construit sur celui-ci est susceptible d'être injuste si les données d'entraînement ne sont pas parfaites.
L'équipe a également tenté de résoudre le problème en utilisant quatre méthodes différentes pour nettoyer les résumés avant l'entraînement du programme de diagnostic. Ils ont essayé des techniques qui tentent de supprimer les indices cachés, comme l'entraînement adversarial, qui tente de tromper le système pour qu'il oublie le trait sensible. Étonnamment, ces méthodes n'ont pas bien fonctionné. Même après que les résumés ont été « nettoyés » par ces outils, les programmes de diagnostic continuaient de trouver et d'utiliser les raccourcis. La seule méthode qui a réussi à stopper le comportement injuste a été de simplement réentraîner le programme de diagnostic final sur un ensemble de données parfaitement équilibré, où chaque groupe de patients était représenté de manière égale. Cela a fonctionné, mais cela n'a pas modifié le résumé lui-même ; cela a seulement changé la façon dont le programme final était enseigné. Cela suggère que pour beaucoup de ces systèmes, la décision d'utiliser un raccourci est prise par le programme final, et non par le résumé, et que le nettoyage du résumé seul est souvent insuffisant.
Les chercheurs ont également testé leur outil sur un faux raccourci qu'ils ont créé. Ils ont pris un ensemble de radiographies et ont apposé un petit carré blanc sur les images de patients présentant une maladie spécifique. Ils ont ensuite injecté ces images dans le système et ont demandé si le résumé pouvait détecter le carré. L'outil l'a détecté immédiatement et correctement dans chaque test, prouvant qu'il peut repérer des raccourcis physiques réels lorsqu'ils existent. Cependant, l'étude a aussi révélé une limite : l'outil est très efficace pour trouver des raccourcis qui modifient l'apparence moyenne d'un groupe, mais il a manqué des motifs plus subtils où les groupes se ressemblent en moyenne mais diffèrent par ailleurs. Cela signifie qu'un score propre ne garantit pas qu'un modèle est sûr, mais qu'un score sale est un avertissement certain.
En fin de compte, ce travail offre un moyen pratique d'auditer les biais cachés de l'IA médicale avant qu'ils ne causent des dommages. Il montre que la plupart des résumés d'images médicales standards portent des informations sur les données démographiques d'un patient, et que ces informations peuvent facilement conduire à des prédictions injustes si les données d'entraînement sont défectueuses. L'étude conclut que, bien que nous puissions mesurer ce potentiel de raccourcis, les corriger n'est pas aussi simple que de nettoyer les données. Le programme de diagnostic final doit également être testé et entraîné avec soin. L'outil est désormais disponible pour que d'autres puissent l'utiliser, offrant un moyen de vérifier les fondations des systèmes d'IA médicale et de s'assurer qu'ils sont construits sur des preuves plutôt que sur des biais cachés.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.