Toward a Common Language for Trustworthy AI in Healthcare

L'intelligence artificielle devient rapidement un partenaire dans le secteur de la santé, aidant les médecins à diagnostiquer des maladies, à prédire l'évolution de l'état des patients et à choisir des traitements. Pourtant, à mesure que ces systèmes informatiques gagnent en complexité, un problème silencieux est apparu : beaucoup d'entre eux fonctionnent comme des boîtes noires. Ils reçoivent des données médicales et produisent un résultat, mais le chemin entre les deux est caché. Lorsqu'une machine suggère un diagnostic, un médecin doit savoir pourquoi. Il doit comprendre le raisonnement, avoir la certitude que le système est équitable et s'assurer qu'il fonctionnera de manière cohérente pour chaque patient, et non seulement pour ceux sur lesquels il a été entraîné. Pour instaurer cette confiance, le domaine a développé un ensemble de principes directeurs, souvent appelés « IA de confiance ». Ces principes incluent des idées telles que la transparence, qui signifie être ouvert sur le fonctionnement d'un système ; l'équité, qui garantit qu'aucun groupe de personnes n'est traité injustement ; et la fiabilité, qui signifie que le système est performant de manière constante. Cependant, pour que ces principes fonctionnent, il faut que tout le monde s'accorde sur leur signification réelle. Si un chercheur qualifie un système d'« explicable » tandis qu'un autre utilise ce même mot pour signifier quelque chose de légèrement différent, le fondement de la confiance commence à se fissurer.

Une équipe de chercheurs de l'Université McMaster, au Canada, a entrepris de voir si la communauté de l'IA médicale parlait la même langue. Ils ont mené une revue massive de 675 articles publiés entre 2015 et 2025, examinant comment les scientifiques définissent et utilisent huit concepts fondamentaux : l'interprétabilité, l'explicabilité, la transparence, l'équité, le biais, la robustesse, la fiabilité et la validité. Ce qu'ils ont découvert est un paysage de confusion. L'étude a révélé que ces termes sont souvent utilisés de manière interchangeable, même lorsqu'ils devraient décrire des choses différentes. Par exemple, les mots « interprétabilité » et « explicabilité » étaient fréquemment intervertis, bien que les chercheurs proposent qu'ils décrivent en réalité des niveaux de compréhension distincts. De même, les définitions de « fiabilité » et de « validité » variaient tellement qu'une étude pouvait qualifier un système de fiable simplement parce qu'il fonctionnait sur les mêmes données que celles utilisées pour son entraînement, tandis qu'une autre exigerait qu'il fonctionne sur des données totalement différentes pour mériter ce label. Ce manque de vocabulaire commun rend difficile la comparaison des études, le partage des connaissances ou la construction de systèmes qui soient réellement sûrs pour les patients.

Pour remédier à cela, les chercheurs ont proposé un nouveau cadre unifié qui sépare clairement ces concepts. Ils ont défini la « transparence » comme le concept le plus large, signifiant que le système divulgue ses rouages internes et ses sources de données afin que les parties prenantes puissent voir comment les décisions sont prises. Au sein de cette transparence se trouve l'« explicabilité », qu'ils décrivent comme la capacité de fournir une justification technique pour une décision, en expliquant le « comment » et le « pourquoi » d'une manière qu'un utilisateur averti puisse suivre. L'« interprétabilité », soutiennent-ils, est légèrement différente ; c'est la capacité pour un utilisateur de comprendre la décision sans avoir besoin de connaître les détails techniques, en se concentrant sur le « pourquoi » plutôt que sur la mécanique. L'équipe a également précisé que la « robustesse » signifie qu'un système reste stable même lorsque les données d'entrée changent ou contiennent du bruit, tandis que la « fiabilité » signifie qu'il reste stable lorsque les conditions restent exactement les mêmes. L'« équité » a été définie comme l'objectif d'éliminer les résultats discriminatoires, ce qui nécessite d'identifier d'abord le « biais », c'est-à-dire les erreurs systématiques qui mènent à un traitement injuste. Enfin, la « validité » a été positionnée comme le test ultime : un système n'est valide que s'il est à la fois robuste et fiable, fonctionnant comme prévu dans le monde réel.

Lorsque les chercheurs ont examiné les études réellement publiées au cours de la dernière décennie, ils ont constaté que le domaine progresse rapidement, avec un nombre d'articles augmentant de façon marquée de 2015 à 2025. Cependant, la recherche n'est pas répartie de manière homogène. La plupart des études se concentrent sur quelques domaines spécifiques, tels que la neurologie, l'oncologie et la cardiologie, et s'appuient fortement sur les dossiers de santé électroniques et les images médicales. Les modèles d'intelligence artificielle les plus courants utilisés sont les algorithmes d'apprentissage automatique classiques et les réseaux d'apprentissage profond, la grande majorité des études effectuant des tâches de classification simples, comme décider si un scanner montre une tumeur ou non. En ce qui concerne les outils utilisés pour rendre ces systèmes compréhensibles, une technique appelée SHAP (qui signifie SHapley Additive exPlanations) est de loin la plus populaire. Elle aide les chercheurs à voir quelles caractéristiques des données, comme un résultat de test sanguin spécifique ou un pixel dans une image, ont le plus contribué à une prédiction.

Malgré cette croissance, la revue a mis en lumière des lacunes importantes. Bien que les chercheurs soient compétents pour vérifier si leurs modèles fonctionnent sur les données qu'ils possèdent déjà, ils réussissent moins bien à tester si ces modèles fonctionneront sur de nouvelles données différentes ou sur des populations qui n'étaient pas bien représentées dans l'entraînement original. L'étude a révélé que moins de la moitié des articles traitaient des questions d'équité ou de biais, et encore moins fournissaient le niveau de transparence requis pour comprendre pleinement le processus de prise de décision d'un modèle. Plus important encore, les chercheurs ont noté que très peu d'études abordaient réellement l'« explicabilité » au sens strict du terme, à savoir la révélation des mécanismes sous-jacents du modèle. Au lieu de cela, la plupart s'arrêtaient à l'« interprétabilité », montrant quels points de données étaient importants sans expliquer la logique complète de la machine. Cela suggère que, bien que le domaine progresse, il reste largement focalisé sur la compréhension de l'output de l'IA, plutôt que sur la transparence réelle de l'IA elle-même.

Les auteurs concluent que pour que l'intelligence artificielle devienne un partenaire de confiance dans les soins de santé, la communauté doit cesser d'utiliser ces termes de manière imprécise et commencer à adopter les définitions unifiées qu'ils ont proposées. Sans un langage commun, il sera impossible de construire les normes rigoureuses nécessaires pour garantir la sécurité des patients. Ils recommandent que la recherche future dépasse les spécialités médicales et les types de données les plus courants pour explorer un éventail plus large de pathologies et de sources d'informations. Ils exhortent également les scientifiques à développer de meilleures méthodes pour tester la capacité de ces systèmes à gérer de nouvelles situations et des populations diverses. En clarifiant ce que nous entendons par confiance, fiabilité et équité, le domaine peut passer de la simple construction de modèles complexes à la création de systèmes sur lesquels les médecins et les patients peuvent réellement compter.