A Reproducible Framework for Auditing the Trustworthiness of Clinical Machine Learning Models

Dans l'hôpital moderne, une révolution silencieuse est en cours. Les ordinateurs apprennent à lire les dossiers des patients, repérant des schémas dans la tension artérielle, l'âge et le mode de vie que les médecins humains pourraient manquer, et utilisant ces schémas pour prédire qui est à risque de crise cardiaque ou d'autres maladies graves. Ce domaine, connu sous le nom d'apprentissage automatique clinique, porte la promesse de sauver des vies en détectant le danger précocement. Mais il y a un piège. Un programme informatique qui apprend à prédire les maladies cardiaques dans une ville peut échouer complètement lorsqu'il est déplacé dans une autre ville possédant une population différente. Cela se produit parce que les habitants de la seconde ville peuvent être plus âgés, manger des aliments différents, ou avoir leurs dossiers médicaux rédigés d'une manière légèrement différente. Lorsque l'ordinateur rencontre ces différences, ses prédictions peuvent devenir peu fiables, non seulement en termes de justesse, mais aussi en ce qui concerne la confiance qu'il exprime. Si un modèle indique qu'un patient a soixante-quinze pour cent de chances de subir un événement, alors que la probabilité réelle n'est que de trente-cinq pour cent, un médecin pourrait prescrire des tests invasifs inutiles, ou pire, manquer un véritable danger. Pour que ces outils soient sûrs, ils doivent être dignes de confiance, ce qui signifie qu'ils ne doivent pas seulement être précis, mais aussi honnêtes sur leur propre incertitude et cohérents dans l'explication de leur raisonnement.

Une chercheuse nommée Tanya Deep a construit un nouveau système pour tester précisément ce type de fiabilité. Elle a créé un cadre appelé AETHEL, un ensemble d'outils automatisés conçus pour auditer les modèles d'apprentissage automatique clinique avant qu'ils ne soient jamais utilisés sur de vrais patients. Au lieu de simplement vérifier si un modèle trouve la bonne réponse, AETHEL agit comme un inspecteur de sécurité rigoureux, vérifiant trois choses spécifiques : la capacité des estimations de probabilité du modèle à correspondre à la réalité, la stabilité de son raisonnement lorsque les données changent, et si ses conseils aident réellement les médecins à prendre de meilleures décisions. Pour tester ce système, Deep a entraîné plusieurs modèles informatiques différents sur une cohorte synthétique de 1 000 patients, puis a tenté d'utiliser ces mêmes modèles sur des données réelles issues de la célèbre étude de Framingham (la cohorte cible) et de l'enquête National Health and Nutrition Examination Survey (la référence de décalage de domaine). L'objectif était de voir ce qui se passe lorsqu'un modèle entraîné dans un environnement est contraint d'opérer dans un autre, une situation appelée décalage de domaine.

Les résultats de cet audit ont révélé un problème significatif avec la manière dont ces modèles sont actuellement validés. Lorsque les modèles ont été transférés des données d'entraînement vers les nouvelles données du monde réel, leur capacité à prédire correctement a chuté, mais plus important encore, leur confiance est devenue dangereusement désalignée. Un modèle pourrait toujours identifier les bons patients, mais il leur attribuerait des pourcentages de risque erronés. Par exemple, un modèle qui était bien calibré lors de sa phase d'entraînement est devenu non calibré lors du transfert, ce qui signifie que ses scores de risque ne correspondaient plus à la probabilité réelle d'un événement. Deep a découvert que, bien que les modèles puissent être corrigés à l'aide d'ajustements mathématiques standards pour réaligner leur confiance, un problème plus subtil subsistait. Même après la correction des chiffres, la force du raisonnement du modèle commençait à changer. Bien que les modèles identifiaient systématiquement les trois facteurs principaux — l'âge, l'IMC et le statut tabagique — comme étant les plus importants, le poids spécifique et la corrélation de ces facteurs changeaient entre les contextes. Dans les données d'entraînement, le modèle pouvait s'appuyer fortement sur l'âge et le statut tabagique pour prendre une décision, mais dans les nouvelles données, la relation entre ces facteurs et le résultat dérivait. Cette dérive du raisonnement est dangereuse car les médecins s'appuient sur ces explications pour comprendre pourquoi un ordinateur signale un patient. Si la logique change sans avertissement, le médecin ne peut pas faire confiance au conseil.

Pour mesurer cette instabilité cachée, Deep a introduit de nouvelles façons de compter à quel point le raisonnement d'un modèle change. Elle a développé des métriques qui comparent la liste des facteurs les plus importants utilisés par un modèle dans un contexte par rapport à la liste qu'il utilise dans un autre. Les tests ont montré que, tandis que certains modèles, comme les équations linéaires simples, maintenaient un raisonnement assez cohérent, des modèles plus complexes changeaient souvent la force de leur dépendance aux facteurs clés lorsque les données changeaient. Cette découverte remet en question la pratique courante consistant à supposer que si un modèle fonctionne bien dans un endroit, il fonctionnera de la même manière ailleurs. L'étude a démontré que vérifier uniquement la précision ne suffit pas ; il faut également vérifier si la logique interne du modèle tient bon lorsque l'environnement change.

Le cadre a également examiné la valeur pratique de ces prédictions pour un médecin debout au chevet d'un patient. En utilisant une méthode appelée analyse de courbe de décision, l'étude a traduit des bénéfices statistiques abstraits en chiffres concrets qu'un clinicien peut comprendre. Au lieu de simplement dire qu'un modèle améliore les résultats, le système a généré des graphiques visuels montrant exactement combien de patients sur mille seraient correctement identifiés pour un traitement par rapport à combien seraient traités inutilement. Les résultats ont montré que, lorsque les modèles étaient correctement calibrés, ils apportaient un bénéfice clair par rapport au simple fait de traiter tout le monde ou de ne traiter personne. Cependant, ce bénéfice disparaissait si le modèle n'était pas recalibré pour la nouvelle population. L'étude a conclu que pour que l'apprentissage automatique soit sûr dans un hôpital, il ne peut pas être un outil de type « on l'installe et on l'oublie ». Il nécessite un audit continu et automatisé qui vérifie non seulement le score final, mais aussi la calibration de sa confiance, la stabilité de son raisonnement et l'impact réel de ses conseils. En publiant ce cadre sous forme de logiciel open-source, la chercheuse a fourni un moyen aux autres de vérifier eux-mêmes ces contrôles de sécurité, garantissant ainsi que la promesse de l'intelligence artificielle en médecine ne dépasse pas sa sécurité.