Beyond AUROC: External Validation, Calibration, and Explainability of Machine Learning Models for 30-Day Hospital Readmission Using Electronic Health Records—A Rapid Systematic Review

Chaque année, des millions de patients quittent un hôpital pour n'y revenir que dans le mois qui suit, souvent parce que leur rétablissement a stagné ou que leur plan de soins s'est effondré. Ce cycle de réadmission est un fardeau majeur pour les systèmes de santé, augmentant les coûts et signalant que quelque chose a échoué lors de la transition de l'hôpital au domicile. Pour stopper cela, les hôpitaux se sont tournés vers l'apprentissage automatique (machine learning), une branche de l'informatique où les logiciels apprennent à trouver des modèles dans de vastes quantités de données. En nourrissant ces programmes de dossiers de santé électroniques — des fichiers numériques contenant des résultats de laboratoire, des listes de médicaments et des notes de médecins — les chercheurs espèrent construire des outils capables de repérer les patients les plus susceptibles de revenir et de leur envoyer une aide supplémentaire avant leur départ. Pendant des années, la communauté scientifique a jugé ces outils selon un chiffre unique : un score qui mesure la capacité du modèle à classer les patients de l'un des risques les plus faibles à l'un des risques les plus élevés. Si un modèle peut dire correctement « ce patient est plus à risque que celui-là », il obtient un score élevé, et cela a suffi à le déclarer un succès.

Cependant, une nouvelle analyse suggère que ce score unique ne raconte que la moitié de l'histoire. Une revue systématique rapide menée par des chercheurs de l'Université de technologie de Chittagong a examiné 156 études publiées entre 2020 et 2026 qui utilisaient l'apprentissage automatique pour prédire les réadmissions hospitalières à 30 jours. L'équipe a découvert que, bien que ces modèles paraissent souvent impressionnants sur papier, ils échouent fréquemment à prouver qu'ils fonctionneront dans le monde réel. Les chercheurs ont découvert que presque toutes les études reposaient sur des tests internes, où le modèle est vérifié par rapport aux données du même hôpital qui l'a créé. Très peu d'études ont testé si le modèle fonctionnerait dans un autre hôpital ou avec des données d'une période ultérieure. De plus, les études ont rarement vérifié si les pourcentages de risque produits par les modèles étaient réellement précis, ou si les raisons invoquées par les modèles pour leurs prédictions faisaient sens pour les médecins humains. La revue conclut que le domaine a progressé trop vite en adoptant des fonctionnalités tape-à-l'œil tout en négligeant les vérifications de base nécessaires pour garantir que ces outils sont sûrs et fiables pour les patients.

Le problème central identifié est qu'un modèle peut être bon pour classer les patients sans être bon pour prédire les résultats réels. Imaginez une application météo qui vous dit correctement que mardi est plus susceptible de pleuvoir que lundi, mais qui échoue à vous dire que la probabilité de pluie est de zéro pour les deux jours. Dans le contexte des réadmissions hospitalières, cette distinction est critique. Les hôpitaux ont besoin de connaître la probabilité réelle de retour d'un patient afin de décider comment allouer les ressources. Si un modèle prédit une probabilité de 90 % de réadmission pour un patient qui n'en a que 10 %, l'hôpital pourrait gaspiller de précieux services de soins de transition pour ce patient tout en manquant d'autres qui en ont réellement besoin. La revue a trouvé que, bien que 85 % des études aient rapporté le score de classement, environ 15 % seulement mentionnaient la vérification de la correspondance de leurs prédictions avec la réalité, et une seule étude utilisait une métrique spécifique conçue pour mesurer cette précision.

Au-delà de la précision, les chercheurs ont examiné si ces modèles pouvaient voyager. Un modèle construit sur les données d'un grand hôpital universitaire urbain dans une ville pourrait échouer complètement s'il est appliqué à une clinique rurale dans un autre État, simplement parce que les populations de patients et les pratiques médicales sont différentes. C'est ce qu'on appelle la validation externe. La revue a révélé que seulement 12 % des études ont testé leurs modèles dans un nouveau cadre ou à une période ultérieure. Les rares études ayant effectué ces tests ont montré que les modèles performaient presque toujours moins bien dans le nouvel environnement. Dans cinq cas où les chercheurs ont comparé la performance du modèle dans son hôpital d'origine par rapport à un nouvel hôpital, la capacité à classer correctement les patients a chuté dans chaque instance. Cela suggère que de nombreux modèles sont sur-ajustés (overfitted) à leurs données locales spécifiques, capturant les particularités d'un hôpital plutôt que des signes universels de risque.

Une autre lacune majeure de la recherche concerne l'explicabilité. À mesure que les modèles d'apprentissage automatique sont devenus plus complexes, les chercheurs ont commencé à utiliser des outils pour expliquer pourquoi un modèle a fait une prédiction spécifique, en mettant souvent en évidence quels facteurs, comme une tension artérielle élevée ou un médicament spécifique, ont le plus contribué au score de risque. La revue a noté que l'utilisation de ces outils d'explication a bondi, passant de moins de 6 % des études dans les premières années de la période de revue à près de 30 % dans les années les plus récentes. Cependant, les chercheurs ont constaté que, bien que les études soient promptes à montrer ces explications, elles ne testaient presque jamais si les explications étaient réellement correctes ou stables. Un modèle peut pointer une valeur de laboratoire spécifique comme la raison d'un risque élevé, mais si cette raison change de manière aléatoire lorsque les données sont légèrement modifiées, l'explication n'est pas fiable. La revue n'a trouvé aucun résumé évaluant si les explications fournies étaient fiables ou si les médecins les trouvaient utiles.

L'étude a également examiné si ces modèles traitaient les différents groupes de personnes de manière équitable. Les taux de réadmission peuvent être influencés par des facteurs qui dépassent la pure biologie, tels que l'accès au transport ou la capacité à payer les médicaments. Si un modèle apprend de données historiques qui reflètent ces inégalités, il pourrait injustement signaler certains groupes comme étant à haut risque simplement parce qu'ils ont moins accès aux soins, plutôt que parce qu'ils sont médicalement plus malades. La revue a révélé que seule une infime fraction des études, environ 4,5 %, a vérifié la présence de ces disparités entre différents groupes de personnes basés sur la race, le genre ou l'âge. Ce manque de contrôle signifie que les hôpitaux pourraient involontairement déployer des outils qui renforcent les biais existants dans le système de santé.

Les chercheurs ont conclu que le domaine accorde la priorité aux mauvaises choses. L'essor rapide de l'utilisation d'outils d'explication complexes a devancé l'adoption de contrôles de sécurité fondamentaux comme le test des modèles dans de nouveaux lieux ou la vérification de leur précision. Les auteurs soutiennent qu'avant que ces modèles ne soient utilisés pour prendre des décisions réelles concernant les soins aux patients, ils doivent passer un ensemble minimal de normes. Ces normes incluent le test du modèle sur des données provenant d'un autre hôpital ou d'une autre période, la vérification que les risques prédits correspondent aux résultats réels, et la garantie que le modèle ne discrimine pas certains groupes. La revue suggère que la prochaine percée dans ce domaine ne viendra pas de l'invention d'algorithmes plus complexes, mais d'un meilleur travail pour prouver que les outils que nous possédons déjà sont sûrs, précis et équitables pour tous.