External validation reveals poor calibration despite preserved discrimination for a vasopressin treatment-signal prediction model across ICU databases

Dans l'environnement à enjeux élevés d'une unité de soins intensifs, les patients arrivent souvent avec une pression artérielle si basse que leur corps ne peut pas pomper suffisamment de sang vers les organes vitaux. Pour les maintenir en vie, les médecins administrent des médicaments puissants appelés vasopresseurs pour contracter les vaisseaux sanguins et augmenter la pression. Parfois, le premier médicament ne suffit pas, et l'équipe médicale doit ajouter un second, tel que la vasopressine, pour stabiliser le patient. Prédire quand un patient aura besoin de ce second médicament est un défi complexe. Il ne s'agit pas seulement de la biologie du patient ; il s'agit aussi de la manière dont différents hôpitaux enregistrent leurs actions, des médicaments qu'ils ont en stock et du moment où ils décident d'intensifier les soins. Les chercheurs ont longtemps espéré construire des modèles informatiques capables d'examiner les données actuelles d'un patient — comme sa fréquence cardiaque, sa chimie sanguine et les doses actuelles de médicaments — et de prédire avec certitude quand un nouveau médicament serait prescrit. Si un tel modèle fonctionnait parfaitement, il pourrait alerter les médecins pour qu'ils examinent le cas d'un patient plus tôt, prévenant potentiellement une crise avant qu'elle ne survienne.

Une équipe de chercheurs s'est donné pour mission de tester un modèle de prédiction spécifique conçu pour détecter le signal indiquant qu'un patient est sur le point de recevoir de la vasopressine. Ils ont construit leur modèle à partir des données d'un seul grand hôpital universitaire aux États-Unis, en analysant des milliers de dossiers de patients pour trouver des schémas précédant l'administration du médicament. Le modèle a été entraîné à examiner quinze informations différentes, telles que la dose actuelle du premier médicament, la fréquence cardiaque et les niveaux de certaines substances chimiques dans le sang. L'objectif était de créer un outil capable de dire à un médecin : « Ce patient présente un risque élevé d'avoir besoin de vasopressine dans les prochaines 24 heures. » Pour voir si cet outil était réellement utile, les chercheurs ne se sont pas contentés de le tester sur les données de l'hôpital où il a été conçu. Ils ont pris ce même modèle, sans changer un seul chiffre, et l'ont appliqué à un ensemble de données complètement différent provenant d'un réseau de dizaines d'hôpitaux à travers le pays. C'est le test ultime pour tout outil de prédiction médicale : peut-il fonctionner dans un nouvel endroit, avec des patients différents et des médecins différents, ou ne fonctionne-t-il que dans l'environnement spécifique où il a été créé ?

Les résultats de ce test ont révélé une distinction cruciale et quelque peu surprenante. Lorsque le modèle examinait le nouveau groupe de patients, il restait très efficace pour les classer. Si vous aligniez tous les patients, du risque le plus faible au risque le plus élevé, le modèle plaçait correctement les patients qui ont effectivement reçu le médicament vers le haut de la liste. En termes statistiques, le modèle préservait sa capacité à distinguer ceux qui recevraient le médicament de ceux qui n'en recevraient pas. Cependant, le modèle a totalement échoué à dire la vérité sur les chiffres réels. Dans l'hôpital d'origine, le modèle prédisait qu'environ 14 % des patients auraient besoin du médicament, ce qui correspondait à la réalité. Mais lorsqu'il a été appliqué aux nouveaux hôpitaux, le modèle prédisait que 16 % des patients en auraient besoin, alors qu'en réalité, seuls 9 % l'ont effectivement reçu. Le modèle surestimait systématiquement le risque. C'était comme une prévision météorologique qui prédit correctement qu'il pleuvra les jours où il pleut effectivement, mais qui vous annonce une probabilité de pluie de 90 % lors de jours où elle n'est que de 30 %.

Ce décalage entre le classement et la probabilité réelle est une découverte significative car elle change la façon dont l'outil peut être utilisé. Les chercheurs ont découvert que les prédictions du modèle n'étaient pas seulement légèrement erronées ; elles étaient déformées d'une manière qui rendait les chiffres peu fiables pour la prise de décisions médicales directes. Dans les nouveaux hôpitaux, les prédictions du modèle étaient trop étalées, ce qui signifie qu'il était trop confiant quant aux extrêmes. Il pensait que certains patients étaient presque certains de recevoir le médicament et d'autres presque certains de ne pas le recevoir, alors que la réalité était beaucoup plus modérée. Même lorsque les chercheurs ont tenté d'ajuster le modèle en déplaçant simplement la moyenne des prédictions vers le haut ou vers le bas pour correspondre à la nouvelle réalité, cela n'a pas résolu le problème. La forme des prédictions restait erronée. Cela suggère que la manière dont les différents hôpitaux documentent leurs soins, ou les seuils spécifiques qu'ils utilisent pour décider de donner un médicament, sont si différents qu'un modèle unique ne peut pas être simplement copié et collé d'un endroit à un autre.

L'étude a également examiné si le modèle pouvait être amélioré en apprenant des nouvelles données. Ils ont testé une méthode où le modèle recevait une petite quantité de nouvelles informations provenant des hôpitaux locaux pour ajuster ses paramètres internes. Ils ont constaté que même avec cet apprentissage local, le modèle peinait à s'adapter parfaitement, surtout lorsqu'il s'agissait d'hôpitaux individuels plutôt que du groupe entier. En fait, beaucoup des hôpitaux individuels du nouveau réseau comptaient très peu de patients ayant reçu le médicament, ce qui rendait statistiquement impossible la construction d'une version personnalisée et fiable pour chacun d'eux. Les chercheurs ont conclu que, bien que le modèle puisse servir d'outil de classement utile pour aider les médecins à prioriser les patients à examiner en premier, il ne peut pas être utilisé pour donner un pourcentage de chance spécifique qu'un patient aura besoin de vasopressine. Il ne peut pas dire à un médecin : « Il y a 40 % de chances que ce patient ait besoin de vasopressine », car ce chiffre serait probablement faux.

Enfin, cette recherche met en lumière une limite fondamentale de l'utilisation des dossiers de santé électroniques pour prédire les traitements médicaux. Le résultat que le modèle tentait de prédire n'était pas un événement biologique comme une crise cardiaque, mais une décision humaine enregistrée dans un système informatique. Comme cette décision dépend des habitudes locales, des médicaments disponibles et des styles de documentation, le « signal » que le modèle détecte est un mélange de physiologie du patient et de culture hospitalière. Le modèle a appris la culture du premier hôpital si bien qu'il ne pouvait pas séparer la biologie du patient de cette culture lorsqu'il a été déplacé dans un nouvel endroit. Les chercheurs soulignent que cet outil ne devrait pas être utilisé pour démarrer automatiquement un traitement ou pour faire des affirmations définitives sur l'avenir d'un patient. Au lieu de cela, il pourrait être utile en « mode silencieux », où il signale discrètement les patients à haut risque pour qu'un médecin humain les examine, à condition que l'équipe locale vérifie et ajuste d'abord les chiffres pour les adapter à la réalité de son propre hôpital. L'étude rappelle qu'en médecine, un modèle qui fonctionne dans un endroit n'est pas garanti de fonctionner dans un autre, et que comprendre la différence entre le classement des patients et la prédiction de leur risque exact est essentiel pour des soins sûrs et efficaces.