Silent calibration drift in a frozen clinical prediction model: a decade-long audit and an operational monitoring framework

Dans le monde de la médecine moderne, où les enjeux sont élevés, les médecins s'appuient de plus en plus sur des outils mathématiques pour prédire l'avenir d'un patient. Ces outils, connus sous le nom de modèles de prédiction clinique, sont comme des prévisions météorologiques pour la santé : ils prennent les détails actuels d'un patient — âge, antécédents médicaux et spécificités d'une chirurgie prévue — et calculent la probabilité d'un mauvais résultat, tel qu'un décès dans les deux ans. L'objectif est d'aider les familles et les équipes médicales à faire des choix éclairés. Cependant, ces modèles sont construits sur des données provenant d'un temps et d'un lieu spécifiques. Ils supposent que les patients qui seront traités dans le futur ressembleront et se comporteront exactement comme les patients sur lesquels ils ont été construits. Mais la médecine n'est pas statique. Les techniques chirurgicales évoluent, les patients changent et le risque de base de mourir d'une maladie varie au fil des années. Lorsqu'un modèle est construit puis laissé intact pendant une décennie, il risque de devenir une relique, offrant des prédictions qui ne correspondent plus à la réalité. Le danger est que le modèle puisse encore paraître performant sur le papier, alors même qu'il donne discrètement de mauvaises réponses.

Une équipe de chercheurs de l'hôpital universitaire d'Amiens, en France, a décidé de tester précisément comment cela se produit. Ils ont pris un modèle de prédiction conçu pour prévoir le décès dans les deux ans après une chirurgie du poumon et l'ont traité comme un outil « gelé » — un outil qui aurait été construit au début des années 2010 et qui n'aurait jamais été mis à jour. Ils voulaient voir ce qui se passerait si l'on appliquait ce vieux modèle immuable à des patients traités au cours des dix années suivantes, une période durant laquelle la chirurgie du cancer du poumon a radicalement changé. Les chercheurs ont suivi 1 561 patients ayant subi une résection pulmonaire entre 2011 et 2021. Ils ont divisé ce groupe en trois périodes de temps : les années où le modèle a été construit (2011–2015), et deux périodes ultérieures (2016–2017 et 2018–2021) pour voir comment le modèle performait au fil du temps. Leur enquête a révélé une défaillance subtile mais critique : le modèle a cessé de dire la vérité sur le nombre de patients qui allaient mourir, même s'il restait excellent pour classer les patients par niveau de risque.

L'étude a montré que la capacité du modèle à distinguer les patients à haut risque des patients à faible risque restait stable. Si le modèle disait que le Patient A était plus à risque que le Patient B, ce classement restait vrai même une décennie plus tard. Cependant, les chiffres réels que le modèle générait sont devenus dangereusement inexacts. Au cours des premières années, le modèle prédisait un taux de mortalité de 20,5 %, ce qui correspondait à la réalité. Mais lors des années les plus récentes, le taux de mortalité réel était tombé à 15,6 % grâce aux améliorations de la chirurgie et des soins aux patients. Le modèle gelé, ignorant ces changements, continuait de prédire un taux de mortalité de 19,2 %. Il surestimait systématiquement le danger, disant aux familles que le risque de décès était plus élevé qu'il ne l'était réellement. C'est ce qu'on appelle la dérive de calibration. Le modèle était comme un thermomètre qui aurait été laissé dans une pièce froide pendant dix ans ; il indiquait toujours correctement qu'un objet était plus chaud qu'un autre, mais il lisait la température de tout ce qui l'entourait comme si l'on était encore dans cette pièce froide.

Les chercheurs ont approfondi l'analyse pour comprendre pourquoi cela s'était produit. Ils ont découvert que ce décalage n'était pas dû au fait que la relation entre la santé d'un patient et son issue avait changé. Au lieu de cela, le risque de base de l'ensemble de la population avait simplement glissé. Davantage de patients subissaient désormais une chirurgie mini-invasive, une technique qui est devenue beaucoup plus courante, passant de 34 % des cas à 74 %. Ces patients étaient généralement en meilleure santé et avaient de meilleurs résultats. L'ancien modèle, entraîné sur une ère avec moins de procédures mini-invasives, ne pouvait pas tenir compte de ce changement. Ce n'était pas que la logique du modèle était brisée ; c'était que le monde qu'il décrivait avait évolué. Les chercheurs ont également vérifié si le modèle avait été mal construit dès le départ, un problème appelé surapprentissage (overfitting), où un modèle mémorise trop étroitement les données d'entraînement. Ils ont trouvé que l'incapacité du modèle à correspondre parfaitement à la répartition des risques dans les années ultérieures était effectivement un signe de ce surapprentissage initial, mais l'erreur principale était la surestimation du taux de mortalité global.

Crucialement, l'étude a montré que le simple fait d'attendre pour corriger le modèle avec des données anciennes d'une année précédente ne fonctionne pas. Lorsque les chercheurs ont tenté d'appliquer une correction calculée à partir des données de 2016–2017 aux patients de 2018–2021, cela a aggravé la situation, faisant basculer l'erreur de la sur-prédiction à la sous-prédiction. La seule solution qui a fonctionné a été de mettre à jour la prédiction de base du modèle en utilisant des données de la même période dans laquelle il était utilisé. En ajustant le modèle avec des chiffres actuels, ils pouvaient restaurer sa précision sans perdre sa capacité à classer les patients correctement. Cette conclusion remet en question la pratique courante consistant à construire un modèle une fois et à l'utiliser pour toujours. Les chercheurs proposent une nouvelle façon de travailler : une boucle de surveillance continue où le modèle est vérifié régulièrement. Si le modèle commence à prédire un taux de mortalité significativement différent de ce qui est réellement observé, il doit être recalibré immédiatement en utilisant les données les plus récentes. Cela garantit que l'outil reste un guide fiable pour les médecins et les familles, reflétant la réalité de l'hôpital d'aujourd'hui plutôt que la réalité d'il y a dix ans.