Rethinking external validation for the target population: Capturing patient-level similarity with a generative model

Résumé technique : Repenser la validation externe pour la population cible

Énoncé du problème
La validation externe est cruciale pour évaluer la transférabilité des modèles prédictifs en santé ; cependant, son interprétation est fréquemment faussée par les différences entre la population externe et la cohorte de développement. Les approches conventionnelles reposent souvent sur une métrique de performance agrégée unique (par exemple, l'AUC ou la pente de calibration) pour évaluer un jeu de données externe. Cette pratique confond deux phénomènes distincts : la capacité prédictive intrinsèque du modèle et l'impact des décalages distributionnels (effets de mixité des cas) entre les populations de développement et externe. Par conséquent, il devient difficile de distinguer si une mauvaise performance résulte de déficiences réelles du modèle ou simplement du fait que le modèle est appliqué à une population pour laquelle il n'a pas été conçu. De plus, les méthodes existantes pour y remédier, telles que le pondération par propension ou les mesures de similarité discriminative linéaire, échouent souvent à capturer des décalages de covariables complexes et non linéaires, et nécessitent généralement un accès répété aux données de développement originales, soulevant des préoccupations en matière de confidentialité et de logistique.

Méthodologie
Les auteurs proposent un cadre piloté par le déploiement qui formalise les cibles de validation en fonction du scénario de déploiement prévu. La méthodologie se compose de trois composantes principales :

1. Estimands spécifiques au scénario : Le cadre distingue deux contextes de déploiement :

   • Scénario 1 (Déploiement au sein de la population de développement) : L'objectif est d'évaluer la robustesse du modèle face aux changements distributionnels. Cela implique de repondérer les données externes pour qu'elles correspondent à la distribution de développement afin de tester la fiabilité intrinsèque, et d'analyser la performance sur un spectre de similarité pour détecter la fragilité hors distribution (OOD).
   • Scénario 2 (Déploiement au sein de la population externe) : L'objectif est de déterminer si le modèle est sûr pour la nouvelle population cible. Cela nécessite de stratifier le jeu de données externe en sous-groupes « de type In-Distribution » (ID-like) et OOD, basés sur la similarité au niveau du patient avec les données de développement, et d'évaluer la performance au sein de chaque strate séparément.

2. Mesure de similarité générative : Pour quantifier la similarité au niveau du patient, les auteurs utilisent des autoencodeurs plutôt que des modèles discriminatifs linéaires traditionnels (par exemple, des modèles d'appartenance par régression logistique). Un autoencodeur est entraîné de manière non supervisée sur les données de développement pour apprendre la variété sous-jacente des données. La similarité est mesurée par l'erreur de reconstruction : une faible erreur indique une forte similarité (de type ID), tandis qu'une erreur élevée indique une dissimilarité (OOD). Cette approche capture les relations non linéaires et permet de réutiliser le modèle entraîné pour plusieurs jeux de données externes sans avoir besoin à nouveau des données de développement originales.

3. Évaluation stratifiée : Le jeu de données externe est partitionné en sous-groupes (ou analysé de manière continue) en fonction des scores de similarité. Les métriques de performance (spécifiquement le score de Brier, choisi pour son additivité sur des sous-ensembles disjoints) sont calculées pour ces sous-groupes afin de révéler les variations de performance masquées par les métriques agrégées.

Contributions clés
L'article apporte trois contributions principales :

• Recadrage conceptuel : Il présente la validation externe comme un processus piloté par le déploiement, séparant explicitement la performance intrinsèque du modèle des effets des différences de population. Il définit des estimands spécifiques pour différents objectifs de déploiement (robustesse vs transférabilité).
• Avancement méthodologique : Il introduit l'utilisation de modèles génératifs (autoencodeurs) pour la mesure de similarité au niveau des instances. Cela offre une alternative plus flexible et non linéaire aux approches basées sur la probabilité linéaire et permet une validation sans accès répété aux données de développement originales, répondant ainsi aux contraintes de confidentialité.
• Démonstration empirique : Le cadre est appliqué à une étude de cas utilisant les données de l'Enregistrement néerlandais des maladies cardiaques (NHR) pour prédire la mortalité à 30 jours après l'implantation de valve aortique par cathéter (TAVI).

Résultats
Dans l'étude de cas TAVI, le cadre a révélé des variations substantielles de la performance du modèle à travers des sous-groupes définis par la similarité, qui étaient obscurcies par la validation externe conventionnelle :

• Résultats du Scénario 1 : Dans plusieurs cas où la validation conventionnelle suggérait une faible transférabilité (un écart entre les performances interne et externe), cet écart disparaissait lorsque les données externes étaient repondérées pour correspondre à la distribution de développement. Cela indiquait que la baisse de performance était due à des différences distributionnelles plutôt qu'à un échec du modèle. Inversement, dans d'autres cas, un écart persistant après appariement suggérait des déficiences intrinsèques du modèle.
• Résultats du Scénario 2 : Les métriques agrégées conventionnelles masquaient des déficits de performance significatifs. Dans tous les hôpitaux externes, la performance sur les patients OOD (dissimilaires aux données de développement) était nettement pire que sur les patients de type ID.
• Implications cliniques : L'analyse granulaire a fourni des informations exploitables. Pour certains hôpitaux, le sous-groupe OOD était faible, suggérant que le modèle pourrait être déployé en toute sécurité avec un mécanisme de détection OOD pour signaler les cas à haut risque. Pour d'autres, le sous-groupe OOD était important et présentait une mauvaise performance, indiquant la nécessité d'une adaptation ou d'un recalibrage du modèle avant le déploiement.

Importance et affirmations
Les auteurs affirment que ce cadre améliore l'interprétabilité de la validation externe en reliant directement la performance du modèle à l'alignement de la population avec les données de développement. En décomposant le jeu de données externe, l'approche fournit une base plus rationnelle pour décider :

1. Si un modèle est véritablement transférable.
2. Comment il devrait être adapté (par exemple, recalibrage vs réentraînement).
3. À quels sous-groupes de patients spécifiques il peut être appliqué en toute sécurité.

L'article souligne que cette méthode fait passer la validation externe d'un « résumé boîte noire » à un outil de diagnostic. Elle permet aux cliniciens et aux décideurs de déterminer si les baisses de performance sont dues à des différences de population de patients (résolubles par détection OOD ou adaptation) ou à des limitations fondamentales du modèle. Les auteurs notent modestement des limites, notamment l'absence de seuil universellement clair pour la similarité, la dépendance à un modèle génératif spécifique (autoencodeur) et la nécessité d'une validation prospective future dans des contextes réels. Ils concluent que, bien que l'approche soit prometteuse, elle devrait être intégrée à des considérations plus larges telles que l'équité et l'utilité clinique pour une adoption sûre.