Synthetic but Not Realistic: The Evaluation Challenge in Generative Modelling for Structured Electronic Medical Records

Résumé technique : Synthétique mais non réaliste

Énoncé du problème
Les données de santé synthétiques sont de plus en plus proposées comme substituts respectueux de la vie privée aux dossiers médicaux électroniques (DME) réels pour faciliter le partage de données et le développement de modèles. Cependant, l'évaluation de ces données synthétiques reste dominée par des mesures de similitude statistique (par exemple, l'appariement des distributions marginales) et la performance prédictive en aval. Les auteurs soutiennent que ces mesures standards ne parviennent pas à refléter la validité clinique. Plus précisément, les pratiques d'évaluation existantes négligent souvent de vérifier si les données synthétiques préservent les propriétés structurelles requises pour une inférence épidémiologique fiable, telles que l'exactitude des distributions de sous-groupes, la calibration des estimations de risque et les structures de dépendance causale correctes. Par conséquent, les données synthétiques peuvent paraître « réalistes » selon les mesures standards tout en échouant à soutenir des conclusions cliniques ou scientifiques valides.

Méthodologie
Pour remédier à ce désalignement, les auteurs proposent un cadre d'évaluation multidimensionnel fondé sur l'épidémiologie, évaluant les données synthétiques selon trois dimensions distinctes correspondant à des questions de recherche descriptives, prédictives et causales :

1. Fidélité descriptive : Évalue la reproduction des propriétés statistiques observables, incluant les distributions marginales et, de manière cruciale, les résumés stratifiés à travers des sous-populations prédéfinies (par exemple, groupes d'âge et quintiles de statut socio-économique) pour détecter les distorsions spécifiques aux sous-groupes.
2. Utilité clinique : Évalue la capacité des données à soutenir des tâches prédictives utilisant l'analyse de survie (temps jusqu'à l'événement). Les auteurs emploient le modèle à risques proportionnels de Cox pour évaluer :
   • Les rapports de risques (Hazard Ratios - HR) : La préservation de la taille des effets des covariables.
   • La calibration : L'accord entre les probabilités d'événement prédites et les fréquences observées, mesuré via la métrique de distance-to-1 ($D_{21}$), tant au niveau de la population qu'à travers les strates.
3. Validité structurelle : Évalue la préservation des structures de dépendance d'ordre supérieur en utilisant la découverte causale. L'algorithme Greedy Equivalence Search (GES) est appliqué aux données réelles et synthétiques pour reconstruire des graphes acycliques dirigés (DAG). La performance est mesurée à l'aide de la distance de Hamming structurelle (SHD), ainsi que de la précision/rappel/F1 d'adjacence et de l'orientation (précision/rappel/F1).

Configuration expérimentale
Le cadre a été appliqué à PRIME-CVD, une cohorte simulée de 50 000 adultes générée à partir d'un DAG (graphe acyclique dirigé) spécifié manuellement avec une structure de vérité terrain connue. Ce jeu de données permet une validation rigoureuse des propriétés statistiques, cliniques et causales. Les auteurs ont évalué quatre paradigmes génératifs représentatifs sous une représentation unifiée :

• WGAN-GP : Réseaux antagonistes génératifs avec pénalité de gradient, augmentés d'un régulariseur de corrélation.
• WGAN-GP + VAE : Une approche hybride remplaçant la distribution a priori fixe par une distribution latente apprise via un auto-encodeur variationnel.
• DDPM : Modèles de diffusion probabiliste de débruitage utilisant un débruitage itératif.
• MCM (Masked Conditional Model) : Une approche d'auto-encodage par masquage apprenant la reconstruction conditionnelle.

Résultats clés
L'évaluation a révélé que, bien que tous les modèles aient réussi à reproduire les distributions marginales au niveau de la population, aucun ne préservait simultanément la structure des sous-groupes, les estimations d'effet et la structure de dépendance :

• Distorsion des sous-groupes : Tous les modèles ont présenté des écarts accrus dans les distributions conditionnelles à travers les quintiles socio-économiques (IRSD) par rapport au niveau de la population. Notamment, les modèles DDPM et MCM ont montré une variance réduite et des distributions plus nettes pour les variables continues.
• Utilité clinique :
  • Rapports de risques (HR) : Les méthodes basées sur les GAN et le MCM ont produit des HR les plus proches de la vérité terrain, tandis que le DDPM a produit des HR substantiellement plus élevés pour plusieurs covariables.
  • Calibration : Bien que le WGAN-GP ait obtenu la meilleure calibration au niveau de la population ($D_{21} = 0,048$), tous les modèles ont présenté des erreurs de calibration significatives lorsqu'ils étaient stratifiés par statut socio-économique (par exemple, les erreurs du WGAN-GP variaient de 0,15 à 0,35 selon les quintiles).
• Validité structurelle :
  • Récupération de graphe : Aucun modèle n'a réussi à identifier à la fois l'Âge et l'IRSD comme des nœuds exogènes dans les graphes récupérés.
  • Relations spécieuses : Les données synthétiques ont généralement produit des graphes plus denses que la vérité terrain, indiquant des relations spécieuses. Le MCM a obtenu la distance de Hamming structurelle la plus faible (16) et les scores F1 les plus élevés pour l'adjacence et l'orientation, tandis que le DDPM a montré la plus grande déviation structurelle (32).

Signification et affirmations
L'article affirme que les pratiques d'évaluation actuelles surestiment la qualité des données de santé synthétiques. Les auteurs démontrent qu'une haute fidélité distributionnelle ne garantit ni l'utilité clinique ni la validité structurelle. Plus précisément :

• Les modèles présentant une forte fidélité marginale peuvent présenter une mauvaise calibration et des relations déformées, menant à une inférence peu fiable.
• Les trois flux d'évaluation (descriptif, prédictif, causal) ne sont pas interchangeables ; un modèle peut réussir dans une dimension tout en échouant dans les autres.
• Les conclusions remettent en question le compromis prédominant « fidélité-vie privée », suggérant que les problèmes de fidélité sont actuellement le principal goulot d'étranglement plutôt que les risques liés à la vie privée.
• Les auteurs concluent que l'intégration de données synthétiques irréalistes dans les modèles de décision risque d'introduire des biais qui pourraient ultimement nuire aux patients réels. Ils préconisent une évaluation informée par le domaine basée sur la capacité à soutenir des conclusions cliniques et scientifiques valides, plutôt que de se fier uniquement aux mesures de similitude statistique.

L'étude est modeste dans sa portée, reconnaissant que l'évaluation a été menée sur un seul jeu de données (PRIME-CVD) avec une vérité terrain connue, ce qui peut ne pas capturer toutes les complexités des données de DME réelles. Cependant, les résultats servent de motivation pour faire évoluer les normes d'évaluation vers des cadres épidémiologiquement fondés.