Résumé technique : Accélérer la recherche reproductible dans la génération de dossiers de santé électroniques (DSE) synthétiques

1. Énoncé du problème

La génération de dossiers de santé électroniques (DSE) synthétiques de haute fidélité est essentielle pour faire progresser la recherche médicale tout en préservant la confidentialité des patients. Cependant, le domaine est confronté à une crise de la reproductibilité causée par des barrières systémiques :

• Infrastructure disjointe : Les modèles génératifs existants (ex. MedGAN, CorGAN, PromptEHR) sont implémentés dans des bases de code disparates avec des dépendances incompatibles, des dimensions de jeux de données codées en dur et des conceptions procédurales qui entravent la comparaison directe.
• Fragmentation de l'évaluation : Il n'existe pas de cadre de benchmarking unifié. Les métriques sont rapportées de manière incohérente, et les outils standardisés modernes (ex. sdmetrics) échouent souvent à gérer la haute dimensionnalité et la nature séquentielle des données de DSE.
• Perte de granularité : Pour gérer la parcimonie, les chercheurs tronquent fréquemment les codes CIM-9 du vocabulaire complet (6 955 codes) vers des catégories à trois chiffres (1 071 codes). Cette pratique rejette des informations cliniques vitales (ex. distinguer un diabète compliqué d'un diabète non compliqué) et masque la faible performance des modèles sur les codes rares.
• Incohérence architecturale : Les implémentations d'un même algorithme divergent souvent en capacité (ex. certains ports PyTorch de MedGAN ne supportent que les matrices binaires, omettant le support original des matrices de comptage).

2. Méthodologie

Les auteurs introduisent un cadre de benchmarking léger de bout en bout basé sur la bibliothèque PyHealth, maintenue par la communauté. Le cadre unifie le pipeline, de l'ingestion des données à l'évaluation, garantissant que tous les modèles consomment des entrées identiques et produisent des sorties dans un format standardisé.

2.1. Représentation unifiée des données

Le cadre adopte un schéma de format long au niveau de la visite (ID du sujet, ID de la visite, Code), cohérent avec les standards de la communauté comme MEDS. Ce schéma préserve :

• La structure temporelle : Les limites des visites et l'ordre des visites.
• Les répétitions de codes : La fréquence des codes au sein des visites.
• La granularité : Le vocabulaire complet CIM-9 (6 955 codes) plutôt que des sous-ensembles tronqués.

Toutes les sorties synthétiques, quel que soit la représentation interne du générateur (matrices statiques ou séquences dynamiques), sont converties dans cette structure relationnelle normalisée avant l'évaluation.

2.2. Réimplémentation des lignes de base (Baselines)

Les auteurs réimplémentent et mettent à l'échelle quatre lignes de base solides pour supporter la pleine granularité CIM-9 :

1. MedGAN : Restaure le support de la matrice de comptage original (omis dans les précédents ports PyTorch) pour modéliser les comptes entiers non bornés par diagnostic.
2. CorGAN : Étend l'architecture convolutionnelle de 6 à 8 couches pour gérer nativement l'espace de sortie de 6 955 dimensions, remplaçant la troncature originale à 3 chiffres.
3. PromptEHR : Un modèle séquence-à-séquence basé sur BART, conditionné par la démographie. Les auteurs introduisent une génération guidée par la fréquence (mélange des logits du modèle avec les fréquences empiriques des codes) et une initialisation de trajectoire conditionnée par la démographie pour améliorer le réalisme clinique sans augmenter les données avec des dossiers de patients réels.
4. HALO : Un modèle autorégressif hiérarchique (modules au niveau de la visite et au niveau du code) qui était déjà prêt pour la production et a nécessité un minimum de modifications.
5. Ligne de base GPT-2 : Un transformateur autorégressif léger et polyvalent (8 couches, dimension d'embedding de 512) implémenté pour tester si des architectures spécialisées sont nécessaires.

2.3. Suite d'évaluation agnostique à l'architecture

Le cadre emploie une suite d'évaluation rigoureuse et agnostique au modèle :

• Fidélité (Utilité) :
  • Prévalence statistique : Mesure l'alignement des distributions marginales à l'aide de $R^2$, de la corrélation de Pearson et de la RMSE.
  • Fidélité basée sur le discriminateur : Entraîne un classificateur binaire (LSTM pour les données séquentielles, Forêt Aléatoire pour les données aplaties) pour distinguer les données réelles des données synthétiques. Le Score Discriminatif ($1 - 2|0,5 - \text{Précision}|$) quantifie l'indistinguabilité.
• Confidentialité :
  • Risque de précision de l'adversaire du plus proche voisin (NNAAR) : Une métrique de distance d'ensemble sensible aux séquences (distance de Hamming modifiée) qui mesure si les échantillons synthétiques sont plus proches des données d'entraînement que des données de test non vues.
  • Attaque d'inférence d'appartenance (MIA) : Teste si un adversaire peut distinguer les membres de l'entraînement des non-membres en se basant sur la distance par rapport aux données synthétiques.

3. Contributions clés

1. Restauration architecturale et mise à l'échelle : Les auteurs restaurent les capacités perdues (mode de comptage MedGAN) et étendent les architectures (couches CorGAN) pour supporter le vocabulaire complet CIM-9, allant au-delà des sous-ensembles tronqués utilisés dans les travaux précédents.
2. Benchmarking standardisé : Ils fournissent un pipeline unifié qui permet une comparaison équitable, côte à côte, des générateurs basés sur les GAN et les Transformers en utilisant des métriques de confidentialité et d'utilité cohérentes.
3. Infrastructure extensible : Construit sur PyHealth, le cadre offre un package unique via pip install et des flux de travail interactifs Colab, abaissant la barrière de l'ingénierie pour les recherches futures.
4. Analyse de la longue traîne : Le cadre évalue explicitement les performances sur les codes rares, révélant les modes de défaillance que les benchmarks tronqués cachent.

4. Résultats

L'évaluation a été menée sur des données MIMIC-III avec 10 000 patients.

• Compromis Fidélité vs Utilité :
  • Modèles séquentiels (HALO, PromptEHR, GPT-2) : Ont obtenu des Scores Discriminatifs supérieurs (plus proches de 0,5, indiquant une haute indistinguabilité). Ils ont réussi à capturer les distributions conjointes et la dynamique temporelle.
  • Modèles plats (MedGAN, CorGAN) : Ont obtenu une Utilité Statistique élevée (haut $R^2$ sur la prévalence marginale) mais de faibles Scores Discriminatifs. Ils ont échoué à capturer les corrélations conjointes complexes, ce qui les rend facilement distinguables des données réelles.
• Confidentialité : Tous les modèles ont démontré une protection robuste de la confidentialité, avec une précision MIA proche du hasard (0,5) et des scores NNAAR négligeables, indiquant aucune mémorisation significative des données d'entraînement.
• Performance de la ligne de base GPT-2 : Étonnamment, la ligne de base légère GPT-2 a obtenu le Score Discriminatif le plus élevé (0,355) parmi les modèles séquentiels, surpassant les architectures spécialisées en termes de réalisme, bien qu'elle ait légèrement accusé un retard en prévalence marginale ($R^2$) par rapport à HALO.
• Performance de la longue traîne :
  • À mesure que le périmètre d'évaluation s'étendait au 99e percentile des codes rares, HALO et PromptEHR ont maintenu un $R^2$ élevé, démontifiant leur capacité à modéliser les dépendances rares.
  • CorGAN s'est totalement effondré ($R^2 \approx 0$) sur les codes rares.
  • GPT-2 a bien performé jusqu'au 97,5e percentile mais a décliné brutalement au 99e percentile, soulignant la difficulté de générer des codes de l'extrême longue traîne sans mécanismes spécialisés.
  • Risques de confidentialité : L'inclusion de codes rares a augmenté les risques de MIA pour tous les modèles, suggérant que les codes rares agissent comme des quasi-identifiants.

5. Signification et affirmations

L'article affirme fournir un point de départ pour la reproductibilité communautaire plutôt qu'un benchmark final et immuable. Sa signification réside dans :

• Abaissement des barrières : En unifiant les différentes lignes de base sous un pipeline unique, il permet aux chercheurs de se concentrer sur l'innovation scientifique plutôt que sur la réimplémentation de code ou la gestion de conflits de dépendances.
• Exposition des modes de défaillance cachés : Le cadre révèle que, bien que les modèles puissent paraître performants sur des métriques marginales tronquées, ils échouent souvent à capturer la distribution conjointe et la réalité de la longue traîne des données de DSE.
• Remise en question de la spécialisation : La forte performance de la ligne de base généraliste GPT-2 suggère que des architectures complexes et spécifiques au domaine ne sont pas toujours nécessaires pour une synthèse de DSE de haute fidélité.
• Pérennité : Les auteurs positionnent le cadre comme un "substrat vivant" destiné à être étendu par la communauté pour supporter la CIM-10, des modalités supplémentaires (laboratoires, constantes vitales) et des métriques de confidentialité plus fortes.

Les auteurs déclarent explicitement qu'ils ne prétendent pas que les lignes de base précédentes étaient irreproductibles lors de leur publication, ni que ce cadre résistera éternellement à la dette technique. Au contraire, ils soutiennent que l'état actuel des dépôts disjoints rend la comparaison actuelle presque impossible, et que ce travail fournit le substrat nécessaire pour permettre une recherche juste, évolutive et reproductible à l'avenir.