Synthetic tabular healthcare data in health informatics: fixed-size substitution and incremental-value controls for predictive utility Application Paper

Dans la médecine moderne, les ordinateurs sont de plus en plus utilisés pour prédire les résultats de santé et aider les chercheurs à comprendre les risques sanitaires. Pour enseigner à ces ordinateurs, les chercheurs ont besoin de vastes quantités de dossiers de patients. Cependant, les données médicales réelles sont profondément personnelles et protégées par des lois strictes sur la vie privée, ce qui rend difficile leur partage entre les hôpitaux ou les équipes de recherche. Pour remédier à cela, les scientifiques ont développé un moyen de créer des données « synthétiques ». Imaginez une machine qui lit des milliers de dossiers de patients réels, apprend les schémas de connexion entre différents facteurs de santé, puis écrit de nouveaux dossiers générés par ordinateur conçus pour ressembler aux vrais, plutôt que de décrire de nouveaux patients observés. De tels dossiers nécessitent tout de même des vérifications de confidentialité. L'espoir est qu'en ajoutant ces dossiers synthétiques aux dossiers réels, les chercheurs pourraient donner à leurs modèles informatiques plus de matériel de pratique, les rendant plus intelligents et plus précis.

Une équipe de chercheurs de l'Université de Porto, au Portugal, a décidé de tester si cet espoir était réellement fondé. Ils voulaient savoir si l'ajout de dossiers synthétiques améliorait véritablement la capacité de l'ordinateur à prédire les résultats de santé, ou si l'amélioration perçue pouvait en partie refléter le fait de donner à l'ordinateur plus de lignes de données à étudier. Ils se sont concentrés sur trois ensembles de données publiques différents liés au diabète, allant de grandes enquêtes nationales de santé aux dossiers hospitaliers et à un ensemble de données de questionnaires plus restreint. En utilisant trois méthodes différentes pour générer les données synthétiques, ils ont mené une série d'expériences rigoureuses. Dans un premier ensemble de tests, ils ont maintenu le nombre total de dossiers d'entraînement exactement identique, en remplaçant des lignes de patients réels par des lignes synthétiques pour voir si la composition des données importait indépendamment de la quantité. Dans un autre ensemble, ils ont ajouté des lignes synthétiques aux lignes réelles et ont comparé les résultats à un groupe de contrôle qui réutilisait des dossiers d'entraînement réels existants échantillonnés avec remplacement pour voir si les données synthétiques offraient une valeur unique.

Les résultats étaient clairs et quelque peu surprenants. Lorsque les chercheurs ont maintenu le nombre total de dossiers d'entraînement fixe et ont remplacé les données réelles par des données synthétiques, les modèles informatiques ont généralement moins bien performé. Dans la grande majorité de leurs tests, les modèles entraînés avec une partie ou la totalité des lignes réelles remplacées par des données synthétiques étaient moins capables de distinguer les résultats liés au diabète que ceux entraînés uniquement sur des données réelles. Plus ils remplaçaient de données réelles par des données synthétiques, plus la performance moyenne chutait. Cela suggère que, bien que les données synthétiques puissent reproduire les schémas trouvés dans les dossiers réels, les ensembles d'entraînement testés n'ont pas systématiquement préservé les informations dont ces modèles prédictifs avaient besoin. Cette conclusion concerne les tâches de prédiction évaluées, et non la valeur globale des données synthétiques.

Les chercheurs ont également examiné ce qui se passe lorsque l'on ajoute simplement des données synthétiques aux données réelles existantes, augmentant ainsi la taille totale de l'ensemble d'entraînement. Ici, les données synthétiques n'ont pas apporté d'avantage constant. Dans de nombreux cas, l'ajout de lignes synthétiques a fait que les modèles performaient moins bien que l'entraînement sur les seuls dossiers réels originaux ou la réutilisation de ces dossiers par échantillonnage bootstrap. Bien qu'il y ait eu quelques cas isolés où les données synthétiques ont aidé un modèle spécifique dans une situation spécifique, il s'agissait d'exceptions plutôt que de la règle. L'étude n'a trouvé aucune preuve d'un renforcement systématique du pouvoir prédictif dans les conditions testées. Cependant, elle n'établit pas pourquoi des études précédentes ont rapporté des améliorations : comparer des ensembles de données augmentés plus larges avec des ensembles plus petits composés uniquement de données réelles peut confondre les effets de la composition des données et de la taille de l'entraînement.

Ce travail fournit un contrôle méthodologique important pour le domaine de l'informatique de santé. Il démontre que le simple fait de générer plus de données n'est pas une solution garantie pour améliorer les prédictions médicales. L'étude souligne que la valeur des données synthétiques dépend fortement du contexte spécifique et qu'on ne peut pas présumer qu'elles soient bénéfiques simplement parce qu'elles augmentent la taille d'un ensemble de données. Pour les chercheurs et les médecins, la conclusion est que la validation des données réelles reste essentielle. Bien que des mélanges synthétiques appropriés puissent soutenir l'enseignement ou les tests de logiciels lorsque les limitations spécifiques à une tâche sont acceptables, ces applications n'ont pas été directement évaluées ici. L'utilisation de données synthétiques pour développer des modèles de prédiction clinique nécessite des tests sur données réelles, un étalonnage, une évaluation des sous-groupes et une gouvernance. De meilleures prédictions de santé dépendent de preuves réelles fiables et d'une évaluation minutieuse des données générées, et non seulement de la quantité de lignes d'entraînement.