Generation of Synthetic Data in Health Surveys Using Large Language Models

Résumé technique : Génération de données synthétiques dans les enquêtes de santé à l'aide de grands modèles de langage

Énoncé du problème
L'accès à des données d'enquêtes de santé de haute qualité et anonymisées est souvent restreint en raison de préoccupations liées à la vie privée, de contraintes éthiques et de barrières logistiques, particulièrement dans les pays à revenu faible et intermédiaire. Bien que la génération de données synthétiques via l'intelligence artificielle (IA) offre une solution pour réduire les coûts et élargir l'accès aux données, les méthodes existantes (par exemple, les auto-encodeurs variationnels, les GAN) peinent souvent à maintenir la cohérence contextuelle et la validité psychométrique requises pour les enquêtes de santé complexes. De plus, il existe un manque d'évaluation systématique concernant la capacité des grands modèles de langage (LLM) à générer des réponses synthétiques plausibles et représentatives pour les enquêtes nationales de santé tout en préservant les propriétés statistiques des variables latentes telles que les échelles de dépression et d'anxiété.

Méthodologie
L'étude a adopté un plan transversal utilisant des données secondaires de l'enquête nationale sur la satisfaction en matière de santé (ENSUSALUD) de 2016 au Pérou, ciblant spécifiquement les utilisateurs de services de santé ambulatoires.

• Source de données et construction de personas : Les chercheurs ont extrait des variables sociodémographiques et cliniques (sexe, âge, maladies chroniques) de l'ensemble de données original pour construire des « personas d'utilisateurs » narratifs. Ces profils ont été systématisés dans des fichiers CSV pour servir de vérité terrain à l'IA.
• Architecture du modèle : L'étude a utilisé le GPT-OSS-20B, un modèle de langage ouvert (open-access) de 20 milliards de paramètres. Le modèle a été exécuté localement sur un serveur via le framework Ollama avec une température de 0,0 pour garantir des sorties déterministes. Aucune adaptation (fine-tuning) ni génération augmentée par récupération (RAG) n'a été appliquée ; le modèle reposait uniquement sur ses connaissances pré-entraînées et sur les prompts fournis.
• Ingénierie de prompt (Prompt Engineering) : Le design expérimental utilisait une interaction à deux niveaux : un message système définissant le persona de l'utilisateur (ex. : « simule être une femme de 45 ans souffrant d'hypertension ») et un message utilisateur contenant des questions d'enquête spécifiques. Le système imposait des contraintes strictes, exigeant que les réponses catégorielles correspondent à des options prédéfinies et que les réponses numériques se situent dans des plages logiques. Les sorties invalides déclenchaient des tentatives automatiques ; les échecs persistants étaient classés comme données manquantes.
• Variables générées : L'étude a généré des réponses pour :
  • Variables de cohérence : Sexe, âge et présence de maladies chroniques (hypertension, diabète, obésité, dépression).
  • Variables latentes : Versions complètes du Patient Health Questionnaire (PHQ-9, PHQ-8, PHQ-2) et de l'échelle de l'anxiété généralisée (GAD-7, GAD-2), qui n'étaient pas entièrement disponibles dans l'ensemble de données ENSUSALUD original.
  • Variables numériques/catégorielles : Taille, poids, QI et heures de sommeil.
• Métriques d'évaluation :
  • Cohérence : L'exactitude (accuracy), la précision (precision), le rappel (recall) et le score F1 ont été calculés pour mesurer l'alignement entre la réponse générée et le profil du persona.
  • Validité psychométrique : L'analyse factorielle confirmatoire (CFA) utilisant des estimateurs de type Weighted Least Squares Mean and Variance Adjusted (WLSMV) et des matrices polychoriques a évalué la validité structurelle du PHQ-9, PHQ-8 et GAD-7. La cohérence interne a été mesurée via l'alpha de Cronbach et l'omega de McDonald.
  • Distribution et stabilité : La normalité a été testée via le test de Jarque–Bera. La stabilité a été évaluée en corrélant les mesures synthétiques avec les scores réels de PHQ-2 et d'EQ-5D de l'ensemble de données original.

Résultats clés

• Cohérence du profil : Le LLM a démontré une cohérence exceptionnelle avec les personas d'utilisateurs. L'exactitude, la précision, le rappel et le score F1 pour le sexe, l'âge et l'état de maladie chronique étaient proches de 1,00. Plus précisément, le sexe et l'état de maladie chronique ont atteint une cohérence de 100 %, tandis que l'obésité et l'hypertension ont montré de légères déviations (respectivement 98,6 % et 97,3 % de cohérence). Au total, 95,9 % des cas étaient pleinement cohérents sur l'ensemble des variables.
• Propriétés psychométriques : Les données synthétiques pour le PHQ-9, le PHQ-8 et le GAD-7 ont présenté des indices d'ajustement de modèle optimaux (CFI et TLI > 0,99 ; SRMR < 0,02 ; RMSEA < 0,04) et une cohérence interne élevée ($\alpha$ et $\omega$ > 0,93).
• Corrélation avec les données réelles : Les mesures synthétiques ont montré des corrélations positives fortes et significatives avec les scores réels de PHQ-2 (ex. : PHQ-9 synthétique vs PHQ-2 réel : $r = 0,806$) et des corrélations négatives avec les scores de qualité de vie EQ-5D, reflétant les schémas cliniques attendus.
• Anomalies de distribution : Alors que le poids suivait une distribution paramétrique, la taille ne présentait pas la distribution normale attendue. De plus, les scores de symptômes à item unique affichaient des distributions implausibles avec des pics centraux prononcés. Notamment, l'item 9 du PHQ-9 (idées suicidaires) présentait un taux élevé de données manquantes (30,1 %) par rapport aux autres items.
• Détection de biais : Une analyse de sensibilité a révélé une surestimation de la prévalence de l'obésité dans le groupe synthétique ($p = 0,012$), ce que les auteurs attribuent au fait que le modèle suppose des comorbidités (ex. : lier le diabète à l'obésité) plutôt que de respecter strictement le profil.

Signification et affirmations
Les auteurs affirment que cette étude est la première à simuler des réponses à une enquête de santé nationale et à évaluer les propriétés psychométriques de telles données générées par un LLM. La principale importance réside dans la démonstration que les LLM, lorsqu'ils sont conditionnés par des personas d'utilisateurs réalistes, peuvent générer des données synthétiques qui préservent une haute cohérence avec les caractéristiques démographiques et cliniques et maintiennent des propriétés psychométriques adéquates pour les échelles de dépression et d'anxiété.

L'étude pose que cette approche offre une stratégie viable pour :

1. Le développement d'instruments : Tester et affiner les questionnaires (ex. : identifier une formulation confuse) avant la mise en œuvre sur le terrain.
2. L'accessibilité des données : Générer des ensembles de données anonymisés qui ressemblent à de réelles enquêtes, facilitant la recherche dans des contextes où l'accès aux données primaires est restreint.
3. L'efficacité du coût et du temps : Réduire les ressources nécessaires pour les études préliminaires et les tests d'hypothèses.

Limites et mises en garde
Les auteurs maintiennent une position modeste quant à l'utilité des données pour des fins d'inférence. Ils notent explicitement que :

• L'étude n'a pas incorporé de poids de conception d'enquête complexes (stratification, grappes), supposant une distribution uniforme des cas simulés.
• Le modèle n'a pas été affiné (fine-tuned) pour le contexte péruvien spécifique, s'appuyant plutôt sur un pré-entraînement général.
• Les écarts de distribution (ex. : taille, surestimation de l'obésité) et les valeurs manquantes dans les items sensibles (idées suicidaires) indiquent que les données ne sont pas une réplique parfaite de la réalité.
• Les auteurs concluent que, bien que la méthode soit prometteuse pour la conception et la planification d'enquêtes, une validation rigoureuse et un contrôle des biais sont essentiels avant d'utiliser ces données synthétiques pour des politiques publiques ou des inférences cliniques. Les données ne doivent pas remplacer la collecte empirique mais plutôt la compléter.