Generation of Synthetic Data in Health Surveys Using Large Language Models

Technische Samenvatting: Generatie van Synthetische Data in Gezondheidsenquêtes met behulp van Large Language Models

Probleemstelling
Toegang tot hoogwaardige, geanonimiseerde gegevens uit gezondheidsenquêtes wordt vaak beperkt door privacyzorgen, ethische beperkingen en logistieke barrières, met name in lage- en middeninkomenslanden. Hoewel de generatie van synthetische data met behulp van Kunstmatige Intelligentie (AI) een oplossing biedt om kosten te verlagen en de toegang tot data te vergroten, hebben bestaande methoden (bijv. Variational Autoencoders, GANs) vaak moeite met het behouden van de contextuele coherentie en psychometrische validiteit die vereist zijn voor complexe gezondheidsenquêtes. Bovendien is er een gebrek aan systematische evaluatie met betrekking tot het vermogen van Large Language Models (LLMs) om plausibele, representatieve synthetische reacties te genereren voor nationale gezondheidsenquêtes, terwijl de statistische eigenschappen van latente variabelen zoals depressie- en angstschalen behouden blijven.

Methodologie
De studie maakte gebruik van een dwarsdoorsnededesign waarbij secundaire gegevens uit de ENSUSALUD 2016 (Nationale Gezondheidstevredenheidssurvey) in Peru werden gebruikt, specifiek gericht op gebruikers van ambulante gezondheidsdiensten.

• Databron & Persona Constructie: Onderzoekers extraheerden sociodemografische en klinische variabelen (geslacht, leeftijd, chronische aandoeningen) uit de originele dataset om narratieve "gebruikerspersona's" te construeren. Deze profielen werden gesystematiseerd in CSV-bestanden om als de 'ground truth' voor de AI te dienen.
• Modelarchitectuur: De studie maakte gebruik van de GPT-OSS-20B, een open-access LLM met 20 miljard parameters. Het model werd lokaal uitgevoerd op een server met behulp van het Ollama-framework met een temperatuur van 0.0 om deterministische outputs te garanderen. Er werd geen fine-tuning of Retrieval-Augmented Generation (RAG) toegepast; het model vertrouwde uitsluitend op zijn vooraf getrainde kennis en de verstrekte prompts.
• Prompt Engineering: Het experimentele ontwerp gebruikte een interactie op twee niveaus: een systeembericht dat de gebruikerspersona definieert (bijv. "simuleer het zijn van een 45-jarige vrouw met hypertensie") en een gebruikersbericht met specifieke enquêtevragen. Het systeem handhaafde strikte beperkingen, waarbij categorische antwoorden moesten overeenkomen met vooraf gedefinieerde opties en numerieke antwoorden binnen logische bereiken moesten vallen. Ongeldige outputs triggerden automatische pogingen opnieuw (retries); aanhoudende fouten werden geclassificeerd als ontbrekende gegevens.
• Gegenereerde Variabelen: De studie genereerde reacties voor:
  • Consistentievariabelen: Geslacht, leeftijd en aanwezigheid van chronische ziekten (hypertensie, diabetes, obesitas, depressie).
  • Latente Variabelen: Volledige versies van de Patient Health Questionnaire (PHQ-9, PHQ-8, PHQ-2) en de Generalized Anxiety Disorder schaal (GAD-7, GAD-2), die niet volledig beschikbaar waren in de originele ENSUSALUD-dataset.
  • Numerieke/Categorische Variabelen: Lengte, gewicht, IQ en aantal uren slaap.
• Evaluatiemetrieken:
  • Consistentie: Accuraatheid, precisie, recall, F1-score en AUC werden berekend om de afstemming tussen de gegenereerde reactie en het gebruikersprofiel te meten.
  • Psychometrische Validiteit: Confirmerende factoranalyse (CFA) met behulp van Weighted Least Squares Mean and Variance Adjusted (WLSMV) estimators en polychorische matrices beoordeelde de structurele validiteit van PHQ-9, PHQ-8 en GAD-7. Interne consistentie werd gemeten via Cronbach's $\alpha$ en McDonald's $\omega$.
  • Distributie & Stabiliteit: Normaliteit werd getest via de Jarque–Bera test. Stabiliteit werd beoordeeld door synthetische maten te correleren met real-world PHQ-2 en EQ-5D scores uit de originele dataset.

Belangrijkste Resultaten

• Profielconsistentie: De LLM vertoonde een uitzonderlijke consistentie met de gebruikerspersona's. Accuraatheid, precisie, recall en F1-scores voor geslacht, leeftijd en de aanwezigheid van chronische ziekten waren bijna 1.00. Specifiek behaalden geslacht en de status van chronische ziekten een consistentie van 100%, terwijl obesitas en hypertensie lichte afwijkingen vertoonden (respectievelijk 98,6% en 97,3% consistentie). In totaal waren 95,9% van de gevallen volledig consistent over alle variabelen.
• Psychometrische Eigenschappen: De synthetische data voor PHQ-9, PHQ-8 en GAD-7 vertoonden optimale model-fit indices (CFI en TLI > 0,99; SRMR < 0,02; RMSEA < 0,04) en een hoge interne consistentie ($\alpha$ en $\omega$ > 0,93).
• Correlatie met Real-world Data: Synthetische maten vertoonden sterke, significante positieve correlaties met echte PHQ-2 scores (bijv. synthetische PHQ-9 vs. echte PHQ-2: $r = 0,806$) en negatieve correlaties met EQ-5D kwaliteit-van-leven scores, wat de verwachte klinische patronen weerspiegelt.
• Distributie-anomalieën: Terwijl gewicht een parametrische distributie volgde, vertoonde lengte niet de verwachte normale distributie. Daarnaast vertoonden scores van enkelvoudige items implausibele distributies met prominente centrale pieken. Opvallend genoeg had Item 9 van de PHQ-9 (suïcidale ideatie) een hoog percentage ontbrekende waarden (30,1%) vergeleken met andere items.
• Bias Detectie: Een sensitiviteitsanalyse onthulde een overschatting van de prevalentie van obesitas in de synthetische groep ($p = 0,012$), wat de auteurs toeschreven aan het feit dat het model comorbiditeiten aannam (bijv. het koppelen van diabetes aan obesitas) in plaats van zich strikt aan het profiel te houden.

Betekenis en Claims
De auteurs stellen dat deze studie de eerste is die reacties op een nationale gezondheidsenquête simuleert en de psychometrische eigenschappen van dergelijke door een LLM gegenereerde data evalueert. De primaire betekenis ligt in het aantonen dat LLMs, wanneer zij worden geconditioneerd op realistische gebruikerspersona's, synthetische data kunnen genereren die een hoge coherentie behoudt met demografische en klinische kenmerken en adequate psychometrische eigenschappen handhaaft voor depressie- en angstschalen.

Het artikel stelt dat deze aanpak een levensvatbare strategie biedt voor:

1. Instrumentontwikkeling: Het testen en verfijnen van vragenlijsten (bijv. het identificeren van verwarrende formuleringen) voordat ze in het veld worden geïmplementeerd.
2. Datatoegankelijkheid: Het genereren van geanonimiseerde datasets die lijken op echte enquêtes, wat onderzoek faciliteert in contexten waar toegang tot primaire data beperkt is.
3. Kostenefficiëntie en Tijdsefficiëntie: Het verminderen van de middelen die nodig zijn voor voorlopige studies en hypothesetests.

Beperkingen en Kanttekeningen
De auteurs hanteren een bescheiden standpunt met betrekking tot het nut van de data voor inferentiële doeleinden. Zij merken expliciet op dat:

• De studie geen complexe survey-design gewichten (stratificatie, clustering) heeft opgenomen, uitgaande van een uniforme distributie van gesimuleerde gevallen.
• Het model niet is gefinetuned voor de specifieke Peruaanse context, maar vertrouwt op algemene pre-training.
• Afwijkingen in distributie (bijv. lengte, overschatting van obesitas) en ontbrekende waarden in gevoelige items (suïcidale ideatie) aangeven dat de data geen perfect replica van de werkelijkheid is.
• De auteurs concluderen dat hoewel de methode veelbelovend is voor survey-ontwerp en planning, rigoureuze validatie en bias-controle essentieel zijn voordat dergelijke synthetische data gebruikt kunnen worden voor publiek beleid of klinische inferentie. De data moet de empirische verzameling niet vervangen, maar eerder aanvullen.