Using Zero-Shot LLM-Generated Survey Data for Geographically Explicit Population Synthesis

Technische Samenvatting: Zero-Shot door LLM gegenereerde enquêtegegevens voor geografisch expliciete populatiesynthese

Probleemstelling
Geografisch expliciete populatiesynthese is een cruciale techniek voor het genereren van synthetische individuele populaties door enquêtegegevens te integreren met ruimtelijk geaggregeerde marginale constraints (bijvoorbeeld demografie op wijkniveau). Deze synthetische populaties dienen als invoer voor agent-based modellen in de volksgezondheid, zoals modellen voor de verspreiding van infectieziekten en de dynamiek van chronische ziekten. De kwaliteit van deze synthetische populaties is echter sterk afhankelijk van de beschikbaarheid en kwaliteit van de invoer-enquêtegegevens. Veel toepassingen worden beperkt door een gebrek aan enquêtegegevens die zowel representatief zijn voor specifieke populaties als de voor simulatie benodigde variabelen bevatten. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken bij het genereren van synthetische menselijke data die echte respondenten nabootst, is het nog onduidelijk of zero-shot door LLM gegenereerde enquêtegegevens bruikbare invoer kunnen zijn voor gevestigde workflows voor geografisch expliciete synthese, met name Iterative Proportional Fitting (IPF). De kernuitdaging ligt niet enkel in de plausibiliteit van individuele LLM-antwoorden, maar in de vraag of ze de complexe multivariate relaties behouden die vereist zijn voor downstream synthese-procedures.

Methodologie
De studie evalueert de haalbaarheid van het gebruik van zero-shot door LLM gegenereerde data als vervanging voor echte enquêtegegevens in een op IPF gebaseerde pipeline voor populatiesynthese.

• Datageneratie: De auteurs gebruikten twee state-of-the-art LLM's, GPT-4.1 en Gemini-2.5-Pro, om synthetische enquêterecords te genereren voor twee verschillende Amerikaanse staten: Colorado (CO) en Mississippi (MS). Met behulp van een zero-shot prompting-strategie (zonder voorbeeldrecords of doelverdelingen) kregen de modellen de opdracht om antwoorden te genereren die representatief waren voor de volwassen populaties van deze staten in 2023, gebaseerd op 14 categorische variabelen uit het Behavioral Risk Factor Surveillance System (BRFSS). Deze variabelen omvatten demografie, ziektekostenverzekering, chronische aandoeningen, gezondheidsgedrag en BMI.
• Generatie-pipeline: Om reproduceerbaarheid en structurele integriteit te waarborgen, gebruikten de auteurs officiële API's met een batch-generatiebenadering (75 records per oproep) en dwongen ze strikte JSON-schema's af. Een validatiestap filterde records met waarden buiten het bereik eruit om het introduceren van bias te voorkomen.
• Populatiesynthese: Er werden zes synthetische populaties geconstrueerd (drie per staat: één met gebruik van echte BRFSS-data als 'ground truth'-referentie, en twee met gebruik van door LLM gegenereerde data). Deze werden gefit op demografische constraints op wijkniveau uit de American Community Survey (ACS) voor de periode 2019–2023 (leeftijd, ras/etniciteit, geslacht, inkomen, opleiding) met behulp van IPF.
• Evaluatie: De studie hanteerde een meerstaps-evaluatie:
  1. Verdelingsgelijkheid: De Jensen–Shannon (JS)-divergentie werd berekend om het verschil te meten tussen door LLM gegenereerde verdelingen en de BRFSS-ground truth.
  2. Impact van synthese: De JS-divergentie werd opnieuw berekend na de IPF-stap om te beoordelen hoe het synthese-proces de fouten in de ruwe gegenereerde data veranderde.
  3. Ruimtelijke validatie: De resulterende synthetische populaties werden geaggregeerd tot wijkniveau en vergeleken met externe benchmarks: ACS-schattingen voor ziektekostenverzekering en CDC PLACES-schattingen voor de algemene gezondheidstoestand. De metrieken omvatten de Pearson-correlatie ($r$) en ruimtelijke residu-analyse.

Belangrijkste bijdragen

1. Beoordeling van geografische specificiteit: In tegenstelling tot eerder werk dat LLM-data grotendeels op nationaal niveau evalueerde, beoordeelt deze studie het vermogen van zero-shot LLM's om stat-specifieke gezondheidsenquêtegegevens te benaderen en betekenisvolle geografische contrasten vast te leggen (bijvoorbeeld tussen het gezondere, welvarende Colorado en het minder gezonde, lagere-inkomen Mississippi).
2. Analyse van downstream workflows: Het artikel onderzoekt de propagatie van fouten van het datageneratiestadium door het IPF-syntheseproces. Het onderzoekt specifiek of IPF de inherent aan door LLM gegenereerde data verbonden bias versterkt of vermindert, een vraag die tot nu toe in de literatuur niet was beantwoord.
3. Variabele-afhankelijke prestaties: De studie benadrukt dat de bruikbaarheid van door LLM gegenereerde data sterk variabele-afhankelijk is, en onderscheid maakt tussen demografische gegevens die gemakkelijk te reproduceren zijn (bijvoorbeeld geslacht, leeftijd) en complexe gezondheids- en economische indicatoren die moeilijk nauwkeurig vast te leggen zijn.

Resultaten

• Generatie van enquêtegegevens: Beide LLM's slaagden erin belangrijke stat-level contrasten vast te leggen, door het gezondere profiel van Colorado en het minder gezonde profiel van Mississippi te reproduceren. De prestaties varieerden echter aanzienlijk per variabele. Demografische gegevens zoals geslacht, leeftijd en lichaamsbeweging werden met bijna perfecte nauwkeurigheid gereproduceerd (lage JS-divergentie). Daarentegen vertoonden variabelen zoals ziektekostenverzekering, inkomen, hartaandoeningen en rookgedrag een hogere divergentie. Opmerkelijk genoeg hadden beide modellen moeite met ziektekostenverzekering, waarbij ze vaak werkgeversplannen onderschatten en het aantal onverzekerden onderschatten.
• Impact van IPF: De IPF-stap had gemengde effecten op de datakwaliteit. In sommige gevallen verminderde synthese de divergentie tussen LLM-data en ground truth (bijvoorbeeld aanzienlijke verbeteringen voor Mississippi GPT op inkomen en verzekering), wat suggereert dat IPF upstream-fouten gedeeltelijk kan regulariseren. In andere gevallen nam de divergentie toe (bijvoorbeeld BMI voor Mississippi GPT), wat aangeeft dat het fit-proces bestaande bias soms kan versterken of relaties kan vervormen.
• Ruimtelijke validatie:
  • Algemene gezondheid: Op LLM gebaseerde populaties reproduceerden de ruimtelijke patronen van de algemene gezondheid redelijk goed, met name in Mississippi, waar de ruimtelijke correlaties met externe benchmarks hoog waren ($r \approx 0,87$ voor Gemini).
  • Ziektekostenverzekering: Op LLM gebaseerde populaties scoorden slecht in het vastleggen van ruimtelijke patronen voor verzekeringsdekking. Ze onderschatten systematisch de verzekeringsgraden, wat leidde tot zwakke ruimtelijke correlaties met ACS-benchmarks ($r < 0,3$).
  • Vergelijking met ground truth: Hoewel op BRFSS gebaseerde synthetische populaties over het algemeen de meest accurate schattingen op wijkniveau opleverden, presteerden op LLM gebaseerde populaties af en toe beter dan de op BRFSS gebaseerde aanpak voor specifieke variabelen (bijvoorbeeld opleiding en griepprik in Mississippi), waarschijnlijk door het gladstrijken van ruis in echte enquêteverdelingen.

Betekenis en claims
Het artikel concludeert dat zero-shot door LLM gegenereerde enquêtegegevens veelbelovend is als aanvullende of voorlopige invoer voor geografisch expliciete populatiesynthese, maar nog geen levensvatbaar vervangingsmiddel is voor hoogwaardige echte enquêtegegevens.

• Contextueel vermogen: De modellen toonden het vermogen om stat-geconditioneerde records te genereren die betekenisvolle geografische context weerspiegelen in plaats van generieke nationale gemiddelden.
• Beperkingen: De nauwkeurigheid van de gegenereerde data is sterk variabele-afhankelijk. Beleidsgevoelige, zeldzame of structureel complexe variabelen (zoals verzekeringsdekking) blijven onbetrouwbaar onder zero-shot omstandigheden.
• Praktische bruikbaarheid: De studie suggereert dat hoewel LLM's een nuttig startpunt kunnen bieden wanneer conventionele enquêtegegevens beperkt of niet beschikbaar zijn, hun gebruik zorgvuldige validatie vereist. De relatie tussen invoerrealisme en downstream-fit is complex; goede prestaties op het stadium van enquêtegeneratie garanderen geen accurate synthetische populaties, en omgekeerd. De auteurs benadrukken dat toekomstig werk sterkere begeleiding tijdens de generatie en validatie tegen minder gebruikelijke enquêtes moet onderzoeken om het potentieel van deze aanpak volledig te beoordelen.