Using Zero-Shot LLM-Generated Survey Data for Geographically Explicit Population Synthesis

Riepilogo Tecnico: Dati di Indagine Generati da LLM in Zero-Shot per la Sintesi di Popolazioni con Esplicitazione Geografica

Enunciato del Problema
La sintesi di popolazioni con esplicitazione geografica è una tecnica critica per generare popolazioni sintetiche di individui integrando dati di indagine con vincoli marginali aggregati spazialmente (ad esempio, dati demografici a livello di distretto censuario). Queste popolazioni sintetiche servono come input per modelli basati su agenti in ambito sanitario, come la trasmissione di malattie infettive e la dinamica delle malattie croniche. Tuttavia, la qualità di queste popolazioni sintetiche dipende fortemente dalla disponibilità e dalla qualità dei dati di indagine in ingresso. Molte applicazioni affrontano vincoli dovuti a dati di indagine limitati che siano al contempo rappresentativi di popolazioni specifiche e contengano le variabili necessarie per la simulazione. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano mostrato promesse nella generazione di dati umani sintetici che imitano i rispondenti reali, non è ancora chiaro se i dati di indagine generati da LLM in zero-shot possano servire come input validi per flussi di lavoro consolidati di sintesi di popolazioni con esplicitazione geografica, in particolare l'Adattamento Proporzionale Iterativo (IPF). La sfida principale non risiede meramente nella plausibilità delle singole risposte degli LLM, ma nel fatto che esse preservino le complesse relazioni multivariate richieste per le procedure di sintesi a valle.

Metodologia
Lo studio valuta la fattibilità dell'uso di dati generati da LLM in zero-shot come sostituto dei dati di indagine reali in una pipeline di sintesi di popolazioni basata su IPF.

• Generazione dei Dati: Gli autori hanno utilizzato due LLM all'avanguardia, GPT-4.1 e Gemini-2.5-Pro, per generare record di indagine sintetici per due distinti stati degli Stati Uniti: il Colorado (CO) e il Mississippi (MS). Utilizzando una strategia di prompting zero-shot (nessun record di esempio o distribuzione target fornito), i modelli sono stati istruiti a generare risposte rappresentative delle popolazioni adulte del 2023 di questi stati basandosi su 14 variabili categoriali del Behavioral Risk Factor Surveillance System (BRFSS). Queste variabili coprivano demografia, assicurazione sanitaria, condizioni croniche, comportamenti sanitari e BMI.
• Pipeline di Generazione: Per garantire la riproducibilità e l'integrità strutturale, gli autori hanno utilizzato API ufficiali con un approccio di generazione in batch (75 record per chiamata) e hanno imposto schemi JSON rigorosi. Un passaggio di validazione ha filtrato i record con valori fuori range per prevenire l'introduzione di bias.
• Sintesi della Popolazione: Sono state costruite sei popolazioni sintetiche (tre per stato: una utilizzando dati BRFSS reali come riferimento "ground truth", e due utilizzando dati generati da LLM). Queste sono state adattate ai vincoli demografici a livello di distretto censuario dell'American Community Survey (ACS) del 2019–2023 (età, razza/etnia, genere, reddito, istruzione) utilizzando IPF.
• Valutazione: Lo studio ha impiegato una valutazione multistadio:
  1. Somiglianza Distributiva: È stata calcolata la divergenza di Jensen–Shannon (JS) per misurare la differenza tra le distribuzioni generate dagli LLM e il ground truth BRFSS.
  2. Impatto sulla Sintesi: La divergenza JS è stata ricalcolata dopo il passaggio IPF per valutare come il processo di sintesi abbia alterato gli errori presenti nei dati generati grezzi.
  3. Validazione Spaziale: Le popolazioni sintetiche risultanti sono state aggregate a livello di distretto censuario e confrontate con benchmark esterni: stime ACS per la copertura assicurativa sanitaria e stime CDC PLACES per lo stato di salute generale. Le metriche includevano la correlazione di Pearson ($r$) e l'analisi dei residui spaziali.

Principali Contributi

1. Valutazione della Specificità Geografica: A differenza di lavori precedenti che hanno valutato i dati degli LLM principalmente a livello nazionale, questo studio valuta la capacità degli LLM in zero-shot di approssimare dati di indagine sanitaria specifici per stato e di catturare contrasti geografici significativi (ad esempio, tra il Colorado, più sano e ricco, e il Mississippi, meno sano e a reddito inferiore).
2. Analisi del Flusso di Lavoro a Valle: Il documento esamina la propagazione degli errori dalla fase di generazione dei dati attraverso il processo di sintesi IPF. Indaga specificamente se l'IPF amplifica o mitiga i bias intrinseci nei dati generati dagli LLM, una questione precedentemente non affrontata nella letteratura.
3. Performance Dipendente dalle Variabili: Lo studio evidenzia che l'utilità dei dati generati dagli LLM è fortemente dipendente dalla variabile, distinguendo tra dati demografici che sono facilmente riproducibili (ad esempio, sesso, età) e indicatori sanitari/economici complessi che sono difficili da catturare con precisione.

Risultati

• Generazione dei Dati di Indagine: Entrambi gli LLM hanno catturato con successo i principali contrasti a livello statale, riproducendo il profilo più sano del Colorado e il profilo meno sano del Mississippi. Tuttavia, le prestazioni sono variate significativamente in base alla variabile. I dati demografici come sesso, età ed esercizio fisico sono stati riprodotti con accuratezza quasi perfetta (bassa divergenza JS). Al contrario, variabili come assicurazione sanitaria, reddito, malattie cardiache e stato di fumo hanno mostrato una divergenza più elevata. In particolare, entrambi i modelli hanno faticato con l'assicurazione sanitaria, sovrastimando spesso i piani datoriali e sottostimando gli assicurati.
• Impatto dell'IPF: Il passaggio IPF ha avuto effetti misti sulla qualità dei dati. In alcuni casi, la sintesi ha ridotto la divergenza tra i dati degli LLM e il ground truth (ad esempio, miglioramenti significativi per il Mississippi con GPT su reddito e assicurazione), suggerendo che l'IPF può parzialmente regolarizzare gli errori a monte. In altri casi, la divergenza è aumentata (ad esempio, BMI per il Mississippi con GPT), indicando che il processo di adattamento può talvolta amplificare i bias esistenti o distorcere le relazioni.
• Validazione Spaziale:
  • Salute Generale: Le popolazioni basate su LLM hanno riprodotto ragionevolmente bene i modelli spaziali della salute generale, in particolare nel Mississippi, dove le correlazioni spaziali con i benchmark esterni erano elevate ($r \approx 0,87$ per Gemini).
  • Assicurazione Sanitaria: Le popolazioni basate su LLM hanno performato male nella cattura dei modelli spaziali per la copertura assicurativa. Hanno sistematicamente sovrastimato i tassi di copertura, portando a deboli correlazioni spaziali con i benchmark ACS ($r < 0,3$).
  • Confronto con il Ground Truth: Sebbene le popolazioni sintetiche basate su BRFSS abbiano generalmente fornito le stime più accurate a livello di distretto, le popolazioni basate su LLM hanno talvolta superato l'approccio basato su BRFSS per variabili specifiche (ad esempio, istruzione e vaccinazione antinfluenzale nel Mississippi), probabilmente a causa della smoothing delle distribuzioni di indagine reali rumorose.

Significato e Affermazioni
Il documento conclude che i dati di indagine generati da LLM in zero-shot mostrano promesse come input supplementare o provvisorio per la sintesi di popolazioni con esplicitazione geografica, ma non sono ancora un sostituto valido per dati di indagine reali di alta qualità.

• Capacità Contestuale: I modelli hanno dimostrato la capacità di generare record condizionati allo stato che riflettono un contesto geografico significativo piuttosto che medie nazionali generiche.
• Limitazioni: L'accuratezza dei dati generati è fortemente dipendente dalla variabile. Variabili sensibili alle politiche, rare o strutturalmente complesse (come la copertura assicurativa) rimangono inaffidabili in condizioni zero-shot.
• Utilità Pratica: Lo studio suggerisce che, sebbene gli LLM possano fornire un punto di partenza utile quando i dati di indagine convenzionali sono limitati o non disponibili, il loro utilizzo richiede una validazione attenta. La relazione tra realismo in input e adattamento a valle è complessa; una buona performance nella fase di generazione dell'indagine non garantisce popolazioni sintetiche accurate, e viceversa. Gli autori sottolineano che il lavoro futuro dovrebbe esplorare una guida più forte durante la generazione e la validazione contro indagini meno comuni per valutare appieno il potenziale di questo approccio.