Using Zero-Shot LLM-Generated Survey Data for Geographically Explicit Population Synthesis

Resumo Técnico: Dados de Pesquisa Gerados por LLM em Zero-Shot para Síntese Populacional Geograficamente Explícita

Declaração do Problema
A síntese populacional geograficamente explícita é uma técnica crítica para gerar populações sintéticas de indivíduos, integrando dados de pesquisa com restrições marginais agregadas espacialmente (por exemplo, demografia de setores censitários). Essas populações sintéticas servem como entradas para modelos baseados em agentes em saúde pública, como transmissão de doenças infecciosas e dinâmicas de doenças crônicas. No entanto, a qualidade dessas populações sintéticas depende fortemente da disponibilidade e qualidade dos dados de pesquisa de entrada. Muitas aplicações enfrentam restrições devido à limitação de dados de pesquisa que sejam ao mesmo tempo representativos de populações específicas e contenham as variáveis necessárias para a simulação. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial na geração de dados humanos sintéticos que imitam respondentes reais, permanece incerto se dados de pesquisa gerados por LLMs em zero-shot podem servir como entradas viáveis para fluxos de trabalho de síntese geograficamente explícita estabelecidos, especificamente o Ajuste Proporcional Iterativo (IPF). O desafio central não é meramente a plausibilidade de respostas individuais do LLM, mas se elas preservam as relações multivariadas complexas exigidas para procedimentos de síntese a jusante.

Metodologia
O estudo avalia a viabilidade do uso de dados gerados por LLMs em zero-shot como substituto para dados de pesquisa reais em um pipeline de síntese populacional baseado em IPF.

• Geração de Dados: Os autores utilizaram dois LLMs de última geração, GPT-4.1 e Gemini-2.5-Pro, para gerar registros de pesquisa sintéticos para dois estados distintos dos EUA: Colorado (CO) e Mississippi (MS). Usando uma estratégia de prompt em zero-shot (sem registros de exemplo ou distribuições-alvo fornecidas), os modelos foram instruídos a gerar respostas representativas das populações adultas de 2023 desses estados, baseadas em 14 variáveis categóricas do Sistema de Vigilância de Fatores de Risco Comportamental (BRFSS). Essas variáveis cobriam demografia, seguro de saúde, condições crônicas, comportamentos de saúde e IMC.
• Pipeline de Geração: Para garantir reprodutibilidade e integridade estrutural, os autores utilizaram APIs oficiais com uma abordagem de geração em lote (75 registros por chamada) e impuseram esquemas JSON estritos. Uma etapa de validação filtrou registros com valores fora do intervalo para prevenir a introdução de viés.
• Síntese Populacional: Seis populações sintéticas foram construídas (três por estado: uma usando dados reais do BRFSS como referência de "verdade fundamental", e duas usando dados gerados por LLM). Estas foram ajustadas a restrições demográficas de nível de setor censitário do Inquérito da Comunidade Americana (ACS) de 2019–2023 (idade, raça/etnia, gênero, renda, educação) usando IPF.
• Avaliação: O estudo empregou uma avaliação em múltiplos estágios:
  1. Semelhança Distribucional: A divergência de Jensen–Shannon (JS) foi calculada para medir a diferença entre as distribuições geradas pelo LLM e a verdade fundamental do BRFSS.
  2. Impacto na Síntese: A divergência de JS foi recalculada após a etapa de IPF para avaliar como o processo de síntese alterou os erros presentes nos dados gerados brutos.
  3. Validação Espacial: As populações sintéticas resultantes foram agregadas ao nível de setor censitário e comparadas com benchmarks externos: estimativas do ACS para cobertura de seguro de saúde e estimativas do CDC PLACES para estado geral de saúde. As métricas incluíram correlação de Pearson ($r$) e análise de resíduos espaciais.

Principais Contribuições

1. Avaliação de Especificidade Geográfica: Diferentemente de trabalhos anteriores que avaliaram amplamente dados de LLMs em nível nacional, este estudo avalia a capacidade de LLMs em zero-shot de aproximar dados de pesquisas de saúde específicos de estados e capturar contrastes geográficos significativos (por exemplo, entre o Colorado, mais saudável e mais rico, e o Mississippi, menos saudável e de menor renda).
2. Análise de Fluxo de Trabalho a Jusante: O artigo examina a propagação de erros desde a etapa de geração de dados através do processo de síntese IPF. Investiga especificamente se o IPF amplifica ou mitiga os vieses inerentes aos dados gerados por LLMs, uma questão anteriormente não abordada na literatura.
3. Desempenho Dependente de Variáveis: O estudo destaca que a utilidade dos dados gerados por LLMs é altamente dependente da variável, distinguindo entre demografias que são facilmente reproduzidas (por exemplo, sexo, idade) e indicadores complexos de saúde/econômicos que são difíceis de capturar com precisão.

Resultados

• Geração de Dados de Pesquisa: Ambos os LLMs capturaram com sucesso os principais contrastes em nível estadual, reproduzindo o perfil mais saudável do Colorado e o perfil menos saudável do Mississippi. No entanto, o desempenho variou significativamente por variável. Demografias como sexo, idade e exercício foram reproduzidas com precisão quase perfeita (baixa divergência de JS). Por outro lado, variáveis como seguro de saúde, renda, doença cardíaca e status de tabagismo mostraram maior divergência. Notavelmente, ambos os modelos tiveram dificuldades com seguro de saúde, frequentemente superestimando planos patrocinados por empregadores e subestimando os não segurados.
• Impacto do IPF: A etapa de IPF teve efeitos mistos na qualidade dos dados. Em alguns casos, a síntese reduziu a divergência entre os dados do LLM e a verdade fundamental (por exemplo, melhorias significativas para Mississippi GPT em renda e seguro), sugerindo que o IPF pode regularizar parcialmente erros a montante. Em outros casos, a divergência aumentou (por exemplo, IMC para Mississippi GPT), indicando que o processo de ajuste pode, às vezes, amplificar vieses existentes ou distorcer relações.
• Validação Espacial:
  • Saúde Geral: Populações baseadas em LLM reproduziram razoavelmente bem os padrões espaciais de saúde geral, particularmente no Mississippi, onde as correlações espaciais com benchmarks externos foram altas ($r \approx 0,87$ para o Gemini).
  • Seguro de Saúde: Populações baseadas em LLM desempenharam mal na captura de padrões espaciais para cobertura de seguro. Elas superestimaram sistematicamente as taxas de cobertura, levando a correlações espaciais fracas com benchmarks do ACS ($r < 0,3$).
  • Comparação com a Verdade Fundamental: Embora populações sintéticas baseadas no BRFSS tenham geralmente fornecido as estimativas mais precisas em nível de setor censitário, populações baseadas em LLM ocasionalmente superaram a abordagem baseada no BRFSS para variáveis específicas (por exemplo, educação e vacinação contra gripe no Mississippi), provavelmente devido ao alisamento de distribuições de pesquisas reais ruidosas.

Significado e Afirmações
O artigo conclui que dados de pesquisa gerados por LLMs em zero-shot mostram potencial como uma entrada suplementar ou provisória para síntese populacional geograficamente explícita, mas ainda não é uma substituição viável para dados de pesquisa reais de alta qualidade.

• Capacidade Contextual: Os modelos demonstraram capacidade de gerar registros condicionados ao estado que refletem contexto geográfico significativo, em vez de médias nacionais genéricas.
• Limitações: A precisão dos dados gerados é fortemente dependente da variável. Variáveis sensíveis a políticas, raras ou estruturalmente complexas (como cobertura de seguro) permanecem pouco confiáveis sob condições de zero-shot.
• Utilidade Prática: O estudo sugere que, embora os LLMs possam fornecer um ponto de partida útil quando dados de pesquisa convencionais são limitados ou indisponíveis, seu uso requer validação cuidadosa. A relação entre realismo de entrada e ajuste a jusante é complexa; bom desempenho na etapa de geração de pesquisa não garante populações sintéticas precisas, e vice-versa. Os autores enfatizam que trabalhos futuros devem explorar orientações mais fortes durante a geração e validação contra pesquisas menos comuns para avaliar plenamente o potencial dessa abordagem.