Generation of Synthetic Data in Health Surveys Using Large Language Models

Resumo Técnico: Geração de Dados Sintéticos em Inquéritos de Saúde Utilizando Grandes Modelos de Linguagem

Definição do Problema
O acesso a dados de inquéritos de saúde de alta qualidade e anonimizados é frequentemente restrito devido a preocupações com a privacidade, restrições éticas e barreiras logísticas, particularmente em países de baixa e média renda. Embora a geração de dados sintéticos utilizando Inteligência Artificial (IA) ofereça uma solução para reduzir custos e expandir o acesso aos dados, os métodos existentes (por exemplo, Autoencoders Variacionais, GANs) frequentemente têm dificuldade em manter a coerência contextual e a validade psicométrica exigidas para inquéritos de saúde complexos. Além disso, há uma carência de avaliação sistemática sobre a capacidade dos Grandes Modelos de Linguagem (LLMs) de gerar respostas plausíveis e representativas para inquéritos nacionais de saúde, preservando as propriedades estatísticas de variáveis latentes, como as escalas de depressão e ansiedade.

Metodologia
O estudo empregou um desenho transversal utilizando dados secundários do Inquérito Nacional de Satisfação de Saúde (ENSUSALUD) de 2016 no Peru, focando especificamente em utilizadores de serviços de saúde ambulatoriais.

• Fonte de Dados e Construção de Personas: Os investigadores extraíram variáveis sociodemográficas e clínicas (sexo, idade, condições crónicas) do conjunto de dados original para construir "personas de utilizadores" narrativas. Estes perfis foram sistematizados em ficheiros CSV para servirem como a verdade fundamental (ground truth) para a IA.
• Arquitetura do Modelo: O estudo utilizou o GPT-OSS-20B, um LLM de código aberto com 20 mil milhões de parâmetros. O modelo foi executado localmente num servidor utilizando o framework Ollama com uma temperatura de 0.0 para garantir saídas determinísticas. Não foi aplicada técnica de fine-tuning ou Geração Aumentada de Recuperação (RAG); o modelo baseou-se exclusivamente no seu conhecimento pré-treinado e nos prompts fornecidos.
• Engenharia de Prompt: O desenho experimental utilizou uma interação de dois níveis: uma mensagem de sistema definindo a persona do utilizador (ex: "simula ser uma mulher de 45 anos com hipertensão") e uma mensagem de utilizador contendo perguntas específicas do inquérito. O sistema impôs restrições rigorosas, exigindo que as respostas categóricas correspondessem a opções predefinidas e que as respostas numéricas estivessem dentro de intervalos lógicos. Saídas inválidas disparavam tentativas automáticas de repetição; falhas persistentes foram classificadas como dados em falta.
• Variáveis Geradas: O estudo gerou respostas para:
  • Variáveis de Consistência: Sexo, idade e presença de doenças crónicas (hipertensão, diabetes, obesidade, depressão).
  • Variáveis Latentes: Versões completas do Patient Health Questionnaire (PHQ-9, PHQ-8, PHQ-2) e da escala de Transtorno de Ansiedade Generalizada (GAD-7, GAD-2), que não estavam totalmente disponíveis no conjunto de dados original do ENSUSALUD.
  • Variáveis Numéricas/Categóricas: Altura, peso, QI e horas de sono.
• Métricas de Avaliação:
  • Consistência: Foram calculados a precisão, a revocação (recall), o F1-score e a AUC para medir o alinhamento entre a resposta gerada e o perfil da persona.
  • Validade Psicométrica: A Análise Fatorial Confirmatória (CFA) utilizando estimadores de Mínimos Quadrados Menores Ponderados e Ajustados pela Variância e Média (WLSMV) e matrizes policóricas avaliou a validade estrutural do PHQ-9, PHQ-8 e GAD-7. A consistência interna foi medida através do $\alpha$ de Cronbach e do $\omega$ de McDonald.
  • Distribuição e Estabilidade: A normalidade foi testada via teste de Jarque–Bera. A estabilidade foi avaliada correlacionando medidas sintéticas com pontuações reais de PHQ-2 e EQ-5D do conjunto de dados original.

Principais Resultados

• Consistência de Perfil: O LLM demonstrou uma consistência excecional com as personas de utilizadores. A precisão, a revocação, a precisão (precision) e os F1-scores para sexo, idade e estado de doença crónica foram próximos de 1.00. Especificamente, o sexo e o estado de doença crónica atingiram 100% de consistência, enquanto a obesidade e a hipertensão mostraram ligeiros desvios (98.6% e 97.3% de consistência, respetivamente). No total, 95.9% dos casos foram totalmente consistentes em todas as variáveis.
• Propriedades Psicométricas: Os dados sintéticos para PHQ-9, PHQ-8 e GAD-7 exibiram índices de ajuste de modelo ótimos (CFI e TLI > 0.99; SRMR < 0.02; RMSEA < 0.04) e alta consistência interna ($\alpha$ e $\omega$ > 0.93).
• Correlação com Dados Reais: As medidas sintéticas mostraram correlações positivas fortes e significativas com as pontuações reais de PHQ-2 (ex: PHQ-9 sintético vs. PHQ-2 real: $r = 0.806$) e correlações negativas com as pontuações de qualidade de vida EQ-5D, espelhando padrões clínicos esperados.
• Anomalias de Distribuição: Enquanto o peso seguiu uma distribuição paramétrica, a altura não exibiu a distribuição normal esperada. Adicionalmente, as pontuações de sintomas de item único exibiram distribuições implausíveis com picos centrais pronunciados. Notavelmente, o Item 9 do PHQ-9 (ideação suicida) teve uma elevada taxa de dados em falta (30.1%) em comparação com outros itens.
• Deteção de Viés: Uma análise de sensibilidade revelou uma sobrestimação da prevalência de obesidade no grupo sintético ($p = 0.012$), que os autores atribuíram ao modelo assumir comorbidades (ex: ligar a diabetes à obesidade) em vez de aderir estritamente ao perfil.

Significância e Alegações
Os autores afirmam que este estudo é o primeiro a simular respostas a um inquérito nacional de saúde e a avaliar as propriedades psicométricas de tais dados gerados por um LLM. A principal significância reside no facto de demonstrar que os LLMs, quando condicionados por personas de utilizadores realistas, podem gerar dados sintéticos que preservam uma alta coerência com características demográficas e clínicas e mantêm propriedades psicométricas adequadas para escalas de depressão e ansiedade.

O artigo postula que esta abordagem oferece uma estratégia viável para:

1. Desenvolvimento de Instrumentos: Testar e refinar questionários (ex: identificar redação confusa) antes da implementação de campo.
2. Acessibilidade de Dados: Gerar conjuntos de dados anonimizados que se assemelham a inquéritos reais, facilitando a investigação em contextos onde o acesso a dados primários é restrito.
3. Eficiência de Custo e Tempo: Reduzir os recursos necessários para estudos preliminares e testes de hipóteses.

Limitações e Ressalvas
Os autores mantêm uma postura modesta quanto à utilidade dos dados para fins de inferência. Eles explicitam que:

• O estudo não incorporou pesos de desenho de inquérito complexos (estratificação, agrupamento), assumindo uma distribuição uniforme de casos simulados.
• O modelo não foi submetido a fine-tuning para o contexto peruano específico, baseando-se, em vez disso, no pré-treino geral.
• Desvios na distribuição (ex: altura, sobrestimação da obesidade) e valores em falta em itens sensíveis (ideação suicida) indicam que os dados não são uma réplica perfeita da realidade.
• Os autores concluem que, embora o método seja promissor para o desenho e planeamento de inquéritos, a validação rigorosa e o controlo de viés são essenciais antes de utilizar tais dados sintéticos para políticas públicas ou inferência clínica. Os dados não devem substituir a recolha empírica, mas sim complementá-la.