Synthetic but Not Realistic: The Evaluation Challenge in Generative Modelling for Structured Electronic Medical Records

Resumo Técnico: Sintético, mas Não Realista

Definição do Problema
Dados de saúde sintéticos são cada vez mais propostos como um substituto preservador de privacidade para registros médicos eletrônicos (EMRs) reais para facilitar o compartilhamento de dados e o desenvolvimento de modelos. No entanto, a avaliação desses dados sintéticos permanece dominada por métricas de similaridade estatística (ex: correspondência de distribuição marginal) e desempenho preditivo downstream. Os autores argumentam que essas métricas padrão falham em refletir a validade clínica. Especificamente, as práticas de avaliação existentes frequentemente negligenciam se os dados sintéticos preservam as propriedades estruturais necessárias para uma inferência epidemiológica confiável, tais como distribuições de subgrupos precisas, estimativas de risco calibradas e estruturas de dependência causal corretas. Consequentemente, os dados sintéticos podem parecer "realistas" sob métricas padrão, enquanto falham em sustentar conclusões clínicas ou científicas válidas.

Metodologia
Para abordar esse desalinhamento, os autores propõem um framework de avaliação multidimensional fundamentado na epidemiologia, avaliando os dados sintéticos através de três dimensões distintas correspondentes a questões de pesquisa descritivas, preditivas e causais:

1. Fidelidade Descritiva: Avalia a reprodução de propriedades estatísticas observáveis, incluindo distribuições marginais e, crucialmente, resumos estratificados através de subpopulações predefinidas (ex: grupos de idade e quintis de status socioeconômico) para detectar distorções específicas de subgrupos.
2. Utilidade Clínica: Avalia a capacidade dos dados de sustentar tarefas preditivas usando análise de tempo para o evento. Os autores empregam o modelo de riscos proporcionais de Cox para avaliar:
   • Razões de Risco (HRs): Preservação do tamanho do efeito das covariáveis.
   • Calibração: O acordo entre as probabilidades de evento previstas e as frequências observadas, medido via a métrica de distância-para-1 ($D_{21}$), tanto ao nível populacional quanto através de estratos.
3. Validade Estrutural: Avalia a preservação de estruturas de dependência de ordem superior usando descoberta causal. O algoritmo Greedy Equivalence Search (GES) é aplicado tanto aos dados reais quanto aos sintéticos para recuperar grafos acíclicos direcionados (DAGs). O desempenho é medido usando a Distância de Hamming Estrutural (SHD) e precisão/recall/F1 de adjacência e orientação.

Configuração Experimental
O framework foi aplicado ao PRIME-CVD, uma coorte simulada de 50.000 adultos gerada a partir de um DAG (Grafo Acíclico Direcionado) especificado manualmente com estrutura de verdade fundamental (ground-truth) conhecida. Este conjunto de dados permite uma validação rigorosa de propriedades estatísticas, clínicas e causais. Os autores avaliaram quatro paradigmas generativos representativos sob uma representação unificada:

• WGAN-GP: Redes Adversárias Generativas com penalidade de gradiente, aumentadas com um regularizador de correlação.
• WGAN-GP + VAE: Uma abordagem híbrida que substitui o prior fixo por uma distribuição latente aprendida via Autoencoder Variacional.
• DDPM: Modelos Probabilísticos de Difusão de Denoising usando denoising iterativo.
• MCM (Modelo Condicional Mascarado): Uma abordagem de autoencoding baseada em mascaramento que aprende a reconstrução condicional.

Resultados Principais
A avaliação revelou que, embora todos os modelos tenham reproduzido com sucesso as distribuições marginais ao nível populacional, nenhum preservou simultaneamente a estrutura de subgrupo, as estimativas de efeito e a estrutura de dependência:

• Distorção de Subgrupo: Todos os modelos exibiram desvios aumentados nas distribuições condicionais através de quintis socioeconômicos (IRSD) em comparação ao nível populacional. Notavelmente, o DDPM e o MCM mostraram redução de variância e distribuições mais nítidas para variáveis contínuas.
• Utilidade Clínica:
  • Razões de Risco (HRs): Métodos baseados em GAN e o MCM produziram HRs mais próximos da verdade fundamental, enquanto o DDPM produziu HRs substancialmente maiores para múltiplas covariáveis.
  • Calibração: Embora o WGAN-GP tenha alcançado a melhor calibração ao nível populacional ($D_{21} = 0,048$), todos os modelos exibiram erros de calibração significativos quando estratificados por status socioeconômico (ex: erros do WGAN-GP variaram de 0,15 a 0,35 entre os quintis).
• Validade Estrutural:
  • Recuperação de Grafo: Nenhum modelo identificou com sucesso tanto a Idade quanto o IRSD como nós exógenos nos grafos recuperados.
  • Relacionamentos Espúrios: Os dados sintéticos geralmente geraram grafos mais densos do que o ground truth, indicando relacionamentos espúrios. O MCM alcançou a menor Distância de Hamming Estrutural (16) e os maiores scores de F1 para adjacência e orientação, enquanto o DDPM mostrou a maior desviação estrutural (32).

Significância e Alegações
O artigo afirma que as práticas de avaliação atuais superestimam a qualidade dos dados de saúde sintéticos. Os autores demonstram que uma alta fidelidade de distribuição não garante utilidade clínica ou validade estrutural. Especificamente:

• Modelos com forte fidelidade marginal podem exibir má calibração e relações distorcidas, levando a inferências não confiáveis.
• As três correntes de avaliação (descritiva, preditiva, causal) não são intercambiáveis; um modelo pode ter sucesso em uma dimensão enquanto falha em outras.
• Os achados desafiam o prevalente "trade-off fidelidade-privacidade", sugerindo que problemas de fidelidade são atualmente o principal gargalo, em vez dos riscos de privacidade.
• Os autores concluem que incorporar dados sintéticos irreais em modelos de decisão corre o risco de introduzir vieses que poderiam, em última análise, prejudicar pacientes reais. Eles defendem uma avaliação informada pelo domínio baseada na capacidade de sustentar conclusões clínicas e científicas válidas, em vez de depender apenas de métricas de similaridade estatística.

O estudo é modesto em seu escopo, reconhecendo que a avaliação foi conduzida em um único conjunto de dados (PRIME-CVD) com verdade fundamental conhecida, o que pode não capturar todas as complexidades dos EMRs do mundo real. No entanto, os resultados servem como uma motivação para mudar os padrões de avaliação em direção a frameworks epidemiologicamente fundamentados.