Resumo Técnico: Acelerando a Pesquisa Reprodutível na Geração de EHR Sintéticos

1. Declaração do Problema

A geração de Registros Eletrônicos de Saúde (EHR) sintéticos de alta fidelidade é essencial para o avanço da pesquisa médica, preservando simultaneamente a privacidade do paciente. No entanto, o campo enfrenta uma crise de reprodutibilidade impulsionada por barreiras sistêmicas:

• Infraestrutura Desarticulada: Modelos generativos existentes (ex: MedGAN, CorGAN, PromptEHR) são implementados em bases de código díspares com dependências incompatíveis, dimensões de conjuntos de dados fixas (hard-coded) e designs procedimentais que dificultam a comparação direta.
• Fragmentação de Avaliação: Não existe um framework de benchmarking unificado. As métricas são reportadas de forma inconsistente e ferramentas padronizadas modernas (ex: sdmetrics) frequentemente falham ao lidar com a alta dimensionalidade e a natureza sequencial dos dados de EHR.
• Perda de Granularidade: Para gerenciar a esparsidade, pesquisadores frequentemente truncam os códigos ICD-9 do vocabulário completo (6.955 códigos) para categorias de três dígitos (1.071 códigos). Essa prática descarta informações clinicamente vitais da cauda longa (ex: distinguir diabetes complicada de não complicada) e mascara o baixo desempenho dos modelos em códigos raros.
• Inconsistência Arquitetural: Implementações do mesmo algoritmo frequentemente divergem em capacidade (ex: alguns ports de PyTorch do MedGAN suportam apenas matrizes binárias, omitindo o suporte original para matrizes de contagem).

2. Metodologia

Os autores introduzem um framework de benchmarking leve e de ponta a ponta construído sobre a biblioteca PyHealth, mantida pela comunidade. O framework unifica o pipeline, desde a ingestão de dados até a avaliação, garantindo que todos os modelos consumam entradas idênticas e produzam saídas em um formato padronizado.

2.1. Representação de Dados Unificada

O framework adota um esquema de formato longo por visita (ID do Sujeito, ID da Visita, Código), consistente com padrões da comunidade como o MEDS. Este esquema preserva:

• Estrutura Temporal: Limites de visitas e a ordem das visitas.
• Repetições de Códigos: Frequência de códigos dentro das visitas.
• Granularidade: Vocabulário ICD-9 completo (6.955 códigos) em vez de subconjuntos truncados.

Todas as saídas sintéticas, independentemente da representação interna do gerador (matrizes estáticas ou sequências dinâmicas), são convertidas nesta estrutura relacional normalizada antes da avaliação.

2.2. Baselines Reimplementados

Os autores reimplementam e escalam quatro baselines fortes para suportar a granularidade total do ICD-9:

1. MedGAN: Restaura o suporte original à matriz de contagem (omitido em versões anteriores de PyTorch) para modelar contagens inteiras ilimitadas por diagnóstico.
2. CorGAN: Estende a arquitetura convolucional de 6 para 8 camadas para lidar nativamente com o espaço de saída de 6.955 dimensões, substituindo a truncagem original de 3 dígitos.
3. PromptEHR: Um modelo de sequência-para-sequência baseado em BART condicionado por demografia. Os autores introduzem a geração guiada por frequência (misturando os logits do modelo com frequências empíricas de códigos) e a inicialização de trajetória condicionada à demografia para melhorar o realismo clínico sem aumentar os dados com registros reais de pacientes.
4. HALO: Um modelo autorregressivo hierárquico (módulos de nível de visita e nível de código) que já estava pronto para produção e exigiu modificações mínimas.
5. Baseline GPT-2: Um transformer autorregressivo leve e de propósito geral (8 camadas, dimensão de embedding de 512) implementado para testar se arquiteturas especializadas são necessárias.

2.3. Suíte de Avaliação Agnóstica de Arquitetura

O framework emprega uma suíte de avaliação rigorosa e agnóstica ao modelo:

• Fidelidade (Utilidade):
  • Prevalência Estatística: Mede o alinhamento da distribuição marginal usando $R^2$, correlação de Pearson e RMSE.
  • Fidelidade Baseada em Discriminador: Treina um classificador binário (LSTM para dados sequenciais, Random Forest para dados achatados/flattened) para distinguir dados reais de sintéticos. O Score Discriminativo ($1 - 2|0.5 - \text{Acurácia}|$) quantifica a indistinguibilidade.
• Privacidade:
  • Erro de Acurácia de Risco de Adversário de Vizinho Mais Próximo (NNAAR): Uma métrica de distância de conjunto sensível à sequência (distância de Hamming modificada) que mede se as amostras sintéticas estão mais próximas dos dados de treinamento do que dos dados de teste retidos.
  • Ataque de Inferência de Membros (MIA): Testa se um adversário pode distinguir membros do treinamento de não membros com base na distância para os dados sintéticos.

3. Principais Contribuições

1. Restauração Arquitetural e Escalonamento: Os autores restauram capacidades perdidas (modo de contagem do MedGAN) e estendem arquiteturas (camadas do CorGAN) para suportar o vocabulário completo do ICD-9, indo além dos subconjetos truncados usados em trabalhos anteriores.
2. Benchmarking Padronizado: Eles fornecem um pipeline unificado que permite a comparação justa e lado a lado de geradores baseados em GAN e Transformers usando métricas consistentes de privacidade e utilidade.
3. Infraestrutura Extensível: Construído sobre o PyHealth, o framework oferece um pacote único via pip install e fluxos de trabalho interativos no Colab, reduzindo a barreira de engenharia para pesquisas futuras.
4. Análise de Cauda Longa: O framework avalia explicitamente o desempenho em códigos raros, revelando modos de falha que os benchmarks truncados escondem.

4. Resultados

A avaliação foi conduzida com dados do MIMIC-III com 10.000 pacientes.

• Troca entre Fidelidade e Utilidade:
  • Modelos Sequenciais (HALO, PromptEHR, GPT-2): Alcançaram Scores Discriminativos superiores (mais próximos de 0.5, indicando alta indistinguibilidade). Eles capturaram com sucesso as distribuições conjuntas e a dinâmica temporal.
  • Modelos Planos/Flat (MedGAN, CorGAN): Alcançaram alta Utilidade Estatística (alto $R^2$ na prevalência marginal), mas baixos Scores Discriminativos. Eles falharam em capturar correlações conjuntas complexas, tornando-se facilmente distinguíveis dos dados reais.
• Privacidade: Todos os modelos demonstraram proteção robusta de privacidade, com acurácia de MIA próxima ao acaso (0.5) e scores de NNAAR negligenciáveis, indicando que não há memorização significativa dos dados de treinamento.
• Desempenho do Baseline GPT-2: Surpreendentemente, o baseline leve GPT-2 alcançou o maior Score Discriminativo (0.355) entre os modelos sequenciais, superando arquiteturas especializadas em realismo, embora tenha ficado ligeiramente atrás em prevalência marginal ($R^2$) em comparação ao HALO.
• Desempenho de Cauda Longa:
  • Conforme o escopo da avaliação se expandia para o percentil 99 de códigos raros, HALO e PromptEHR mantiveram $R^2$ alto, demonstrando a capacidade de modelar dependências raras.
  • CorGAN colapsou totalmente ($R^2 \approx 0$) nos códigos raros.
  • GPT-2 teve bom desempenho até o percentil 97.5, mas degradou bruscamente no percentil 99, destacando a dificuldade de gerar códigos de extrema cauda longa sem mecanismos especializados.
  • Riscos de Privacidade: A inclusão de códigos raros aumentou os riscos de MIA para todos os modelos, sugerindo que códigos raros atuam como quase-identificadores.

5. Significância e Alegações

O artigo afirma fornecer um ponto de partida para a reprodutibilidade impulsionada pela comunidade, em vez de um benchmark final e imutável. Sua significância reside em:

• Redução de Barreiras: Ao unificar baselines díspares sob um único pipeline, permite que pesquisadores foquem na inovação científica em vez de reimplementar código ou gerenciar conflitos de dependências.
• Exposição de Modos de Falha Ocultos: O framework revela que, embora os modelos possam parecer bem-sucedidos em métricas marginais truncadas, eles frequentemente falham em capturar a distribuição conjunta e a realidade da cauda longa dos dados de EHR.
• Desafio à Especialização: O forte desempenho do baseline de propósito geral GPT-2 sugere que arquiteturas complexas e específicas de domínio podem nem sempre ser necessárias para a síntese de EHR de alta fidelidade.
• Preparação para o Futuro: Os autores posicionam o framework como um "substrato vivo" destinado a ser estendido pela comunidade para suportar ICD-10, modalidades adicionais (laboratórios, sinais vitais) e métricas de privacidade mais fortes.

Os autores declaram explicitamente que não alegam que os baselines anteriores eram irreprodutíveis em sua publicação, nem que este framework resistirá permanentemente à dívida técnica. Em vez disso, argumentam que o estado atual de repositórios desarticulados torna a comparação atual quase impossível, e que este trabalho fornece o substrato necessário para permitir uma pesquisa justa, escalável e reprodutível daqui para frente.