Resumo Técnico: TEDDY – Um Modelo de Fundação Pediátrica para Previsão de Risco

Declaração do Problema

Os registros eletrônicos de saúde (EHRs) pediátricos capturam trajetórias clínicas estruturadas pelo desenvolvimento que diferem fundamentalmente dos dados adultos em anatomia, fisiologia e apresentação de doenças. No entanto, as ferramentas de predição clínica e modelos de IA/ML existentes são predominantemente treinados em populações adultas, levando a predições pouco confiáveis para crianças. Essa lacuna é particularmente aguda para condições raras e de desenvolvimento (ex: desordens congênitas, transtorno do espectro autista), onde os registros adultos não oferecem priors relevantes.

Os atuais modelos de fundação generativos para EHRs (ex: Delphi, ReClaim, Curiosity) são treinados em coortes adultas ou de idades mistas e frequentemente sofrem de dois problemas metodológicos quando aplicados a dados pediátricos:

1. Vazamento dentro do encontro (within-encounter leakage): Os modelos podem inadvertidamente prever um diagnóstico usando outros códigos do mesmo dia de visita, inflando a precisão porque os sistemas de EHR registram diagnósticos por dia de calendário sem ordenação interna.
2. Confundimento demográfico: Os modelos podem alcançar alto desempenho ao aprender correlações demográficas (ex: doenças específicas de sexo) em vez de sinais clínicos genuínos.

Além disso, os dados pediátricos são escassos, fragmentados e muitas vezes carecem dos conjuntos de dados em escala populacional necessários para treinar modelos de bilhões de parâmetros. Há uma necessidade crítica de um modelo generativo projetado especificamente para crianças que possa antecipar diagnósticos incidentes e o tempo das visitas sem depender de escalas massivas de dados ou de priors derivados de adultos.

Metodologia

Dados e Coorte

O modelo, TEDDY (Temporal Event Decoder for Disease in Youth), foi treinado com dados do Texas Children's Hospital (TCH).

• Coorte: 1,6 milhão de pacientes pediátricos (idade ≤ 25 anos).
• Volume de Dados: Aproximadamente 73 milhões de eventos de diagnóstico ICD-10.
• Vocabulário: Um vocabulário fechado de 1.849 tokens, incluindo 1.841 códigos derivados de ICD-10 (truncados para capítulo/subcategoria) e 8 tokens especiais (ex: VISIT_START, VISIT_END, NO_EVENT, BIRTH, SEX_*).
• Pré-processamento:
  • Preenchimento de lacunas (Gap-filling): Tokens NO_EVENT são inseridos entre eventos reais com base no cronograma de visitas de bem-estar da Academia Americana de Pediatria (AAP) para definir intervalos de tempo durante períodos sem cuidados.
  • Agrupamento de Visitas (Visit Bracketing): Todos os códigos do mesmo dia de calendário são agrupados entre os tokens VISIT_START e VISIT_END.
  • Desidentificação: Os dados temporais são armazenados exclusivamente como idade em dias desde o nascimento; nenhuma data de calendário ou PHI (Informação de Saúde Protegida) é retida.
  • Exclusões: Díades mãe-filho foram excluídas do pré-treinamento para permitir futuros experimentos de transferência intergeracional.

Arquitetura do Modelo

O TEDDY é um transformer apenas decodificador (decoder-only) com 1,84 milhão de parâmetros (8 camadas, 8 cabeças de atenção, dimensão de embedding 128).

• Entradas: Sequências de pares (token, idade). A idade é codificada via recursos senoidais mapeados para anos, somados aos embeddings de tokens aprendidos. Não são usados embeddings posicionais aprendidos; a ordenação temporal é derivada do canal de idade e máscaras de atenção causal.
• Objetivo de Treinamento: Um objetivo conjunto de próximo-token e tempo-até-o-evento:
  1. Entropia Cruzada Categórica ($L_{CE}$): Prediz o próximo token (código de diagnóstico, NO_EVENT ou bracket de visita) sobre o vocabulário de 1.849 tokens.
  2. Perda de Tempo-até-o-Evento ($L_{\Delta t}$): Prediz a taxa ($\lambda_t$) de uma distribuição exponencial para o tempo até o próximo limite de visita. Alvos de NO_EVENT são tratados como observações com censura à direita.
• Função de Perda: $L = L_{CE} + L_{\Delta t}$.

Protocolo de Avaliação

A avaliação foi desenhada para eliminar fontes comuns de desempenho inflado:

1. Pontuação de Limite de Visita (Visit-Boundary Scoring): As predições são feitas no token VISIT_START, antes que quaisquer códigos daquele dia específico sejam revelados. Isso evita o vazamento dentro do encontro.
2. Apenas Primeira Ocorrência: Os modelos são pontuados apenas na primeira aparição de um diagnóstico no registro da criança, focando em antecipar novas condições em vez de repredizer condições já conhecidas.
3. Correspondência Demográfica (Demographic Matching): Para cada condição, os casos são pareados com controles do mesmo sexo e faixas de idade semelhantes (usando uma estratégia de pareamento cascata de fino para grosso) para garantir que o desempenho reflira o sinal clínico em vez da estratificação demográfica.
4. Benchmarks: O TEDDY foi comparado contra:
   • Baselines de mesmos dados: DenseNet, CNN, RNN, LSTM (todos com o mesmo tamanho).
   • Um modelo de linguagem de propósito geral: Gemma-3-4b (4 bilhões de parâmetros, ~2000x maior), com prompts baseados nos mesmos históricos de pacientes.

Principais Resultados

Predição de Risco Diagnóstico

Através de 797 tarefas de predição de início de doença abrangendo 16 capítulos do ICD-10:

• Desempenho Geral: O TEDDY alcançou uma mediana de AUC de 72,0%.
• Comparação: Superou as baselines de mesmos dados (DenseNet: 50,0%, CNN: 57,2%, RNN: 60,1%, LSTM: 62,7%) em 96–99% das tarefas.
• Doença Rara: O desempenho foi mais forte para condições raras. Das 225 condições mais raras (prevalência < 5 por 10.000), 90% (202 condições) tiveram intervalos de confiança de 95% inteiramente acima do acaso.
• Demografia: O desempenho permaneceu consistente entre estratos de sexo e idade, indicando que o sinal não é impulsionado pela separabilidade demográfica.
• Benchmarks Específicos:
  • Asma (J45): TEDDY AUC = 79,3% vs. Gemma-3-4b (62,7%) e LSTM (60,0%).
  • TDAH (F90): TEDDY AUC = 84,7% vs. Gemma-3-4b (51,2%) e LSTM (71,7%).
  • Nota: O Gemma-3-4b, apesar de ser 2000x maior, teve desempenho próximo ao acaso para TDAH e significativamente pior que o TEDDY para ambas as condições.

Previsão Temporal (Temporal Forewarning)

A capacidade do modelo de antecipar diagnósticos foi avaliada em vários tempos de antecedência (lead times):

• Persistência do Sinal: O sinal preditivo permaneceu detectável mais de dois anos antes do primeiro diagnóstico registrado.
  • Mediana de AUC em tempo de antecedência > 2 anos: 59,7% (análise irrestrita) e 64,4% (análise de sensibilidade de coorte fixa).
  • Mediana de AUC no mesmo dia: 71,8%.
  • Isso sugere que o modelo captura estruturas de trajetória de longo horizonte em vez de apenas correlações de curto prazo.

Predição de Tempo de Visita

O TEDDY estima o tempo até a próxima visita usando uma métrica de tempo médio de sobrevivência restrito (RMST):

• Acurácia: Erro absoluto médio de 3,0 dias sobre um horizonte de 365 dias.
• Calibração: O modelo captura taxas de visita específicas da criança (Pearson $r=0,54$ para tempos log-transformados), mas exibe deriva (drift) na cauda longa, superestimando a probabilidade de não retorno de visita em um ano (previsto 0,399 vs. observado 0,296). Isso é atribuído à simplicidade da cabeça de taxa de distribuição exponencial única.

Significância e Alegações

O artigo afirma que o TEDDY estabelece os históricos diagnósticos pediátricos como um substrato viável para modelos generativos compactos capazes de previsão de risco ampla, para doenças raras e de longo horizonte.

Principais contribuições e alegações incluem:

1. Modelo de Fundação Específico para Pediatria: O TEDDY é o primeiro modelo de fundação de EHR construído especificamente para crianças, abordando a "lacuna populacional" onde modelos adultos falham em generalizar para a fisiologia e apresentação de doenças pediátricas.
2. Eficiência de Dados: O modelo demonstra que uma representação fiel de trajetórias clínicas (via agrupamento de visitas e codificação de idade) pode gerar predições clinicamente significativas mesmo com poucos dados (1,6M de pacientes) e modelos compactos (1,84M de parâmetros), desafiando o paradigma de que o desempenho de EHR requer modelos de bilhões de parâmetros e dados em escala populacional.
3. Avaliação Rigorosa: Ao implementar salvaguardas estritas contra vazamento de encontro e confundimento demográfico, o artigo argumenta que o desempenho relatado reflete uma estrutura preditiva genuína e não artefatos.
4. Utilidade Clínica: A capacidade de detectar sinais anos antes, particularmente para condições raras onde as "odisseias diagnósticas" são comuns, sugere potencial para intervenção precoce e encaminhamento em cuidados pediátricos de rotina.

Os autores concluem que, embora o modelo seja um primeiro passo, trabalhos futuros devem expandir as entradas para incluir medidas e medicamentos, generalizar entre instituições e explorar trajetórias intergeracionais (mãe-filho). Eles explicitamente notam limitações quanto aos dados de uma única instituição e a exclusão de dados estruturados não diagnósticos (laboratórios, sinais vitais).