HealthFormer: Dual-level time-aware Transformers for irregular electronic health record events

O artigo apresenta o HealthFormer, um modelo Transformer de dois níveis que processa registros eletrônicos de saúde irregulares integrando informações temporais e hierárquicas para gerar representações de pacientes que superam as abordagens tradicionais na previsão de incidentes oncológicos.

O essencial

Imagine que a vida de um paciente no sistema de saúde é como um diário de bordo muito bagunçado.

Neste diário, o paciente escreve coisas em momentos diferentes: às vezes vai ao médico de família, às vezes é internado no hospital, às vezes faz uma cirurgia, e às vezes apenas pega remédios na farmácia. O problema é que:

1. As entradas são irregulares: Às vezes há um intervalo de dias, às vezes de anos.
2. A linguagem é mista: Um único dia no hospital pode conter dezenas de códigos diferentes (diagnósticos, tipos de cirurgia, remédios) todos misturados na mesma "página".

Até agora, computadores tinham dificuldade em ler esse diário porque tentavam achatar tudo em uma lista simples, perdendo a estrutura de "o que aconteceu junto" e "quanto tempo passou entre uma coisa e outra".

Aqui entra o HealthFormer, o "super-leitor" criado pelos autores deste artigo. Vamos explicar como ele funciona usando analogias simples:

1. A Estrutura de Dois Níveis (O "Chefe" e o "Especialista")

O HealthFormer é como uma empresa com dois departamentos que trabalham juntos:

• O Especialista do Evento (Intra-Event Encoder): Imagine que cada visita ao médico é um "pacote" de informações. Às vezes, num único dia, o paciente tem três diagnósticos e dois remédios prescritos. O Especialista olha para esse pacote e diz: "Ok, hoje foi um dia de 'Infecção Respiratória' com 'Antibiótico X' e 'Analgésico Y'. Vou agrupar tudo isso e criar um resumo inteligente desse dia específico." Ele não trata os códigos como itens soltos; ele entende que eles pertencem ao mesmo momento.
• O Chefe da Linha do Tempo (Inter-Event Encoder): Depois que o Especialista resume cada dia, o Chefe pega esses resumos e os coloca em ordem cronológica. Mas ele não é um chefe comum; ele tem um relógio mágico. Ele sabe exatamente quanto tempo passou entre a última visita e a próxima. Se foram 2 dias, ele pensa de um jeito; se foram 5 anos, ele pensa de outro. Ele usa essa "distância no tempo" para entender a história completa do paciente.

2. O Treinamento: A "Escola de Detetives"

Antes de tentar prever doenças, o HealthFormer precisa estudar milhões de prontuários reais (dados da Hungria). Ele vai para a escola e faz quatro tipos de exercícios para aprender a ser um bom médico digital:

1. Jogo do "O que falta?": O computador esconde um código (ex: o nome de um remédio) e tenta adivinhar qual era, olhando para o resto do dia e para o histórico passado.
2. Adivinhação do Tipo de Evento: O computador esconde a "capa" de um evento (ex: dizemos que foi uma "visita de emergência", mas escondemos o rótulo) e ele tem que adivinhar se foi uma consulta, uma cirurgia ou uma internação, baseando-se no que veio antes e depois.
3. Previsão do Próximo Capítulo: Ele tenta adivinhar qual será o próximo tipo de evento na vida do paciente.
4. Adivinhação do Tempo: Ele tenta calcular quanto tempo se passou entre um evento e o próximo.

Ao fazer isso milhões de vezes, o modelo aprende a "geometria" das doenças. Ele descobre, por exemplo, que certos códigos de câncer de próstata tendem a aparecer perto de certos códigos de exames, e que o tempo entre eles é importante.

3. O Resultado: Previsão de Câncer

Depois de estudar, o HealthFormer foi testado para prever se uma pessoa desenvolveria Câncer Colorretal ou Câncer de Próstata nos próximos 30, 60 ou 90 dias.

• A Comparação: Eles compararam o HealthFormer com métodos antigos (como contadores simples que apenas somam quantas vezes um código apareceu, dando mais peso para o que aconteceu ontem).
• O Veredito: O HealthFormer venceu com folga.
  • Para câncer de próstata, ele atingiu uma precisão (AUC) de 0,94 em 30 dias (quase perfeito), enquanto os métodos antigos ficaram em torno de 0,85.
  • Para câncer colorretal, ele também superou os antigos, alcançando 0,81.

Por que isso é importante?

Pense no HealthFormer como um tradutor universal de saúde.

• Ele entende que um "pacote" de informações de um dia de internação é diferente de uma lista solta de remédios.
• Ele entende que o tempo entre as consultas é crucial (uma doença que aparece 2 dias depois de um sintoma é diferente de uma que aparece 2 anos depois).
• Ele aprendeu sozinho, sem precisar que um humano escrevesse regras complexas para cada doença.

Em resumo: O HealthFormer transformou a bagunça de dados de saúde em uma história coerente e cronológica, conseguindo prever doenças graves com muito mais precisão do que os métodos tradicionais, tudo isso aprendendo a "ler" os intervalos de tempo e a estrutura dos eventos como um verdadeiro especialista.

Resumo técnico

1. Problema e Motivação

Os registros eletrônicos de saúde (EHRs) longitudinais apresentam desafios únicos para a modelagem de aprendizado de máquina:

• Irregularidade Temporal: Os eventos clínicos ocorrem em intervalos de tempo irregulares (de dias a anos), tornando as representações posicionais padrão inadequadas.
• Heterogeneidade de Eventos: Um único evento de atendimento (ex: uma internação ou visita ambulatorial) pode conter múltiplos códigos de diferentes sistemas (diagnósticos ICD, procedimentos hPCS, medicamentos ATC) e metadados contextuais.
• Limitações de Modelos Existentes: Abordagens anteriores frequentemente "achatam" a estrutura complexa de um atendimento em um único token ou em um saco de códigos desordenado, perdendo a composição intra-evento. Além disso, muitas representações temporais usam "buckets" (intervalos discretos) grosseiros, subutilizando a informação clínica contida nos gaps de tempo exatos.

O objetivo é desenvolver um framework de pré-treinamento que preserve a estrutura dos eventos, utilize explicitamente o tempo decorrido e seja facilmente adaptável (fine-tuning) para novas tarefas supervisionadas sem engenharia de características específica.

2. Metodologia: Arquitetura HealthFormer

O HealthFormer é um Transformer de dois níveis (dual-level) e consciente do tempo, projetado especificamente para sequências de eventos heterogêneos.

A. Representação de Dados

• Taxonomia Unificada: Os dados são normalizados em uma sequência ordenada de eventos tipados (ex: Visita de Médico Geral, Ambulatório, Internação, Cirurgia, Dispensação de Medicamentos, Óbito).
• Decomposição: Episódios complexos (como internações) são decompostos em eventos atômicos para preservar a fidelidade temporal (ex: o evento de internação é separado dos eventos de cirurgia ocorridos durante a estadia).
• Tokenização Hierárquica: Códigos hierárquicos (ICD-10, ATC) são expandidos em seus caminhos de ancestrais, permitindo compartilhamento estatístico entre códigos relacionados.

B. Arquitetura do Modelo

O modelo separa o processamento em duas etapas distintas:

1. Codificador Intra-Evento (Intra-Event Encoder):

   • Agrega os tokens heterogêneos dentro de um único evento clínico.
   • Utiliza módulos de incorporação específicos por domínio (para ICD, ATC, hPCS, etc.) projetados para um espaço compartilhado.
   • Aplica attention pooling (agrupamento por atenção) para gerar uma única embedding de evento, ponderando os tokens com base no contexto do evento.

2. Codificador Inter-Evento (Inter-Event Encoder):

   • Modela a trajetória longitudinal do paciente (a sequência de eventos).
   • Integração Temporal:
     • Date Encoder: Incorpora a data absoluta do evento (e idade do paciente) usando uma base Time2Vec.
     • Viés de Atenção Contínuo (ALiBI): Em vez de posições discretas, utiliza um viés de atenção baseado no logaritmo do tempo decorrido ($\Delta t$) entre eventos. Isso permite que o modelo capture dependências de longo prazo e sensibilidade temporal em múltiplas escalas sem depender de buckets de tempo.

C. Pré-treinamento Auto-supervisionado

O modelo é pré-treinado em milhões de registros administrativos da Hungria usando quatro objetivos multi-tarefa:

1. MLM Nível de Código (Code-level MLM): Previsão de tokens mascarados dentro de um evento (por domínio).
2. MLM Nível de Evento (Event-level MLM): Previsão do tipo de evento quando todo o evento (códigos e metadados) é mascarado.
3. Previsão do Próximo Evento: Previsão do tipo e dos códigos do próximo evento na sequência (com máscara causal estrita).
4. Regressão de Tempo ($\Delta t$): Previsão do tempo decorrido até o próximo evento.

3. Contribuições Principais

• Representação Centrada no Evento: Uma abordagem unificada que trata o histórico do paciente como uma sequência de eventos tipados, preservando a estrutura interna de cada atendimento.
• Arquitetura Híbrida Temporal: Separação clara entre a codificação da composição do evento e a modelagem da trajetória temporal, com injeção explícita de tempo via encoder de datas e viés ALiBI contínuo.
• Pré-treinamento Multi-tarefa: Combinação de objetivos que forçam o modelo a aprender tanto a semântica dos códigos quanto a dinâmica temporal e a estrutura hierárquica dos diagnósticos.
• Adaptabilidade: O mesmo backbone pré-treinado pode ser ajustado para diversas tarefas downstream (ex: previsão de câncer) apenas com fine-tuning padrão, sem redesenho de arquitetura.

4. Resultados Experimentais

Análise Intrínseca (Geometria das Embeddings)

• A visualização das embeddings de diagnósticos (ICD-10) aprendidas mostra uma organização hierárquica coerente. Códigos relacionados clinicamente agrupam-se no espaço vetorial, sugerindo que o pré-treinamento capturou a semântica clínica e a estrutura do ICD-10 sem supervisão explícita da hierarquia.

Avaliação em Tarefas Supervisionadas (Previsão de Câncer Incidente)

O modelo foi avaliado na previsão de câncer colorretal (CRC) e de próstata em horizontes de 30, 60 e 90 dias.

• Desempenho: O HealthFormer com fine-tuning end-to-end superou significativamente as linhas de base baseadas em regressão logística (incluindo modelos de "saco de códigos" com decaimento temporal).
  • CRC: AUC de 0.81 (30 dias), 0.75 (60 dias) e 0.73 (90 dias).
  • Próstata: AUC de 0.94 (30 dias), 0.87 (60 dias) e 0.84 (90 dias).
• Comparação: As melhorias em relação à melhor linha de base (bag-of-codes com decaimento temporal) foram de aproximadamente 0.13 pontos de AUC para CRC e 0.09-0.11 para próstata, demonstrando que a modelagem sequencial contextual captura sinais temporais que contagens ponderadas não conseguem.

5. Significado e Conclusão

O HealthFormer demonstra que a modelagem explícita da estrutura de eventos e do tempo contínuo é crucial para EHRs administrativos irregulares.

• Interpretabilidade: As representações aprendidas alinham-se com a hierarquia clínica, permitindo inspeção e análise.
• Transferibilidade: A capacidade de reutilizar o mesmo encoder pré-treinado para diferentes endpoints clínicos sem engenharia de características complexas torna a abordagem altamente escalável para sistemas de saúde.
• Impacto: O trabalho oferece uma base robusta para o desenvolvimento de ferramentas de predição de risco e estratificação de pacientes em grandes coortes longitudinais, superando as limitações dos métodos tradicionais de contagem de eventos.

O estudo foi realizado com dados anonimizados do sistema de saúde nacional da Hungria (cobrindo ~10 milhões de indivíduos) e validado em coortes balanceadas, embora os autores ressaltem a necessidade de mais benchmarks em outros endpoints e validação externa.