PaReGTA: An LLM-based EHR Data Encoding Approach to Capture Temporal Information

O artigo apresenta o PaReGTA, uma abordagem baseada em LLM que codifica dados de registros eletrônicos de saúde (EHR) preservando informações temporais através de embeddings de visitas e agrupamento híbrido, superando modelos esparsos e sequenciais em tarefas de classificação com poucos dados e oferecendo interpretabilidade clínica via PaReGTA-RSS.

O essencial

Imagine que os registros médicos de um paciente (o histórico de consultas, remédios e exames) são como uma biblioteca gigante e bagunçada.

Até agora, a maioria dos computadores tentava entender essa biblioteca de duas formas ruins:

1. A "Lista de Compras" (One-Hot): Eles apenas faziam uma lista de tudo o que o paciente já teve, sem ordem. "Tinha dor de cabeça? Sim. Tomou remédio X? Sim." Mas isso apaga a história: quando isso aconteceu? O remédio foi antes ou depois da dor?
2. O "Filme de Cinema" (Modelos de Sequência): Eles tentavam ler tudo em ordem, como um filme. O problema é que esses "filmes" são muito longos, cheios de cenas faltando (dados ausentes) e exigem computadores superpoderosos e milhões de dados para aprender a assistir.

Os autores deste paper criaram uma nova solução chamada PaReGTA. Vamos explicar como funciona usando uma analogia de cozinhar um prato especial.

1. O Ingrediente Secreto: Transformar Dados em História

Em vez de jogar uma lista de códigos médicos no computador, o PaReGTA pega cada visita do paciente e a transforma em uma pequena história escrita.

• Exemplo: Em vez de apenas "Código 346", o computador lê: "No dia 10 de janeiro, o paciente visitou o médico 62 dias após a última vez e tomou um remédio chamado Lasimidana."
• A Mágica: Eles usam um "Cérebro de Leitura" (um modelo de linguagem grande, como o ChatGPT, mas treinado para textos) que já entende o significado das palavras. Ele sabe que "Lasimidana" é um remédio forte para enxaqueca, mesmo sem ter visto milhões de casos específicos antes.

2. O Treinamento Rápido (Ajuste Fino)

Esse "Cérebro de Leitura" já é inteligente, mas não conhece o jeito específico de falar dos médicos de enxaqueca. Então, eles fazem um treinamento rápido e leve (chamado SimCSE).

• Analogia: É como dar um curso de "Vocabulário Médico" de fim de semana para um professor de literatura. Ele não precisa reescrever todo o livro de medicina; ele apenas aprende a entender os termos específicos do hospital. Isso é barato e funciona mesmo com poucos dados.

3. O Chef de Cozinha: A Mistura Inteligente (Pooling)

Agora, o computador tem várias "pequenas histórias" (uma para cada visita). Como juntar tudo para formar a opinião sobre o paciente?

• Se você somar tudo igualmente, a visita de ontem vale o mesmo que a de 10 anos atrás. Isso não faz sentido.
• O PaReGTA usa uma mistura inteligente:
  • Recência: Ele dá mais peso para o que aconteceu recentemente (o que você comeu hoje influencia mais seu estômago do que o que comeu em 2010).
  • Importância Global: Ele também identifica visitas que foram "marcantes" na história do paciente, mesmo que não sejam as mais recentes.
• O resultado é um resumo único (uma "carteira de identidade digital") do paciente que guarda a história, a ordem e a importância de cada evento.

4. O Detetive: Entendendo o "Porquê" (PaReGTA-RSS)

Um dos maiores problemas de usar Inteligência Artificial na medicina é que ela é uma "caixa preta": ela dá um diagnóstico, mas não diz por quê. Médicos precisam saber o motivo.

• O PaReGTA criou um método chamado RSS (Pontuação de Mudança de Representação).
• Como funciona: Imagine que você tem a receita do prato. O RSS pergunta: "E se eu tirar o ingrediente 'Dor de Cabeça Crônica' da receita? O prato ainda fica igual?"
• O computador remove mentalmente um fator (ex: um remédio específico), recalcula a "história" do paciente e vê quanto a previsão muda. Se a previsão muda muito, esse fator é crucial.
• Isso permite dizer ao médico: "O sistema achou que é enxaqueca crônica principalmente porque o paciente usou o remédio X e tem histórico de insônia, e não apenas por causa da dor de cabeça."

O Resultado na Vida Real

Eles testaram isso com dados reais de quase 40.000 pacientes com enxaqueca.

• O Veredito: O PaReGTA foi muito melhor do que os métodos antigos (que só faziam listas) e muito mais estável do que os modelos complexos de "filmes" que falharam com os dados bagunçados.
• A Grande Vantagem: Ele funciona bem mesmo com dados desorganizados (nomes de remédios escritos de formas diferentes) e consegue explicar por que chegou àquela conclusão.

Resumo da Ópera:
O PaReGTA é como um bibliotecário inteligente que não apenas organiza os livros do paciente, mas os transforma em uma biografia coerente, entende a importância de cada capítulo (visita) e consegue explicar ao médico exatamente qual capítulo mudou o final da história. Isso torna a Inteligência Artificial mais útil, precisa e confiável para cuidar da saúde das pessoas.

Resumo técnico

Título: PaReGTA: Uma Abordagem de Codificação de Dados de EHR Baseada em LLM para Capturar Informações Temporais

1. Problema

Os Registros Eletrônicos de Saúde (EHR) contêm informações longitudinais ricas (diagnósticos, prescrições, resultados de testes) que são cruciais para modelar trajetórias de doenças e prever progressões clínicas. No entanto, existem desafios significativos na codificação desses dados:

• Perda de Informação Temporal: Métodos tradicionais (como one-hot encoding ou vetores de contagem agregada) frequentemente descartam a ordem temporal e a dinâmica das visitas, tratando os registros como resumos desordenados.
• Custo e Complexidade de Modelos Sequenciais: Modelos de sequência profunda (como RNNs, Transformers ou LSTMs) podem capturar bem a temporalidade, mas são computacionalmente caros, exigem grandes volumes de dados e são sensíveis a dados esparsos e heterogêneos.
• Dificuldade de Interpretação: Métodos baseados em LLMs (Large Language Models) geram representações latentes complexas, tornando difícil aplicar técnicas tradicionais de importância de características (como coeficientes lineares ou SHAP) para explicar as previsões em termos de variáveis clínicas específicas.
• Heterogeneidade de Dados: A falta de padronização em nomes de medicamentos e vocabulários entre instituições dificulta a criação de ontologias rígidas.

2. Metodologia: PaReGTA

O PaReGTA (Patient Representation Generation with Temporal Aggregation) é um framework de codificação end-to-end que utiliza LLMs para transformar dados estruturados de EHR em representações vetoriais densas, preservando a hierarquia paciente-visita-evento e as pistas temporais.

O processo consiste em três etapas principais:

A. Construção de Texto em Nível de Visita (Visit-level Textualization)

• Os registros brutos do EHR são divididos em conceitos clinicamente significativos (medicamentos, comorbidades, etc.).
• Esses registros são convertidos em frases curtas e padronizadas (templated sentences) para cada visita.
• Injeção de Temporalidade: O método testa diferentes formas de codificar o tempo nas frases, como datas absolutas, intervalos entre visitas (gap), ou tempo desde a última visita. O estudo identifica que o uso de "intervalos entre visitas" (ex: "62 dias após a visita anterior") é superior.
• Codificação Direta de Medicamentos: Diferente de métodos que exigem mapeamento para classes de drogas, o PaReGTA codifica diretamente os nomes dos produtos conforme registrados no EHR, aproveitando o conhecimento semântico pré-treinado do LLM.

B. Adaptação de Domínio via Aprendizado Contrastivo (SimCSE)

• Utiliza-se um modelo base de sentence-embedding (GTE-base-v1.5) pré-treinado.
• Para adaptar o modelo ao contexto clínico (migraias) sem necessidade de pares de frases rotulados, aplica-se o SimCSE (Simple Contrastive Learning of Sentence Embeddings) não supervisionado.
• O SimCSE cria pares positivos aplicando dropout aleatório à mesma frase e pares negativos com outras frases no batch, refinando o espaço de embeddings para o domínio específico.

C. Agregação Temporal Híbrida (Hybrid Temporal Pooling)

• Para obter uma representação única do paciente a partir de múltiplas visitas, o método combina duas estratégias de pooling:
  1. Decaimento Temporal: Atribui pesos maiores a visitas mais recentes.
  2. Atenção Baseada em Contexto: Identifica visitas que são globalmente informativas para a previsão, independentemente da recência.
• Uma combinação convexa dessas duas abordagens gera o vetor final do paciente, que é então alimentado em classificadores tradicionais (como Regressão Logística ou LightGBM).

D. Interpretabilidade: PaReGTA-RSS

• Para superar a "caixa preta" dos embeddings, os autores propõem o PaReGTA-RSS (Representation Shift Score).
• Mecanismo: Remove-se sistematicamente um fator clínico específico (ex: um medicamento ou comorbidade) de todas as frases de visita de um paciente, recalcula-se o embedding e a previsão.
• Métrica: O score é definido pela mudança no logit (ou pontuação de decisão) do modelo entre a representação original e a perturbada. Isso permite quantificar a importância de fatores clínicos tanto no nível do paciente quanto no nível da coorte.

3. Contribuições Principais

1. Pipeline de Codificação Temporal: Um framework completo que converte dados estruturados em texto, adapta embeddings via contrastive learning e agrega com sensibilidade temporal.
2. Ablação de Tokenização Temporal: Avaliação sistemática de como diferentes representações de tempo (data absoluta vs. intervalo) impactam a previsão, demonstrando que intervalos relativos são mais eficazes.
3. Robustez a Heterogeneidade: Capacidade de codificar nomes de medicamentos brutos sem mapeamento complexo, reduzindo a dependência de ontologias rígidas.
4. Método de Importância de Fatores (RSS): Uma técnica inovadora para atribuir importância a fatores clínicos em pipelines baseados em LLMs, permitindo explicações interpretáveis.
5. Validação em Cenário Real: Aplicação e validação em larga escala no dataset All of Us (AoU), superando baselines tradicionais.

4. Resultados

O modelo foi validado em uma tarefa de classificação de tipo de enxaqueca (crônica vs. episódica) com 39.088 pacientes do programa All of Us.

• Desempenho Preditivo:
  • O PaReGTA superou significativamente as baselines esparsas (one-hot e Bag-of-Codes).
  • AUC (Área Sob a Curva): O PaReGTA com tokenização de "Gap" alcançou um AUC de 0.9524 (com LightGBM), comparado a 0.7634 para one-hot encoding.
  • Modelos sequenciais profundos (como RETAIN e T-LSTM) falharam em convergir ou foram instáveis neste conjunto de dados específico, enquanto o PaReGTA foi robusto.
• Qualidade do Embedding:
  • A combinação de codificação em nível de visita com fine-tuning via SimCSE resultou em um espaço de embeddings mais uniforme e isotrópico, indicando melhor separabilidade semântica.
• Interpretabilidade (RSS):
  • O método identificou corretamente fatores clinicamente relevantes:
    • Medicamentos: Toxina botulínica, terapias anti-CGRP e triptanos foram os mais importantes para distinguir enxaqueca crônica.
    • Comorbidades: Hipertensão, transtornos relacionados ao álcool e síndrome do intestino irritável mostraram alta importância.
  • A análise por subgrupos (sexo) revelou heterogeneidades clínicas distintas (ex: transtornos de estresse pós-traumático e depressão tiveram maior impacto preditivo em homens, enquanto fibromialgia foi mais relevante em mulheres).
  • A análise temporal mostrou que pacientes com enxaqueca crônica dependem mais de históricos estendidos (180-365 dias) do que pacientes episódicos.

5. Significância e Conclusão

O PaReGTA demonstra que é possível alavancar o poder semântico dos LLMs para dados de saúde estruturados sem a necessidade de treinar modelos do zero ou de arquiteturas sequenciais complexas e pesadas.

• Eficiência: Oferece desempenho superior em coortes menores ou com dados limitados, onde modelos profundos falham.
• Praticidade: Reduz a carga de pré-processamento ao aceitar nomes de medicamentos brutos e não requer anotação manual de pares de frases.
• Explicabilidade: Introduz uma ponte crucial entre modelos baseados em LLMs e a necessidade clínica de interpretabilidade, permitindo que médicos entendam quais fatores levaram a uma previsão específica.

O trabalho sugere que a codificação temporal adequada é crítica para a modelagem de EHR e que abordagens híbridas (LLM + Aprendizado de Máquina Tradicional) são viáveis e superiores para aplicações clínicas reais hoje.