X-FEMR: A Token-level Explainable Approach for Electronic Health Records Foundation Models using Transformer-based Models

Resumo Técnico: X-FEMR

Definição do Problema
Os Modelos de Fundação para Registros Eletrônicos de Saúde (FEMRs), como o ETHOS e o CLMBR-T-Base, demonstraram um forte desempenho na conversão de trajetórias longitudinais de pacientes em representações generalizáveis para tarefas de predição clínica. No entanto, esses modelos funcionam como "caixas pretas", levantando preocupações significativas em relação ao viés, interpretabilidade e confiança clínica. As técnicas existentes de IA Explicável (XAI), incluindo atribuição de características (ex: SHAP) e métodos baseados em gradiente (ex: mapas de saliência), são frequentemente inadequadas para arquiteturas de escala de fundação. Esses métodos lutam com representações distribuídas de alta dimensão, interações de contexto longo e complexas e a natureza agnóstica à tarefa dos espaços latentes dos FEMRs. Além disso, os modelos substitutos atuais (ex: regressão linear, árvores de decisão) frequentemente assumem relações de dados lineares e suaves, o que falha em capturar a dinâmica temporal irregular, heterogênea e não linear inerente aos dados de EHR. Consequentemente, há uma carência de frameworks de explicabilidade ao nível de token especificamente projetados para FEMRs que possam se alinhar com o raciocínio clínico.

Metodologia
Os autores propõem o X-FEMR, a primeira abordagem de explicabilidade ao nível de token para FEMRs, utilizando um modelo substituto baseado em Transformer. A metodologia consiste em três componentes primários:

1. Coleta e Pré-processamento de Dados:

   • O estudo utiliza o dataset EHRSHOT, organizando registros de pacientes em sequências ordenadas no tempo de eventos clínicos seguindo o Modelo de Dados Comum OMOP (OMOP-CDM).
   • Cada evento é caracterizado por quatro características: um código médico (ex: SNOMED, LOINC), um valor numérico (ex: resultados de exames laboratoriais), um campo de texto e um carimbo de data/hora (timestamp).
   • Pares de entrada-saída são extraídos do FEMR alvo (CLMBR-T-Base) para duas tarefas de predição específicas: predição de Tempo de Permanência Hospitalar (LOS) e transferência para UTI.

2. Desenvolvimento do Modelo Substituto:

   • Um modelo substituto baseado em Transformer é treinado para aproximar o comportamento de entrada-saída do FEMR. Diferente dos substitutos lineares tradicionais, esta arquitetura captura dependências temporais complexas e padrões não lineares.
   • Codificação de Eventos: Cada evento clínico é incorporado usando embeddings de códigos aprendidos, embeddings de texto e um mecanismo de injeção de porta (gated injection) para valores numéricos. As dinâmicas temporais são capturadas calculando o intervalo de tempo até a predição ($\Delta t$), que é transformado logaritmicamente e normalizado.
   • Estratégias de Supervisão: O substituto é treinado sob duas configurações:
     • Supervisão de Rótulo Rígido (Hard-label): Predizendo saídas binárias (ex: transferência vs. não transferência) para capturar a fronteira de decisão final.
     • Supervisão de Rótulo Suave (Soft-label): Predizendo saídas de probabilidade bruta para capturar a confiança do modelo e a lógica de decisão matizada.
   • O estudo compara essas configurações para determinar qual reflete melhor a lógica de decisão subjacente do FEMR.

3. Explicabilidade ao Nível de Token e Avaliação:

   • Análise SHAP: O modelo substituto treinado é analisado usando SHAP (SHapley Additive exPlanations) para quantificar a contribuição de tokens individuais (eventos clínicos) para as predições do modelo.
   • Métrica de Alinhamento Clínico: Para avaliar a relevância clínica dessas explicações, os autores introduzem uma métrica inédita chamada Razão de Eventos Validados Clinicamente (R). Esta métrica quantifica a correspondência entre os tokens identificados como importantes pelo substituto e um conjunto de características clinicamente validadas (ex: códigos ICD-10 específicos, sinais vitais como frequência cardíaca e pressão arterial) estabelecidas na literatura médica.
   • $R = \frac{\sum_{f_j \in F_c} c(f_j; D)}{\sum_{f_j \in F} c(f_j; D)}$, onde $F_c$ é o subconjunto de tokens clinicamente relevantes e $c(f_j; D)$ é a frequência de ocorrência do token $f_j$ no dataset.

Principais Resultados

• Desempenho do Substituto: O substituto baseado em Transformer treinado com supervisão de rótulo rígido aproximou-se de perto do comportamento preditivo do FEMR, superando o CLMBR-T-Base original na tarefa de LOS (AUPRC: 0,4434 vs. 0,4173) e alcançando desempenho comparável na tarefa de transferência para UTI. A supervisão de rótulo suave resultou em menor desempenho, provavelmente devido à dificuldade de modelar sinais positivos fracos próximos ao limiar de decisão.
• Importância do Token: A análise SHAP revelou que valores numéricos (ex: medições laboratoriais) e deltas de tempo foram as características mais influentes, contribuindo mais significativamente do que texto ou códigos.
• Alinhamento Clínico: Os tokens identificados como importantes alinharam-se bem com o conhecimento clínico.
  • Para a tarefa de LOS, os 5 tokens mais frequentes (Frequência cardíaca, SBP, Temperatura corporal, DBP, Frequência respiratória) representaram 29% do total de eventos, com uma Razão de Eventos Validados Clinicamente ($R$) de 0,3093.
  • Para a tarefa de Transferência para UTI, os 5 tokens principais (Frequência cardíaca, Temperatura corporal, SBP, DBP, Saturação de oxigênio) representaram 24% do total de eventos, com um $R$ de 0,2717.
  • Estes resultados indicam que as explicações do modelo substituto estão concentradas em preditores clinicamente validados de desfechos de pacientes.

Significância e Alegações
O artigo afirma apresentar o primeiro método de explicabilidade ao nível de token especificamente para FEMRs. Sua significância reside em:

1. Preencher a Lacuna de Interpretabilidade: Ele vai além das explicações tradicionais de nível de característica para fornecer insights granulares, ao nível de token, sobre como os FEMRs utilizam elementos específicos do histórico do paciente (ex: sinais vitais específicos em momentos específicos) para predições.
2. Framework Validado: Ao introduzir a Razão de Eventos Validados Clinicamente, os autores fornecem um método quantitativo para avaliar se as explicações do modelo se alinham com o conhecimento médico estabelecido, abordando a falta de métricas de avaliação para a explicabilidade de FEMRs.
3. Utilidade Prática: A abordagem oferece um framework prático para gerar IA clínica interpretável e confiável, ajudando médicos a entender o raciocínio por trás das recomendações de IA e potencialmente melhorando métodos de pontuação clínica ou diretrizes de prática.

Os autores reconhecem limitações, incluindo a complexidade de imitar trajetórias de pacientes longas e ruidosas e o potencial de perda de informações detalhadas ao combinar múltiplos canais de características em tokens de eventos únicos. Eles sugerem que trabalhos futuros poderiam explorar estratégias alternativas de tokenização que tratem o tempo como um componente de modelagem distinto.