Learning Dynamic Representations and Policies from Multimodal Clinical Time-Series with Informative Missingness

Título: Aprendendo Representações Dinâmicas e Políticas a partir de Séries Temporais Clínicas Multimodais com Ausências Informativas

1. Problema e Motivação

Os registros eletrônicos de saúde (EHR) são inerentemente multimodais, contendo dados estruturados (sinais vitais, laboratórios) e textos clínicos (notas de enfermagem, relatórios). No entanto, a modelagem desses dados enfrenta dois desafios críticos que a maioria dos trabalhos anteriores ignora ou trata de forma simplificada:

1. Ausência Informativa (MNAR - Missing Not At Random): A falta de dados não é aleatória. O padrão de observação depende do estado de saúde latente do paciente e das decisões clínicas. Por exemplo, pacientes mais graves tendem a ter monitoramento mais frequente e documentação mais densa. Ignorar esse padrão de "por que os dados estão faltando" leva a representações enviesadas.
2. Heterogeneidade Multimodal: Diferentes modalidades têm processos de geração distintos. Sinais vitais são coletados rotineiramente, testes laboratoriais exigem ordens e textos dependem do comportamento de documentação do médico. O padrão de ausência e a frequência temporal variam sistematicamente entre modalidades e evoluem ao longo do tempo.

O objetivo do trabalho é aprender representações dinâmicas do estado do paciente que capturem não apenas os valores observados, mas também a informação contida nos padrões de observação (quando e por que os dados foram coletados ou omitidos) para otimizar políticas de tratamento e prever desfechos clínicos.

2. Metodologia: OPL-MT-MNAR

Os autores propõem o OPL-MT-MNAR (Off-Policy Learning under Multimodal Observations with Temporal Missing-Not-At-Random Patterns), um framework de duas etapas baseado em um Processo de Decisão de Markov Parcialmente Observável (POMDP).

Etapa 1: Aprendizado de Representação do Estado do Paciente

O núcleo do método é um processo de filtragem bayesiana que integra:

• Codificador Multimodal com Consciência de MNAR:
  • Dados Estruturados: Utiliza uma extensão do GRU-D (Gated Recurrent Units-Decay). O modelo aplica fatores de decaimento aprendidos aos valores observados (baseado no tempo desde a última observação) e incorpora explicitamente características de MNAR (contagem cumulativa de observações, taxas de ausência e frequência em janelas temporais).
  • Dados Textuais: Introduz um Fator de Processo de Documentação (Documentation-Process Factor). Este fator é atualizado a cada passo de tempo usando apenas metadados de observação (presença da nota, recência, densidade de atualizações), sem usar o conteúdo semântico do texto. Ele é usado para refinar o embedding do texto e guiar a fusão com os dados estruturados via um mecanismo de gating adaptativo.
• Estado de Crença Latente (Bayesian Filtering):
  • Para capturar a dinâmica de saúde subjacente e os efeitos cumulativos de tratamentos passados, o modelo mantém um estado latente $z_h$ aprendido via Inferência Variacional (VAE).
  • Condição de Ação: A transição do estado latente $z_h \to z_{h+1}$ é condicionada à ação de tratamento tomada ($a_h$). O artigo prova teoricamente que, sem essa condição de ação, o gradiente de política para recompensas futuras se anula em cenários offline, tornando impossível aprender políticas que otimizem resultados de longo prazo.
• Estado Posterior: O estado final do paciente $s_h$ é uma combinação aprendida da representação unificada das observações ($\phi_h$) e do estado de crença latente ($z_h$).

Etapa 2: Otimização de Política e Previsão de Desfechos

• Otimização de Política Offline: Utiliza Implicit Q-Learning (IQL) para aprender uma política de tratamento. O método evita ações fora da distribuição (out-of-distribution) e lida com recompensas atrasadas (mortalidade hospitalar).
• Previsão de Desfechos: Um cabeçalho auxiliar é treinado simultaneamente para prever a mortalidade pós-72 horas. O aprendizado conjunto permite transferência positiva: a tarefa de previsão fornece um sinal de supervisão mais direto e menos ruidoso para aprender o estado $s_h$, beneficiando também a otimização da política.

3. Contribuições Principais

1. Modelagem Explícita de MNAR Temporal Multimodal: Diferente de trabalhos anteriores que tratam a ausência como ruído ou apenas usam máscaras binárias, este framework modela explicitamente como os padrões de observação (tanto estruturados quanto textuais) evoluem e informam sobre a gravidade do paciente.
2. Dinâmica Latente Condicionada à Ação: A introdução de um estado latente que depende das ações passadas é crucial para o aprendizado de políticas em RL offline, permitindo que o modelo aprenda como intervenções moldam a trajetória do paciente.
3. Fusão Adaptativa de Texto e Estrutura: O uso de um fator de processo de documentação permite que o modelo pesse o texto com base na "frescura" e na densidade da documentação, distinguindo entre contextos de alta e baixa acuidade.
4. Validação Rigorosa: O modelo foi testado em três grandes bancos de dados de UTI (MIMIC-III, MIMIC-IV e eICU), demonstrando generalização entre instituições e regimes de documentação diferentes.

4. Resultados Experimentais

O framework foi avaliado em coortes de sepse com passos de decisão de 4 horas (janela de 72 horas).

• Otimização de Política (FQE - Fitted Q-Evaluation):
  • No MIMIC-III, a política OPL-MT-MNAR alcançou um FQE de 0.679, superando significativamente o comportamento dos médicos (0.528) e todas as baselines de RL (incluindo AI Clinician, BCQ, CQL e MedDreamer).
  • A melhoria foi consistente em MIMIC-IV (0.634 vs 0.521) e eICU (0.604 vs 0.534).
  • A adição de notas de enfermagem (texto de alta frequência) trouxe o maior ganho individual, elevando o FQE de 0.574 (apenas estruturado) para 0.679.
• Previsão de Desfechos:
  • Para a previsão de mortalidade hospitalar após 72 horas, o modelo alcançou um AUROC de 0.886 no MIMIC-III, superando modelos de estado da arte como GRU-D, BRITS e MedDreamer.
• Análise de Subgrupos:
  • Os ganhos foram mais pronunciados em pacientes de alta acuidade (SOFA > 10), onde os padrões de observação são mais informativos e endógenos à gravidade. A política proposta superou os médicos em 79,2% de melhoria relativa neste grupo crítico.

5. Significado e Impacto

Este trabalho demonstra que os processos de observação em registros de saúde não são apenas ruído a ser removido, mas sinais ricos e informativos sobre o estado do paciente. Ao integrar explicitamente esses padrões de ausência (MNAR) e a dinâmica temporal de múltiplas modalidades (texto e dados estruturados) em um framework de aprendizado de estado latente, o OPL-MT-MNAR permite:

• Tomada de decisão mais precisa: Políticas de tratamento que entendem a relação entre a gravidade do paciente e a frequência de monitoramento.
• Generalização robusta: Capacidade de transferir políticas entre diferentes hospitais e regimes de documentação.
• Segurança: A abordagem offline com restrições de distribuição evita recomendações perigosas de tratamentos não vistos nos dados históricos.

Em suma, o estudo avança o estado da arte em RL clínico ao tratar a "ausência de dados" como uma fonte primária de informação para a modelagem dinâmica de pacientes, resultando em políticas de tratamento superiores e representações de saúde mais robustas.