EHR-MPC: Inference-Time Control for Sepsis Treatment with Generative Patient Digital Twins

Resumo Técnico: EHR-MPC: Controle em Tempo de Inferência para Tratamento de Sepse com Gêmeos Digitais de Pacientes Generativos

Definição do Problema

A sepse continua sendo uma das principais causas de mortalidade global, mas as políticas de tratamento ideais — particularmente no que diz respeito à administração de corticosteroides — permanecem contestadas. As abordagens existentes de aprendizado por reforço (RL) para o manejo da sepse tipicamente aprendem políticas fixas ao emaranhar a dinâmica do paciente e os objetivos clínicos durante a fase de treinamento. Esse acoplamento limita a adaptabilidade; alterar objetivos clínicos (por exemplo, priorizar a preservação de órgãos em vez da estabilidade hemodinâmica imediata) ou configurações de implantação frequentemente exige o retreinamento de todo o modelo. Além disso, as políticas de RL aprendidas são frequentemente difíceis de interpretar, validar ou adaptar a contextos clínicos individualizados, levando a um descompasso entre o desempenho retrospectivo e a prática clínica. O desafio central é desenvolver um framework de tomada de decisão que possa desacoplar o aprendizado da fisiologia do paciente da otimização das estratégias de tratamento, permitindo a adaptação em tempo de inferência para objetivos em evolução sem necessidade de retreinamento.

Metodologia: Framework EHR-MPC

Os autores propõem o EHR-MPC (Controle Preditivo de Modelo baseado em Registros Eletrônicos de Saúde), um framework de dois estágios que separa o aprendizado da dinâmica do paciente da otimização das decisões de tratamento.

1. Gêmeo Digital de Paciente Generativo (Aprendizado de Dinâmicas):

   • Representação de Dados: O sistema ingere dados de Registros Eletrônicos de Saúde (EHR) tokenizados de uma coorte de UTI multicêntrica. Eventos clínicos (sinais vitais, exames laboratoriais, intervenções, demografia) são discretizados em uma sequência de tokens $x_{1:k}$.
   • Arquitetura do Modelo: Um modelo de sequência generativo (implementado como um transformer) é treinado para prever o próximo token na sequência, $p_\theta(x_{t+1} | x_{\le t})$. Este modelo serve como um "gêmeo digital", aprendendo a distribuição condicional das trajetórias do paciente sob o histórico observado.
   • Simulação Contrafactual: Para avaliar intervenções, o modelo realiza "rollouts de força de token" (token-forced rollouts). Sequências de tratamento candidatas (por exemplo, dosagens específicas de corticosteroides) são injetadas como tokens de ação na entrada. O modelo então gera de forma autorregressiva trajetórias futuras de pacientes, simulando trajetórias contrafactuais sob essas intervenções específicas.

2. Controle Preditivo de Modelo (Otimização de Decisões):

   • Planejamento em Tempo de Inferência: Diferente do RL, que produz uma política fixa, o EHR-MPC realiza o planejamento em tempo de inferência. Em cada etapa de decisão, o controlador simula múltiplas sequências de intervenção candidatas sobre um horizonte finito $h$ usando o gêmeo digital.
   • Especificação de Objetivo: Uma função de recompensa $R$ é definida para codificar objetivos clínicos (por exemplo, minimizar escores SOFA ou risco de mortalidade). Crucialmente, esta função de recompensa não está incorporada no modelo durante o treinamento. Ela é especificada em tempo de inferência, permitindo que o mesmo gêmeo digital seja otimizado para diferentes objetivos clínicos, potencialmente conflitantes, sem retreinamento.
   • Seleção de Ação: O controlador seleciona a sequência de ações que maximiza a recompensa esperada sobre as trajetórias simuladas. Apenas a primeira ação é executada, após a qual o sistema observa novos dados e repete o processo de planejamento (controle de horizonte recuante).

Principais Contribuições

• Desacoplamento de Dinâmica e Política: O artigo introduz uma mudança de paradigma onde modelos reutilizáveis de dinâmica de pacientes substituem políticas fixas como o objeto primário de aprendizado. As decisões de tratamento são derivadas via controle em tempo de inferência sobre esses modelos.
• Adaptabilidade em Tempo de Inferência: O framework permite a especificação de novos objetivos clínicos e a adaptação a mudanças nos padrões de cuidado sem o retreinamento do modelo generativo subjacente.
• Contrafactuais Interpretáveis: Ao simular explicitamente trajetórias de pacientes sob intervenções candidatas, o sistema fornece aos clínicos previsões mecanísticas da evolução do paciente, em vez de estimativas escalares opacas de recompensa.
• Framework Generalizável: A abordagem estende o conceito de modelos de fundação da predição para o planejamento, utilizando simuladores de pacientes aprendidos para tomada de decisão sequencial.

Resultados Experimentais

O framework foi avaliado em uma coorte de 36.930 pacientes de UTI em 8 hospitais do sistema Mass General Brigham.

• Fidelidade do Gêmeo Digital: O modelo generativo demonstrou forte desempenho na predição do próximo token e na previsão de desfechos (por exemplo, mortalidade, tempo de permanência). Ele exibiu sensibilidade de dose-resposta, mostrando reduções monotônicas no risco de mortalidade previsto com o aumento de tokens de corticosteroides em simulações contrafactuais.
• Avaliação Off-Policy: Usando Amostragem de Importância Ponderada (WIS), o EHR-MPC alcançou desempenho comparável às baselines de Q-network e superou significativamente as políticas clínicas observadas na minimização dos escores SOFA e do risco de mortalidade.
• Avaliação Baseada em Simulação (On-Policy): Quando avaliado via rollouts no simulador do gêmeo digital, o EHR-MPC superou consistentemente as baselines de Q-network tanto na melhoria do SOFA quanto na redução da mortalidade.
• Robustez: A vantagem de desempenho do EHR-MPC persistiu mesmo quando o modelo de planejamento foi desacoplado do modelo de avaliação (usando diferentes checkpoints de treinamento), sugerindo que os resultados não foram meramente devidos à exploração de um modelo de dinâmica compartilhado.
• Divergência de Política: O EHR-MPC mostrou maior divergência das políticas clínicas observadas em comparação com as Q-networks. Notavelmente, quando otimizado para redução de mortalidade, o EHR-MPC recomendou o aumento do uso de corticosteroides, alinhando-se mais proximamente com evidências recentes de ensaios clínicos randomizados (ex: Annane et al., 2025) do que a Q-network, que tendia a reduzir o uso de esteroides.

Significância e Alegações

O artigo afirma que o EHR-MPC estabelece um framework geral para tomada de decisão com modelos clínicos generativos. Sua principal significância reside em deslocar o ônus da otimização do ajuste de política em tempo de treinamento para o planejamento em tempo de inferência. Isso permite:

1. Flexibilidade: Adaptar-se a novos objetivos clínicos sem retreinamento.
2. Reutilização: Um único modelo de dinâmica servindo a múltiplos objetivos clínicos, potencialmente conflitantes.
3. Segurança e Interpretabilidade: Permitir a avaliação explícita de trajetórias contrafactuais e a incorporação de restrições de segurança durante a fase de planejamento.

Os autores reconhecem limitações, particularmente quanto à fidelidade do gêmeo digital aprendido e os desafios da avaliação off-policy em cuidados de saúde. Eles postulam que, embora os resultados atuais sejam promissores, o valor último do framework depende da melhoria contínua da fidelidade do gêmeo digital e do desenvolvimento de métodos de avaliação principados para políticas baseadas em simulação. O trabalho sugere um caminho para sistemas de aprendizado de máquina clínico que vão além da predição estática para o planejamento dinâmico e consciente de objetivos.