Resumo Técnico: Agentificação da Dinâmica do Paciente em LLMs através da Interação com um Modelo Mundial Clínico

Definição do Problema

O manejo da sepse em Unidades de Terapia Intensiva (UTIs) constitui um problema de tomada de decisão sequencial de alto risco. O tratamento eficaz exige que os clínicos titrem fluidos intravenosos e vasopressores ao longo do tempo para restaurar a perfusão, evitando lesões orgânicas a jusante. Este desafio caracteriza-se por uma fisiologia do paciente em rápida evolução, onde ações que melhoram a hemodinâmica de curto prazo (por exemplo, pressão arterial) podem piorar os resultados de longo prazo (por exemplo, edema pulmonar ou insuficiência renal).

Embora os Modelos de Linguagem de Grande Escala (LLMs) possuam amplo conhecimento clínico e possam raciocinar sobre diretrizes médicas, carecem de fundamentação inerente na dinâmica do paciente condicionada à ação. Um LLM pode conhecer princípios fisiológicos gerais, mas falhar em estimar como um paciente específico responderá a uma dose específica nas próximas horas. Métodos existentes frequentemente aprendem políticas de tratamento diretamente a partir de trajetórias retrospectivas de Prontuário Eletrônico de Saúde (EHR), mapeando estados para ações. Essas abordagens são vulneráveis a vieses de comportamento histórico e lutam para raciocinar sobre caminhos de tratamento alternativos não bem representados em dados observacionais.

Metodologia

Os autores introduzem o SepsisAgent, um agente LLM aumentado por modelo mundial projetado para recomendação de tratamento de sepse. A inovação central é a integração de um Modelo Mundial Clínico com uma política LLM através de um fluxo de trabalho "proponha–simule–refine" e um currículo de treinamento em três estágios.

1. O Modelo Mundial Clínico

O Modelo Mundial Clínico ($W_\theta$) é uma aproximação aprendida, condicionada à ação, da evolução do paciente. Dado um estado atual do paciente $s_t$ e uma ação de tratamento candidata $a_t$, ele prevê a distribuição do próximo estado fisiológico $s_{t+1}$ e sinais de resultado a jusante $o_t$.

• Arquitetura: Implementado usando um codificador de Unidade Recorrente Portão (GRU) de 2 camadas para processar o histórico de trajetória do paciente, seguido por uma cabeça de transição de estado (prevendo parâmetros gaussianos para o próximo estado) e uma cabeça de resultado (prevendo resultados clínicos de longo prazo, como mortalidade).
• Função: Atua como um simulador preditivo, permitindo que o agente compare opções de tratamento contrafactuais antes de comprometer-se com uma prescrição.

2. O Fluxo de Trabalho do SepsisAgent

No momento da inferência, o SepsisAgent opera através de um loop proponha–simule–refine:

1. Proponha: O LLM gera um conjunto de intervenções candidatas de fluido–vasopressor ($C_t$).
2. Simule: Para cada candidato, o Modelo Mundial Clínico estima as consequências fisiológicas ($\hat{y}_t$), incluindo estados futuros e sinais de resultado.
3. Refine: O LLM compara esses pares ação–resposta contra priores clínicos e diretrizes para selecionar a ação de tratamento final.

3. Currículo de Treinamento em Três Estágios

Os autores argumentam que meramente fornecer a um LLM acesso a um modelo mundial é insuficiente; o agente deve ser explicitamente treinado para interpretar feedback simulado. Eles propõem um pipeline de treinamento em etapas:

• Estágio I: Predição de Dinâmica do Paciente e Raciocínio Consciente de Diretrizes (Ajuste Fino Supervisionado):

  • O modelo é treinado em tarefas envolvendo predição de Mortalidade Hospitalar (IHM), predição de Necessidade de Vasopressor (VR) e raciocínio de tratamento de um passo.
  • Os dados são sintetizados usando GPT-4.1 para criar racionalizações de cadeia de pensamento que integram análise de estado do paciente, predição de dinâmica e restrições de diretrizes.
  • Objetivo: Ensinar o modelo a entender a evolução do paciente e raciocinar dentro das diretrizes de sepse.

• Estágio II: Clonagem de Comportamento Propõe–Simula–Refina:

  • O modelo aprende a interagir com o modelo mundial através de traços de raciocínio multi-round.
  • Usando transições de especialistas, os autores sintetizam trajetórias de interação onde o agente propõe ações, consulta o modelo mundial por respostas simuladas e refina sua decisão antes de selecionar a ação do especialista.
  • Objetivo: Ensinar ao agente como usar feedback do modelo mundial durante a tomada de decisão (aprendizado por imitação).

• Estágio III: Aprendizado por Reforço Agente Baseado em Modelo Mundial (RL):

  • O agente interage com o Modelo Mundial Clínico como um ambiente virtual usando Otimização de Política Relativa em Grupo (GRPO).
  • O agente amostra múltiplas trajetórias de raciocínio para cada estado e otimiza uma função de recompensa composta compreendendo resultados terminais (sobrevivência/mortalidade), estabilização fisiológica intermediária (escore SOFA, dinâmica de lactato) e penalidades de consistência com diretrizes.
  • Objetivo: Otimizar estratégias de tratamento de longo horizonte em vez de estabilização de curto prazo gananciosa.

Principais Contribuições

1. Um Agente LLM Aumentado por Modelo Mundial: A proposta do SepsisAgent, que colabora com um Modelo Mundial Clínico para comparar intervenções contrafactuais. Ele supera RL tradicional e baselines LLM puras em trajetórias de sepse MIMIC-IV.
2. Um Paradigma de Treinamento Multi-Etapa: A demonstração de que o acesso ao modelo mundial sozinho produz desempenho inconsistente. O artigo estabelece um currículo (SFT $\to$ Clonagem de Comportamento $\to$ RL) que ensina o agente a interpretar corretamente dinâmicas simuladas e alinhá-las com restrições de segurança clínica.
3. Internalização da Dinâmica do Paciente: Evidência de que RL agente baseado em modelo mundial aprimora a capacidade intrínseca do LLM de prever resultados do paciente (IHM e VR) mesmo quando o simulador é removido durante a avaliação. O agente aprende regularidades na evolução do paciente em vez de apenas ajustar sinais de recompensa.

Resultados Experimentais

O sistema foi avaliado em 725 episódios retidos do conjunto de dados MIMIC-IV.

• Valor da Política: O SepsisAgent alcançou as maiores pontuações de valor off-policy (Duplamente Robusto, Amostragem de Importância Ponderada e Amostragem de Importância Ponderada por Decisão) entre todas as baselines, incluindo métodos tradicionais de RL (DDQN, AI Clinician) e vários LLMs (GPT-4.1, Gemini-3, o3).
• Segurança e Adesão: O SepsisAgent alcançou a maior adesão às diretrizes de sepse (97,95%) e as menores taxas de ações inseguras (0,08% subdosagem, 0,14% superdosagem). Em contraste, LLMs puros e LLMs aumentados por modelo mundial sem o pipeline de treinamento específico mostraram taxas mais altas de ações inseguras ou valores de política mais baixos.
• Estudos de Ablação:
  • O Estágio I (SFT) e o Estágio II (Clonagem de Comportamento) melhoraram métricas de segurança e alguns valores de política, mas não produziram ganhos estáveis em todos os estimadores off-policy.
  • O Estágio III (RL) foi identificado como o principal motor da melhoria do valor da política, sugerindo que o modelo mundial serve como um ambiente eficaz para otimizar estratégias de longo horizonte.
• Generalização: O modelo demonstrou forte desempenho entre conjuntos de dados quando testado em episódios MIMIC-III, superando baselines tradicionais de RL.

Significado e Alegações

O artigo alega fornecer uma prova de conceito para o uso de aprendizado agente baseado em modelo mundial para apoiar a tomada de decisão clínica sequencial em ambientes de alta acuidade.

• Além do Acesso: A descoberta primária é que o acesso a um simulador não é suficiente; o agente deve ser treinado para interpretar o feedback do simulador. LLMs genéricos tendem a confiar excessivamente em melhorias simuladas de curto prazo (por exemplo, recuperação imediata da pressão arterial) enquanto ignoram riscos de longo prazo (por exemplo, sobrecarga de fluidos), um modo de falha corrigido pelo pipeline de treinamento proposto.
• Internalização: O trabalho sugere que a interação repetida com um modelo mundial clínico permite que LLMs internalizem a dinâmica do paciente, melhorando sua capacidade de prever mortalidade e necessidades de vasopressor mesmo sem acesso ao simulador no momento da inferência.
• Segurança: A abordagem equilibra com sucesso a otimização do valor do tratamento com a adesão estrita às diretrizes de segurança clínica, evitando os "atalhos inseguros" frequentemente vistos em agentes de RL puramente orientados a recompensa.

Os autores afirmam explicitamente que a pesquisa é conduzida para fins acadêmicos usando dados retrospectivos e ambientes simulados, e que os modelos não se destinam a implantação clínica direta sem supervisão humana.