Evolving Interactive Diagnostic Agents in a Virtual Clinical Environment

Resumo Técnico: Agentes de Diagnóstico Interativos em Evolução em um Ambiente Clínico Virtual

1. O Problema

Atualmente, os Grandes Modelos de Linguagem (LLMs) aplicados à medicina são treinados predominantemente em corpora estáticos (como resumos de casos ou exames de estilo USMLE). Isso cria uma lacuna fundamental: o diagnóstico clínico real não é uma tarefa de previsão estática, mas um processo de tomada de decisão interativo e de longo prazo sob incerteza.

Os modelos atuais falham em gerenciar trajetórias diagnósticas complexas, pois não sabem decidir quais exames recomendar, quando interromper a investigação ou como atualizar hipóteses à medida que novas evidências (resultados de exames) emergem. Eles carecem de uma capacidade de "planejamento de trajetória" e de interação dinâmica com um ambiente que evolui.

2. Metodologia

Os autores propõem um framework de Aprendizado por Reforço (RL) para transformar LLMs em agentes diagnósticos interativos. A metodologia baseia-se em três pilares:

• DiagGym (Modelo de Mundo de Diagnóstico): Um ambiente clínico virtual construído a partir de Registros Eletrônicos de Saúde (EHRs). Diferente de simuladores baseados em dados estáticos, o DiagGym é um modelo generativo condicional que simula resultados de exames (laboratoriais, radiológicos, etc.) em tempo real, baseando-se no histórico do paciente e no exame solicitado. Isso permite um treinamento em "loop fechado" (closed-loop) sem riscos reais.
• DiagAgent (Agente de Diagnóstico): O agente é treinado via Aprendizado por Reforço de Ponta a Ponta (End-to-end Multi-turn RL) dentro do DiagGym. O agente recebe o estado inicial do paciente e deve decidir a cada turno: (a) recomendar o próximo exame mais informativo ou (b) comprometer-se com um diagnóstico final. A política é otimizada por uma função de recompensa composta por:
  1. Precisão diagnóstica (acerto do diagnóstico).
  2. Qualidade da recomendação de exames (relevância dos testes).
  3. Eficiência (penalização por excesso de turnos desnecessários).
• DiagBench (Benchmark): Um benchmark multicêntrico com 2,2 mil casos validados por médicos, abrangendo quatro distribuições distintas (MIMIC-IV, PMC-OA, MTSamples e DDXPlus). Inclui 3,3 mil rubricas escritas por médicos para uma avaliação granular e orientada ao processo (não apenas o resultado final, mas a lógica da trajetória).

3. Principais Contribuições

1. Criação do DiagGym: O primeiro modelo de mundo de diagnóstico capaz de emitir resultados de exames sintéticos condicionados ao estado evolutivo do paciente.
2. Framework de Treinamento de Agentes via RL: Uma abordagem que permite aos modelos "explorarem" trajetórias diagnósticas e aprenderem estratégias de gestão de casos a longo prazo.
3. DiagBench: Um benchmark robusto que avalia a capacidade de interação multi-turno e a generalização para cenários fora da distribuição (Out-of-Domain).
4. Demonstração de Superioridade do RL sobre SFT: Prova que o ajuste fino supervisionado (SFT) é limitado pela imitação de dados estáticos, enquanto o RL permite a descoberta de estratégias diagnósticas mais eficientes e precisas.

4. Resultados

Os experimentos demonstraram que o DiagAgent supera significativamente os LLMs de última geração (incluindo DeepSeek-v3 e Claude-4-Sonnet):

• Desempenho End-to-End: Em testes de trajetória completa, o DiagAgent obteve um aumento de 11,20% na precisão diagnóstica e um aumento de 17,58% no F1-score de recomendação de exames em comparação com os melhores concorrentes.
• Generalização (OOD): O modelo manteve um desempenho superior em centros externos (fora do domínio de treinamento), alcançando 92,57% de precisão diagnóstica em cenários out-of-domain.
• Avaliação por Rubricas: O agente superou o próximo melhor modelo em 7,1% em pontuações de rubricas ponderadas, indicando que seu processo de raciocínio clínico segue protocolos médicos mais rigorosos.
• Eficiência de Exploração: O DiagAgent demonstrou a capacidade de realizar diálogos diagnósticos mais longos e informativos, coletando evidências de forma mais profunda antes de concluir o diagnóstico.

5. Significância

Este trabalho representa um avanço crucial na transição de LLMs médicos de "consultores de pergunta e resposta" para "agentes de gestão de pacientes". Ao permitir que o modelo interaja com um ambiente simulado, o framework resolve o problema da passividade dos modelos atuais. A capacidade de aprender políticas de decisão dinâmicas abre caminho para sistemas de IA que podem auxiliar médicos na gestão de casos complexos, auxiliando na escolha de exames e na redução de erros diagnósticos através de um raciocínio estruturado e baseado em evidências.