Resumo Técnico: MeDxAgent e MeDxBench

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) atuais são cada vez mais utilizados para suporte à decisão relacionada à saúde, mas sua avaliação baseia-se amplamente em tarefas estáticas de disparo único (single-shot), onde as informações completas do caso são fornecidas antecipadamente (ex: questões de múltipla escolha no estilo USMLE). Este paradigma diverge significativamente da prática clínica do mundo real, onde o diagnóstico é um processo interativo e aberto que envolve o refinamento sequencial de hipóteses por meio de questionamentos direcionados.

Os sistemas de diagnóstico interativos existentes sofrem de quatro limitações primárias:

1. Falta de Benchmarks Padronizados: Não há um benchmark unificado que combine casos clínicos diversos com diagnósticos confiáveis; os conjuntos de dados existentes são fragmentados em termos de formatos e especialidades.
2. Arquiteturas de Agentes Limitadas: Sistemas abertos frequentemente dependem de loops de agente único simplistas, enquanto sistemas multi-agentes sofisticados são de código fechado e não reprodutíveis.
3. Vazamento de Informação (Information Leakage): Muitas configurações inadvertidamente vazam diagnósticos de verdade fundamental (ex: ao inicializar agentes com descrições parciais de casos ou permitir que agentes pacientes gerem informações sintéticas baseadas no diagnóstico), inflando artificialmente a precisão.
4. Análise de Design Não Sistemática: Trabalhos anteriores tipicamente relatam resultados de uma única configuração, falhando em isolar quais escolhas específicas de design (prompt, fluxo ou composição de agentes) impulsionam os ganhos de desempenho.

Metodologia

1. MeDxBench: Um Benchmark de Grande Escala

Os autores construíram o MeDxBench, um benchmark composto por 4.421 casos clínicos em 20 especialidades (ex: Doenças Infecciosas, Neurologia, Medicina de Emergência).

• Fontes: Agregados de cinco conjuntos de dados públicos: CRAFT-MD, DiagnosisArena, MedMCQA, MedQA e casos curados do PubMed.
• Diversidade: Inclui 4.113 rótulos de doenças únicos, variando de comuns (alta prevalência) a raras (< 1 em 2.000).
• Integridade: Menções explícitas aos diagnósticos de verdade fundamental foram removidas das descrições dos casos para evitar vazamento. O benchmark exclui casos dependentes de imagem/vídeo para focar em diagnóstico apenas de texto.

2. Estrutura de Simulação

O ambiente de avaliação simula conversas de múltiplos turnos entre médico e paciente usando três agentes:

• Agente Paciente: Responde estritamente com base na descrição do caso fornecida. Se a informação estiver ausente, responde com "Eu não sei", evitando a alucinação de fatos ou o vazamento da verdade fundamental.
• Agente Médico: Conduz a consulta, fazendo perguntas e gerando diagnósticos candidatos com escores de confiança após cada turno.
• Agente Juiz: Avalia o diagnóstico final usando correspondência semântica (correspondência exata, sinônimo ou subtipo específico) contra a verdade fundamental.

3. MeDxAgent: Sistema de Consulta Multi-Agente

Os autores propõem o MeDxAgent, um sistema projetado para mimetizar o raciocínio clínico através de um estudo sistemático de três camadas de design: Prompt, Fluxo e Agente.

A. Variações Baseadas em Prompt

• Consciência de Turno (Turn Awareness): Orienta o agente a priorizar perguntas de triagem precocemente (turnos 1–5), coleta de evidências no meio (6–15) e perguntas discriminativas tardiamente (16–20).
• Demografia Primeiro: Impõe a coleta de idade e sexo no primeiro turno para ancorar o diagnóstico diferencial, espelhando a prática clínica.

B. Variações Baseadas em Fluxo

• Sem Interrupção Precoce (No Early Stopping): Executa consultas pelos 20 turnos completos para testar se o acúmulo de mais evidências melhora a precisão em relação à interrupção precoce baseada em confiança.
• Questionamento Diferencial: O agente recebe os diagnósticos candidatos atuais e é instruído a fazer perguntas que distingam entre hipóteses concorrentes. Crucialmente, isso é ativado apenas após um limite de turno específico (testado nos turnos 2, 5 e 10) para evitar o "viés de ancoragem", onde hipóteses fracas iniciais enviesam o questionamento subsequente.

C. Variações Baseadas em Agente

O MeDxAgent integra quatro módulos especializados:

1. Sumarizador: Converte o diálogo bruto em uma representação clínica estruturada (ex: formato SOAP) para alinhar com os dados de treinamento do LLM (notas clínicas/vignettes).
2. Ensemble de Especialistas: Um painel de 10 agentes (9 especialistas + 1 generalista) que propõem independentemente os top-3 diagnósticos. Um agente "Seletor" pondera estes com base na relevância do caso, em vez de votação por maioria.
3. Grafo de Conhecimento (KG): Consulta o Grafo de Conhecimento Biomédico Unificado (UBKG) usando sintomas revelados para trazer à tona doenças candidatas, fundamentando as previsões em conhecimento médico estruturado.
4. Lacuna de Evidência (Evidence Gap): Identifica informações ausentes necessárias para apoiar ou rejeitar as hipóteses atuais. Distingue entre "lacunas gerais" (detalhes clínicos amplos) e "lacunas específicas de diagnóstico" (diferenciadores).

O sistema completo MeDxAgent combina todos esses componentes, transitando de uma coleta de informações ampla (turnos 1–9) para uma fase de diagnóstico diferencial (turnos ≥10), onde a Lacuna de Evidência e o Ensemble de Especialistas guiam o questionamento direcionado.

Principais Resultados

Usando o GPT-4o como base, o MeDxAgent alcançou 57,4% de precisão diagnóstica média no MeDxBench, um melhoria absoluta de 10,3% sobre o baseline (47,1%).

• Gap do Oráculo (Oracle Gap): O Oráculo de informação total (recebendo o caso completo antecipadamente) alcançou 66,8%. O MeDxAgent fechou 52,3% do gap entre o baseline e este Oráculo.
• Sensibilidade de Design:
  • O Tempo Importa: Ativar o "Questionamento Diferencial" no turno 2 reduziu a precisão para 34,7% (pior que o baseline), enquanto ativar no turno 10 rendeu os melhores resultados (52,8%). Isso destaca a importância crítica do tempo de intervenção.
  • Efeitos Composicionais: Individualmente, três dos quatro módulos de agentes (Ensemble de Especialistas, KG, Lacuna de Evidência) reduziram a precisão quando adicionados ao baseline. No entanto, quando combinados no sistema completo, produziram o maior desempenho. Uma ablação incremental padrão teria incorretamente rejeitado esses componentes; seu valor emerge apenas através da interação.
• Transferência entre Modelos: As escolhas de design generalizaram para o Grok-4.1 e DeepSeek-V3.2, superando consistentemente seus respectivos baselines sem necessidade de novo ajuste (re-tuning).
• Comparação: O MeDxAgent superou sistemas anteriores como MedAgentSim e VivaBench em múltiplos conjuntos de dados e modelos.

Significância e Alegações

O artigo reivindica três contribuições primárias:

1. MeDxBench: Um benchmark padronizado e de grande escala para diagnóstico interativo de código aberto que evita o vazamento de informação e abrange diversas especialidades.
2. MeDxAgent: Um sistema multi-agente que recupera mais da metade do gap para um oráculo de informação total, integrando sistematicamente escolhas de design de nível de prompt, fluxo e agente.
3. Insight Metodológico: O estudo revela que efeitos de interação são críticos em sistemas médicos multi-agentes. Componentes que são prejudiciais isoladamente podem se tornar benéficos quando combinados, e o tempo de intervenções específicas (como o questionamento diferencial) é tão importante quanto a própria intervenção.

Os autores enfatizam que o MeDxAgent é uma ferramenta de suporte à decisão destinada a auxiliar clínicos no diagnóstico diferencial e na geração de hipóteses, não para substituir profissionais médicos. Eles reconhecem limitações, incluindo a natureza exclusivamente textual da avaliação (excluindo dados multimodais como imagens) e as restrições artificiais do Agente Paciente (ex: frequentes respostas "Eu não sei"), que podem reduzir a validade ecológica em comparação com interações do mundo real.