🤖 AI

EviDx: Evidence-Aware Active Diagnosis with Scaffolded LLM Agents

O artigo apresenta o EviDx, um framework de diagnóstico ativo consciente de evidências que utiliza agentes de LLM estruturados e uma estrutura de execução (runtime harness) para adquirir evidências clínicas dinamicamente e gerenciar a incerteza diagnóstica, melhorando assim tanto o desempenho diagnóstico quanto a estabilidade do processo em comparação com modelos de predição estáticos.

Autores originais: Lihang Zeng, Shaoting Zhang, Xiaofan Zhang

Publicado 2026-08-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Lihang Zeng, Shaoting Zhang, Xiaofan Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo real, um médico não diagnostica um paciente lendo um único parágrafo e adivinhando instantaneamente uma resposta. O diagnóstico é uma busca ativa e lenta por pistas. Um médico ouve a história de um paciente, depois solicita um exame de sangue, revisa um raio-X ou pergunta sobre o histórico familiar. Com cada nova peça de informação, o médico atualiza sua lista de possíveis causas, descartando algumas e refinando o foco em outras. Eles devem decidir constantemente quando reuniram evidências suficientes para tomar uma decisão e quando precisam continuar procurando. Esse processo de buscar evidências, pesar possibilidades e saber quando parar é o cerne do raciocínio clínico.

Por anos, pesquisadores tentaram ensinar computadores a fazer isso usando modelos de linguagem de grande escala, os poderosos sistemas de inteligência artificial que podem escrever e conversar como humanos. No entanto, a maioria desses sistemas foi treinada para tratar o diagnóstico como um quiz estático. Eles recebem uma história completa do paciente de uma só vez e são solicitados a cuspir uma resposta final imediatamente. Essa abordagem perde o ponto central de como a medicina real funciona. Ela força o computador a adivinhar a solução antes que ele tenha tido a chance de investigar, de forma muito semelhante a pedir a um aluno que resolva um problema matemático sem deixá-lo usar uma calculadora ou papel de rascunho. Embora esses modelos possam recordar fatos médicos, eles frequentemente falham em imitar a coleta cuidadosa e passo a passo de evidências que evita erros.

Um novo estudo apresenta um sistema chamado EviDx, projetado para mudar a forma como esses agentes de inteligência artificial abordam o diagnóstico médico. Em vez de entregar ao computador um prontuário de caso finalizado, os pesquisadores construíram um ambiente virtual onde a IA deve buscar informações ativamente. Imagine um quarto de hospital digital onde os registros do paciente, resultados de laboratório e exames de imagem estão guardados em gavetas separadas. O agente de IA não pode vê-los todos de uma vez; ele deve solicitar testes específicos, esperar pelos resultados e, então, decidir o que pedir a seguir. Este sistema inclui um conjunto de regras que guiam o comportamento do agente, garantindo que ele verifique os tipos certos de informações e não pare de procurar até ter percorrido o terreno necessário.

Os pesquisadores também adicionaram um monitor de segurança, um supervisor digital que observa o progresso do agente em tempo real. Este monitor verifica duas coisas: o quão confuso o agente ainda está sobre o diagnóstico e quanta das evidências disponíveis ele realmente examinou. Se o agente tentar declarar um diagnóstico cedo demais, enquanto ainda estiver incerto ou tiver pulado testes importantes, o monitor o interrompe e o força a continuar investigando. Isso evita que o computador faça um palpite confiante baseado em informações incompletas. O sistema foi testado em centenas de casos clínicos do mundo real, variando de cenários complexos de salas de emergência a relatórios detalhados de periódicos, utilizando uma variedade de diferentes modelos de IA.

Os resultados mostraram que essa abordagem ativa de busca de evidências funcionou significativamente melhor do que o antigo método de adivinhação estática. Os agentes de IA usando o EviDx foram muito mais precisos na identificação do diagnóstico correto, especialmente quando tinham que escolher entre uma lista de opções. O sistema ajudou até mesmo modelos menores e menos potentes a desempenhar muito melhor, guiando-os para encontrar as pistas certas. No entanto, o estudo também encontrou um limite claro: embora o sistema pudesse ensinar um agente a reunir evidências e organizar seus pensamentos, ele não conseguia corrigir a falta de conhecimento médico fundamental. Se o modelo de IA não soubesse o suficiente sobre uma doença específica para entender as pistas que encontrou, ele ainda teria dificuldades para chegar à conclusão correta.

Os pesquisadores também descobriram que o maior obstáculo para esses sistemas não era apenas o conhecimento médico, mas a capacidade de seguir instruções estritas. Muitos dos modelos de IA menores frequentemente cometiam erros na forma como solicitavam informações, como formatar seus pedidos incorretamente ou falhar no uso das ferramentas adequadas. Essas falhas técnicas frequentemente faziam com que o processo de diagnóstico quebrasse inteiramente. O estudo sugere que, para a inteligência artificial se tornar uma parceira confiável na medicina, ela deve ser avaliada não apenas pelo fato de acertar a resposta final, mas por como ela se comporta durante a investigação. Ela buscou a evidência certa? Ela parou quando já tinha o suficiente? O novo framework prova que construir um sistema que imita a natureza ativa e cautelosa do diagnóstico humano é possível, mas requer um design cuidadoso para garantir que o computador permaneça no caminho certo.

Resumo Técnico: EviDx

Formulação do Problema

O diagnóstico clínico é fundamentalmente um processo ativo e iterativo, no qual os clínicos adquirem evidências, atualizam hipóteses concorrentes e determinam quando informações suficientes existem para concluir. No entanto, os sistemas de diagnóstico baseados em Large Language Models (LLMs) existentes tratam o diagnóstico majoritariamente como um problema de predição estático de "caso-para-resposta". Nesses setups, os modelos recebem uma vinheta clínica completa de imediência e geram um diagnóstico em uma única passagem, colapsando a aquisição, integração e terminação de evidências em um único prompt. Essa abordagem falha ao não modelar as falhas de processo inerentes ao diagnóstico ativo, como o compromisso prematuro antes que evidências suficientes sejam reunidas.

Embora sistemas aumentados por ferramentas e agentes ofereçam um caminho para o diagnóstico dinâmico ao permitir o acesso a registros de pacientes e conhecimento externo, eles frequentemente carecem de mecanismos explícitos para controlar como a evidência é exposta, como as ações são estruturadas e quando o processo de diagnóstico deve ser encerrado. Os sistemas existentes frequentemente dependem de fluxos de trabalho fixos ou orçamentos de turnos, deixando a decisão crítica de suficiência de evidência fracamente modelada.

Metodologia: O Framework EviDx

Os autores introduzem o EviDx, um framework de diagnóstico ativo consciente de evidências, projetado para transformar casos clínicos estáticos em ambientes de diagnóstico interativos. O sistema acopla ambientes específicos de pacientes com um arcabouço de diagnóstico clínico e um suporte de execução guiado por observador. O EviDx consiste em quatro componentes principais:

1. E-Synthesis (Construção de Ambiente Interativo)

O E-Synthesis converte texto clínico bruto em um ambiente interativo específico do paciente ( $E_x$ ). Um Inicializador de Contexto processa o texto bruto em dados estruturados do paciente (EHR), preservando ambiguidades clinicamente relevantes, qualificadores e achados negativos. Esses dados estruturados são carregados em um Servidor de EHR, acoplado a ferramentas de acesso a evidências para formar um ambiente onde ações diagnósticas podem consultar registros específicos do paciente e conhecimento médico externo via Model Context Protocol (MCP).

2. Clinical Dx Scaffold (Execução Estruturada)

O arcabouço organiza a execução do diagnóstico através de agentes especializados em funções e estados de evidência evolutivos, em vez de prompting genérico:

Agente Diagnosticador: O componente central de raciocínio que mantém o conjunto de diagnóstico diferencial ( $D_t$ ) e o estado de crença ( $bP_t$ ). Ele decide a próxima ação (consultar dados, consultar conhecimento ou finalizar) com base na trajetória atual.
Executor de EHR: Lida com o acesso determinístico ao Servidor de EHR, recuperando dados demográficos, histórico, exames laboratoriais e relatórios de imagem.
Consultor Clínico: Lida com o acesso a evidências externas ao decompor solicitações e recuperar literatura relevante de um Servidor de Conhecimento (usando recuperação híbrida densa e BM25) para apoiar o Diagnosticador.

3. Observer-Guided Harness (Controle de Execução)

Um arcabouço sozinho é insuficiente; o sistema requer controle de execução para evitar a terminação prematura. O Observer-Guided Harness monitora a trajetória diagnóstica e regula a terminação com base em duas métricas:

Incerteza Diagnóstica ( $H(t)$ ): Calculada como a entropia do diagnóstico diferencial reportado. Alta entropia indica hipóteses não resolvidas.
Cobertura de Evidência de Execução ( $V(T_t)$ ): A fração das seções disponíveis do EHR explicitamente consultadas pelo agente.

A terminação é aprovada apenas quando a trajetória satisfaz ambos os critérios: $H(t) < \tau_H$ (suficientemente resolvida) e $V(T_t) > \tau_V$ (suficientemente explorada). O suporte utiliza limiares dinâmicos conscientes do passo que relaxam gradualmente os requisitos conforme a interação progride, evitando loops infinitos enquanto bloqueia saídas sem fundamentação.

4. Pirâmide de Avaliação de 3 Níveis

Para avaliar o framework, os autores propõem uma estratégia de avaliação multidimensional:

Nível 1 (Robustez de Execução): Mede a confiabilidade da interação com ferramentas, especificamente erros de Sintaxe e Esquema do MCP.
Nível 2 (Dinâmica de Raciocínio): Avalia a Convergência de Incerteza (quão efetivamente os estados de crença se concentram) e a frequência de Intervenção do Observador (com que frequência o suporte bloqueia a terminação prematura).
Nível 3 (Resultados Diagnósticos): Avalia a precisão final e o Recall de Evidência de Referência, distinguindo entre meramente recuperar evidência (Aquisição) e utilizá-la ativamente no raciocínio (Cognição).

Principais Contribuições

Framework EviDx: Uma arquitetura inovadora que transforma casos clínicos estáticos em ambientes interativos, estruturando agentes de LLM com funções clínicas específicas, ferramentas de evidência e gerenciamento de estado.
Observer-Guided Harness: Um mecanismo de controle de execução que gerencia explicitamente a terminação do diagnóstico rastreando incerteza e cobertura de evidência, prevenindo conclusões prematuras.
Pirâmide de Avaliação de 3 Níveis: Uma metodologia de avaliação abrangente que vai além da precisão final para avaliar a robustez da execução, a dinâmica do raciocínio e os resultados fundamentados em evidências.
Med-Evidence-2.6k: Um conjunto de dados curado de 2.660 instâncias clínicas ricamente anotadas, criadas via um pipeline assistido por LLM com revisão médica. Embora o conjunto de dados completo suporte a avaliação de recall de evidência, os experimentos principais utilizam um subconjunto controlado de 100 instâncias de cada benchmark para permitir a comparação entre modelos.

Resultados Experimentais

O framework foi avaliado em três conjuntos de dados (JAMA, MedXpertQA-Diag, DiagnosisArena) usando uma gama de modelos, desde modelos de pesos abertos de 8 bilhões de parâmetros até modelos de fronteira (GPT-5.2, Claude Sonnet 4.6, etc.).

Robustez de Execução: Grandes modelos de fronteira (GPT-5.2, DeepSeek-V3.2) demonstraram alta robustez no uso de ferramentas. Modelos menores (ex: Llama3.1-8B) exibiram erros significativos de esquema e sintaxe, destacando que a robustez de execução é um pré-requisito para o diagnóstico ativo.
Desempenho Diagnóstico: O EviDx melhorou o desempenho de diagnóstico de Múltipla Escolha (MC) em todos os modelos. Notavelmente, modelos de 8 bilhões de parâmetros tiveram ganhos substanciais (ex: Qwen3-8B no JAMA aumentou de 18% para 44%). No entanto, o diagnóstico de questões abertas permaneceu limitado pelo conhecimento médico paramétrico do modelo base, com modelos pequenos pontuando próximo a 0% em alguns cenários de questões abertas.
Estabilidade de Processo: O Observer-Guided Harness mitigou com sucesso a terminação não suportada. Estudos de caso mostraram que, sem o suporte, os agentes frequentemente concluíam prematuramente sob alta incerteza ou achados negativos enganosos. O suporte forçou a continuidade da aquisição de evidências, levando a diagnósticos corretos em cenários onde agentes sem restrições falharam.
Recall de Evidência: Embora a precisão de MC tenha melhorado, alguns modelos pequenos mostraram pontuações de "Cognição" (utilização de evidência no raciocínio) mais baixas em comparação com baselines de agente único. Isso sugere uma tensão onde a coordenação de ferramentas leva a traços mais comprimidos ou parafraseados, reduzindo o recall de correspondência exata de texto, apesar do raciocínio correto.

Significância e Alegações

O artigo afirma que o EviDx demonstra que agentes de LLM clínicos tornam-se mais capazes quando ambientes de diagnóstico interativos são acoplados a arcabouços de evidência explícitos e suportes de execução. Os resultados sugerem que o progresso no diagnóstico de LLM clínico deve ser avaliado não apenas pela resposta final, mas também pela qualidade da aquisição de evidências, manutenção das trajetórias diagnósticas e o processo de tomada de decisão sobre a suficiência de evidências.

Os autores observam modestamente que, embora o EviDx melhore a estabilidade do processo e o desempenho de MC, ele não pode compensar totalmente as limitações no conhecimento médico paramétrico de modelos de fundação menores. O framework é apresentado estritamente como uma ferramenta de pesquisa para estudar o diagnóstico ativo consciente de evidências, não como um sistema pronto para implantação clínica, enfatizando a necessidade de supervisão humana no ciclo (human-in-the-loop) para segurança.