Active Evidence-Seeking and Diagnostic Reasoning in Large Language Models for Clinical Decision Support

Enunciado do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado desempenho robusto em benchmarks médicos estáticos (por exemplo, MedQA, exames no estilo USMLE) onde todos os dados do paciente são fornecidos simultaneamente, o diagnóstico clínico na prática é um processo dinâmico e iterativo. O diagnóstico no mundo real baseia-se no modelo hipotético-dedutivo, onde os clínicos devem formular ativamente hipóteses e buscar evidências por meio de interações de múltiplas voltas (anamnese, exames físicos, exames laboratoriais) sob condições de escassez inicial de informações.

Os paradigmas de avaliação atuais falham amplamente em capturar essa capacidade de "busca ativa de evidências". Benchmarks estáticos de contexto completo podem superestimar o desempenho do modelo em configurações interativas, pois não testam a capacidade do modelo de decidir o que evidência solicitar, quando solicitá-la ou como atualizar hipóteses com base em informações parciais. Essa lacuna cria o risco de que modelos que se saem bem em testes estáticos possam falhar ou alucinar em sistemas de suporte à decisão clínica (CDSS) realistas, onde as informações devem ser adquiridas de forma incremental.

Metodologia: O Framework ROUNDS-Bench

Para abordar isso, os autores introduzem o ROUNDS-Bench, um framework interativo inspirado no OSCE (Exame Clínico Estruturado Objetivo) projetado para avaliar a investigação diagnóstica ativa em um ambiente controlado e reproduzível.

1. Simulador de Paciente Padronizado (SP-sim):

• Mecanismo Central: Um simulador de alta fidelidade (acionado pelo Qwen2.5-32B-Instruct) que imita a assimetria de informações das interações reais médico-paciente.
• Gateamento de Informações: O simulador inicia apenas com dados demográficos básicos e a queixa principal. Ele libera evidências subsequentes (detalhes dos sintomas, achados de exame físico, resultados laboratoriais) apenas quando o modelo submete solicitações clínicas lógicas e específicas (por exemplo, "Solicitar Radiografia de Tórax" ou "Perguntar sobre histórico familiar").
• Restrições: A interação é estritamente controlada. Os modelos não podem contornar o processo com consultas oniscientes. O diálogo é limitado a 10 turnos, e o simulador nunca revela o diagnóstico final até que o modelo termine explicitamente a sessão.
• Reprodutibilidade: O sistema utiliza uma temperatura determinística (0.0) e sementes fixas para garantir que entradas idênticas produzam saídas idênticas, evitando a variabilidade de avaliações de chat aberto.

2. Construção do Conjunto de Dados:

• Cohorte: 468 casos clínicos padronizados cobrindo seis sistemas clínicos principais (Cardiovascular, Respiratório, Gastro-Hepatobiliar, Neurológico, Doenças Infecciosas, Metabólico/Renal/Geniturinário).
• Estratificação: Os casos são estritamente balanceados (78 por sistema) e provenientes de quatro corpora heterogêneos: MedQA (estilo USMLE), MedMCQA (exames indianos), MedFound (derivado do MIMIC-III) e MedCaseReasoning (relatos de casos do PMC). Isso garante diversidade, desde perguntas estilo livro-texto até narrativas complexas e não estruturadas do mundo real.

3. Protocolo de Avaliação de Dupla Tarefa:
O estudo emprega um desenho intra-sujeito para isolar a "Lacuna de Capacidade":

• Tarefa 1 (Contexto Completo): Os modelos recebem o prontuário eletrônico completo instantaneamente. Isso estabelece o limite superior teórico da proficiência diagnóstica estática.
• Tarefa 2 (Busca Ativa de Evidências): Os modelos começam apenas com a queixa principal e devem conduzir autonomamente o diálogo de múltiplas voltas para adquirir evidências antes de fazer um diagnóstico.

4. Métricas de Avaliação:

• Precisão Diagnóstica Exata: Equivalência semântica estrita ao diagnóstico padrão-ouro.
• Qualidade de Evidência Estrita (StrictEQ): Mede se a evidência de suporte do modelo está totalmente fundamentada nas informações realmente recuperadas durante a interação. Penaliza o "Raciocínio Alucinado" (diagnóstico correto sem evidência de suporte válida).
• Precisão Totalmente Suportada (FSA): A interseção entre precisão estrita e qualidade de evidência estrita.

5. Modelos Avaliados:
15 LLMs de última geração foram testados, variando de 7B a 32B+ parâmetros, incluindo modelos proprietários (Gemini-2.5-Pro, GPT-4o-mini), modelos de pesos abertos (série Qwen, série DeepSeek, Llama-3, GLM-4) e variantes aprimoradas em raciocínio (DeepSeek-R1-Distill).

Principais Resultados

1. Lacuna de Capacidade Significativa:
A transição do diagnóstico passivo (Tarefa 1) para o ativo (Tarefa 2) resultou em uma degradação consistente de desempenho em todos os 15 modelos:

• Precisão Diagnóstica: Diminuiu em média 12,75%.
• Qualidade de Evidência: Diminuiu em média 24,36%.
• Distribuição de Erros: Casos que estavam "Estritamente Corretos" na Tarefa 1 frequentemente migraram diretamente para "Errados" na Tarefa 2, em vez de se tornarem "Parcialmente Corretos". Isso indica que, sob incerteza, os modelos não se tornam mais conservadores; em vez disso, constroem cadeias causais errôneas com base em evidências insuficientes.

2. Qualidade de Evidência vs. Precisão Diagnóstica (Raciocínio Alucinado):
O declínio na qualidade da evidência foi frequentemente mais acentuado do que o declínio na precisão.

• Raciocínio Alucinado: Muitos modelos produziram diagnósticos corretos sem recuperar ou citar a evidência discriminatória necessária. Por exemplo, o Gemini-2.5-Pro teve 49,36% de precisão na Tarefa 2, mas apenas 42,52% de StrictEQ, implicando que ~7% de seus diagnósticos "corretos" careciam de fundamentação evidencial.
• Implicação de Segurança: Esse desacoplamento representa um risco de segurança para CDSS, pois "chutes afortunados" não são auditáveis e não podem ser verificados por clínicos.

3. Impacto da Escala do Modelo e Arquitetura:

• Leis de Escala: Modelos maiores geralmente se saíram melhor, mostrando uma melhoria log-linear na precisão da Tarefa 2. No entanto, mesmo os maiores modelos (por exemplo, Gemini-2.5-Pro, Qwen3-32B) falharam em fechar a lacuna entre o desempenho estático e o ativo.
• Arquiteturas de Raciocínio: Modelos de raciocínio nativos (por exemplo, Qwen3) mostraram robustez na investigação ativa. No entanto, modelos de raciocínio destilados em escalas menores (por exemplo, DeepSeek-R1-Distill-7B/14B) se saíram mal na Tarefa 2, sugerindo que as capacidades de raciocínio destiladas a partir de rastros estáticos de Cadeia de Pensamento não se generalizam bem para a busca proativa de evidências.

4. Variabilidade de Domínio e Fonte de Dados:

• Domínios Resilientes: Os modelos se saíram relativamente bem nos sistemas Respiratório e Cardiovascular, provavelmente devido a mapeamentos padronizados de sintomas-sinais.
• Domínios Vulneráveis: Foi observada fragilidade significativa nos sistemas Neurológico e Metabólico/Renal, que exigem localização sutil de exames físicos ou interpretação combinatória complexa de laboratórios.
• Fonte de Dados: Os modelos se saíram significativamente melhor em dados padronizados estilo exame (MedQA/MedMCQA) do que em relatos de casos do mundo real (MedCaseReasoning). O desempenho em dados do mundo real caiu para <35% para muitos modelos, destacando um gargalo na filtragem de ruído e extração de sinais de narrativas não estruturadas de alta entropia.

Principais Contribuições

1. ROUNDS-Bench: Um benchmark reproduzível e controlado para investigação diagnóstica ativa que separa a aquisição de evidências da síntese de evidências, abordando as limitações das avaliações estáticas de contexto completo.
2. Quantificação da Lacuna de Capacidade: O estudo fornece evidências empíricas de que benchmarks estáticos superestimam o desempenho dos LLMs em configurações interativas, revelando uma queda de ~12,75% na precisão e uma queda de ~24,36% na qualidade da evidência.
3. Identificação de "Raciocínio Alucinado": A introdução da métrica StrictEQ destaca um risco crítico de segurança onde os modelos chegam a conclusões corretas sem evidências válidas e rastreáveis, minando a auditabilidade necessária para a confiança clínica.
4. Análise Sistemática de Falhas: O artigo identifica modos de falha específicos, incluindo fechamento diagnóstico prematuro, questionamento ineficiente e a incapacidade de modelos de raciocínio destilados de se generalizarem para investigação ativa.

Significado e Alegações

Os autores afirmam que seu trabalho serve como um complemento crítico às avaliações estáticas existentes. Eles argumentam que altas pontuações em exames estilo licenciamento não garantem a capacidade de um modelo de funcionar com segurança em fluxos de trabalho clínicos dinâmicos.

• Aviso de Segurança: O artigo enfatiza que, para Sistemas de Suporte à Decisão Clínica, respostas "corretas" derivadas de raciocínio "não fundamentado" são inerentemente não confiáveis. A lacuna observada sugere que os modelos atuais podem não estar prontos para implantação autônoma em configurações que exigem coleta iterativa de evidências.
• Mudança de Avaliação: O estudo motiva uma transição na avaliação de IA médica, de perguntas e respostas estáticas para interações dinâmicas e autênticas. Ele apela para que pesquisas futuras se concentrem em melhorar a busca interativa de evidências, a auditabilidade e a capacidade de decidir quando informações suficientes foram coletadas.
• Escopo Modesto: Os autores reconhecem limitações, observando que a simulação abstrai fatores sociopsicológicos, é apenas textual (falta dados multimodais como imagens) e depende de um diagnóstico de referência única. Eles posicionam o ROUNDS-Bench como um passo necessário em direção a agentes de IA médica mais seguros e clinicamente eficazes, e não como uma solução final.