Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction

Resumo Técnico: Benchmarking de Diagnóstico Médico Multi-turno

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram alta precisão no diagnóstico médico em configurações de turno único (onde todas as informações clínicas são fornecidas de uma vez). No entanto, o raciocínio clínico real ocorre através de interações multi-turno (histórico, exames iterativos, novos dados emergentes), onde o médico coleta evidências sequencialmente.
O artigo identifica uma lacuna crítica: a performance dos LLMs degrada-se significativamente em cenários multi-turno. As hipóteses atuais sugerem que isso ocorre devido a:

• Comprometimento prematuro (responder antes de ter evidências suficientes).
• Perda de contexto ao longo de interações longas.
• Falta de benchmarks controlados que isolem variáveis como o timing da decisão, a restauração da resposta (autocorreção) e a exposição a informações específicas.

2. Metodologia: O Benchmark MINT

Para investigar esses fenômenos, os autores introduzem o MINT (Medical Incremental N-Turn Benchmark), um benchmark de alta fidelidade e granularidade controlada.

• Construção dos Dados:
  • Baseado em 5 conjuntos de dados médicos existentes (MedQA, MedMCQA, Derm-Public, Derm-Private, MedBullets), totalizando 1.035 casos.
  • Decomposição Controlada: Cada caso foi dividido em "fragmentos de evidência" (shards) baseados em categorias clínicas reais (ex: demografia, queixa principal, histórico, resultados de laboratório).
  • Preservação de Informação: Um protocolo de verificação garante que a concatenação de todos os fragmentos resulte no mesmo desempenho do caso original de turno único, eliminando a perda de informação como causa de degradação.
• Configurações Experimentais:
  • Hold (Segurar): Comparação entre perguntar a questão diagnóstica no início (Ask-Question-First) versus no final (Ask-Question-Last), após todas as evidências.
  • Lure (Isca): Manipulação da ordem de apresentação de informações salientes (especificamente resultados de laboratório) para testar se elas desencadeiam respostas prematuras.
  • Auto-correção: Rastreamento dinâmico de como as respostas mudam (de incorreto para correto e vice-versa) à medida que novas evidências são reveladas.
• Modelos Avaliados: 11 LLMs variados, incluindo modelos de código aberto (Qwen, OLMo), modelos comerciais de ponta (GPT-5-mini, o4-mini, Claude Sonnet 4.6) e modelos especializados em medicina (Med42, MedGemma).

3. Contribuições Principais e Descobertas Chave

O estudo revela três padrões comportamentais persistentes que impactam drasticamente o diagnóstico:

A. Intenção de Responder (Diagnóstico Impaciente)

• Fenômeno: Os modelos tendem a "correr" para responder assim que a questão é apresentada, mesmo com informações insuficientes.
• Estatística: Mais de 55% das respostas são comprometidas nos dois primeiros turnos.
• Impacto: Quando a pergunta é feita no início (Q-First), a precisão inicial cai drasticamente (até 60% de queda em relação ao turno único).
• Solução: Adiar a pergunta diagnóstica até o final (Q-Last) recupera a precisão, aproximando-se dos níveis de turno único. Isso prova que os modelos têm capacidade diagnóstica, mas falham no timing do compromisso.

B. Auto-correção (Self-Correction)

• Fenômeno: Os modelos possuem uma capacidade latente de corrigir erros à medida que mais evidências surgem.
• Estatística: A taxa de transição de respostas incorretas para corretas (F2T) é até 10,6 vezes maior do que a transição de corretas para incorretas (T2F).
• Implicação: O "segurar" a resposta não é apenas uma espera passiva; ele libera ativamente a capacidade do modelo de refinar seu raciocínio e corrigir erros iniciais. Modelos que respondem cedo fecham essa porta de autocorreção.

C. Iscas Fortes (Strong Lures)

• Fenômeno: Certas informações clínicas, especificamente resultados de laboratório, atuam como "iscas" que forçam o modelo a responder imediatamente, mesmo com instruções explícitas para esperar.
• Estatística: Quando resultados de laboratório aparecem cedo, a taxa de resposta imediata salta para 75% (e 88% para doenças dependentes de laboratório).
• Impacto: Isso leva a uma queda catastrófica na precisão (até 23,3%), especialmente em doenças onde os laboratórios não são o fator central de diagnóstico, pois o modelo ignora o contexto clínico mais amplo em favor do dado numérico isolado.

4. Resultados Quantitativos

• Recuperação de Precisão: Adiar a pergunta (Q-Last) melhorou a precisão no primeiro ponto de compromisso em até 62,6%.
• Prevenção de Erros: Manter evidências salientes (como laboratórios) para os turnos finais evitou quedas de precisão de até 23,3%.
• Desempenho por Modelo: Modelos comerciais de ponta (como GPT-5-mini e Claude Sonnet) mostraram taxas de "adivinhação" (responder apenas com a pergunta, sem dados) muito menores (3-6%) comparados a modelos médicos especializados de código aberto (que chegavam a 99,9% em alguns casos), mas todos sofreram com o efeito de "isca" dos laboratórios.

5. Significado e Conclusão

O trabalho redefine o desafio central do diagnóstico médico com LLMs: não é uma questão de capacidade de raciocínio, mas de governança do tempo de compromisso.

• Diretrizes Clínicas: O estudo fornece recomendações acionáveis para o design de sistemas de IA médica:
  1. Adiar a pergunta: Não apresentar a questão diagnóstica até que todas as evidências relevantes tenham sido coletadas.
  2. Gerenciar a ordem das evidências: Evitar apresentar resultados de laboratório ou dados altamente salientes nos primeiros turnos para evitar respostas prematuras.
• Futuro: A pesquisa sugere a necessidade de desenvolver sistemas de diagnóstico "conscientes do compromisso" (commitment-aware), que otimizem explicitamente quando responder, além de o que responder.

Em suma, o MINT demonstra que a degradação de performance em cenários multi-turno é predominantemente causada pela impaciência do modelo e pela suscetibilidade a "iscas" de dados, e não por uma falta de conhecimento médico inerente.