Resumo Técnico: Avaliando a Capacidade de Pré-consulta de LLMs usando Diretrizes Diagnósticas (EPAG)

Declaração do Problema

Modelos de Linguagem de Grande Porte (LLMs) estão sendo cada vez mais integrados em fluxos de trabalho clínicos, particularmente para tarefas de pré-consulta, como anamnese e suporte à decisão. No entanto, avaliações existentes frequentemente focam em resultados diagnósticos finais ou respostas a perguntas de múltipla escolha, falhando em avaliar o processo intermediário crítico de coleta de informações. Há uma falta de frameworks rigorosos para avaliar se os LLMs podem elicitar efetivamente informações relevantes do paciente (História da Doença Atual, ou HPI) necessárias para um diagnóstico preciso. Além disso, os riscos de saídas errôneas em ambientes clínicos — como diagnósticos equivocados ou prescrições incorretas — tornam necessários benchmarks de avaliação especializados que vão além do conhecimento médico geral.

Metodologia

Os autores introduzem o EPAG (Avaliando a Capacidade de Pré-consulta de LLMs usando Diretrizes Diagnósticas), um conjunto de dados de benchmark e um pipeline de avaliação automatizada projetados para avaliar LLMs em um cenário de pré-consulta simulado.

Construção do Conjunto de Dados

O conjunto de dados EPAG compreende 520 perfis de pacientes sintéticos cobrindo 26 doenças em 10 capítulos da CID-11 e 10 especialidades primárias.

• Diretrizes Diagnósticas: Um conjunto de diretrizes diagnósticas padrão-ouro foi construído por clínicos especialistas a partir de fontes confiáveis (por exemplo, Colégio Americano de Cardiologia, NCCN). Essas diretrizes especificam sintomas-chave, sintomas auxiliares, histórico familiar e fatores de risco, atribuídos pesos de significância "alta" ou "média".
• Critérios de Filtragem: As doenças foram selecionadas com base em sua capacidade de serem razoavelmente diagnosticadas apenas por meio de consulta (excluindo aquelas que exigem exames físicos, raios-X ou ressonâncias magnéticas) e em sua prevalência para garantir uma avaliação imparcial.
• Perfis de Pacientes: Perfis diversos (idade, sexo, histórico médico) foram gerados usando o OpenAI o3-mini e revisados qualitativamente por clínicos para garantir diversidade realista e detalhe clínico.

Pipeline de Avaliação

A avaliação simula um diálogo entre um agente-paciente (atuando conforme um perfil específico) e um agente-médico (o LLM sob avaliação). O agente-médico começa com informações básicas (idade, sexo, queixa principal) e faz perguntas iterativamente com opções de múltipla escolha para elicitar a HPI. O processo é avaliado através de duas tarefas distintas:

1. Comparação HPI-Diretriz Diagnóstica (Avaliação Direta):

   • Organização: As trocas de diálogo (Pergunta, Opções, Resposta) são processadas por um modelo "organizador" para extrair unidades atômicas de informações clínicas. Crucialmente, opções não selecionadas são tratadas como evidência negativa (por exemplo, "O paciente não tem o sintoma X").
   • Comparação: Um modelo "comparador" corresponde cada unidade extraída às diretrizes diagnósticas pré-definidas.
   • Pontuação: Uma unidade recebe uma pontuação de 1 (ou 2 para diretrizes de alta significância) se corresponder a um elemento da diretriz; caso contrário, recebe 0. As pontuações são calculadas como médias ponderadas e não ponderadas.

2. Diagnóstico da Doença (Avaliação Indireta):

   • Um "agente-diagnosticador" independente recebe o histórico completo do diálogo e tenta diagnosticar o paciente.
   • A precisão é medida pela correspondência entre a doença prevista e o rótulo-ouro (incluindo conceitos pai/filho na taxonomia).

Configuração Experimental

Onze LLMs foram avaliados, incluindo modelos proprietários (GPT-4.1, Claude-3.7-Sonnet, etc.) e modelos de código aberto (Llama-3.2, Qwen2.5, Medgemma). Os experimentos foram conduzidos em trocas de diálogo variando de 5 a 9. Uma linha de base de especialista humano foi estabelecida usando o mesmo pipeline.

Principais Resultados

1. Tamanho do Modelo e Desempenho

Contrariando a intuição de que modelos maiores sempre desempenham melhor, os resultados mostraram que o tamanho do modelo não garante capacidade superior de pré-consulta.

• Embora o GPT-4.1 tenha alcançado o melhor desempenho geral, modelos menores como o GPT-4o-mini superaram seus contrapartes maiores (GPT-4o) nas pontuações de comparação HPI-diretriz.
• Modelos de código aberto geralmente tiveram desempenho inferior aos modelos proprietários em suas formas base.

2. Impacto do Ajuste Fino Específico de Tarefa

O estudo demonstrou que o ajuste fino específico de tarefa reduz significativamente a lacuna de desempenho.

• Os autores ajustaram finamente modelos Qwen2.5 (7B, 32B, 72B) em um conjunto de dados de 3k diálogos de pré-consulta curado.
• Resultado: Modelos menores ajustados finamente (especificamente as variantes 7B e 32B) igualaram ou até superaram o desempenho do modelo proprietário mais forte (GPT-4.1) e da linha de base humana.
• O modelo 32B mostrou a melhoria mais significativa, sugerindo um tamanho ótimo para o conjunto de dados específico utilizado.

3. Quantidade de HPI vs. Qualidade Diagnóstica

Os experimentos revelaram que aumentar a quantidade de HPI não melhora necessariamente o desempenho diagnóstico.

• À medida que as trocas de diálogo aumentavam, o volume de HPI coletada crescia, mas a precisão diagnóstica não correlacionou-se linearmente.
• A análise qualitativa mostrou que os modelos às vezes se fixam em palavras-chave fracamente conectadas, gerando perguntas relacionadas às diretrizes, mas clinicamente menos significativas, o que pode diluir o foco ou levar a diagnósticos equivocados (por exemplo, priorizar a intensidade da dor em vez de outros sintomas, levando a um diagnóstico incorreto de Cólica Renal em vez de Lesão Renal Aguda).

4. Influência da Linguagem

A linguagem da pré-consulta afeta as características do diálogo:

• Coreano: Produziu pontuações mais altas de comparação HPI-diretriz ao lançar uma rede mais ampla e consultar uma gama mais ampla de sintomas.
• Inglês: Alcançou maior precisão no diagnóstico de doenças ao perseguir aprofundamentos repetitivos e mais profundos em sintomas únicos, aumentando a confiança diagnóstica, mas gerando menos unidades atômicas únicas.

Significado e Contribuições

O artigo afirma as seguintes contribuições para o campo da IA clínica:

1. Desenvolvimento de Framework: Estabelece um framework sistemático e de dois níveis (comparação de HPI e diagnóstico) para avaliar a capacidade específica de LLMs na fase de pré-consulta, abordando uma lacuna na literatura existente que foca principalmente em resultados finais.
2. Conjunto de Dados e Pipeline de Código Aberto: Os autores disponibilizaram em código aberto o conjunto de dados, as diretrizes diagnósticas e o pipeline de avaliação para facilitar a reprodutibilidade e o desenvolvimento futuro de aplicações de LLM em ambientes clínicos do mundo real.
3. Insights Empíricos: O estudo fornece insights críticos que desafiam a suposição de que modelos maiores são inerentemente melhores para tarefas clínicas. Destaca que modelos relativamente pequenos e de código aberto, quando ajustados finamente em dados específicos de alta qualidade, podem superar modelos proprietários maiores.
4. Avaliação Nuanceada: Demonstra que a qualidade da coleta de informações (alinhamento com diretrizes) é distinta da quantidade de informações, e que a escolha da linguagem molda significativamente o padrão do diálogo diagnóstico.

Os autores concluem que, embora seu pipeline se correlacione bem com a avaliação humana, ele possui limitações (por exemplo, excluindo entradas multimodais como imagens) e não deve ser considerado um padrão definitivo para todas as aplicações clínicas sem avaliação adicional.