Resumo Técnico: Avaliação de Competências Clínicas de Modelos de Linguagem de Grande Escala com um Benchmark de Medicina Geral

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial significativo na área da saúde, particularmente em tarefas especializadas e na recuperação de conhecimento médico, sua capacidade de funcionar como Médicos de Família (GPs) autônomos permanece não comprovada. As estruturas de avaliação existentes dependem predominantemente de questões de múltipla escolha (MCQs) no estilo de exames ou de formatos simplificados de pergunta e resposta. Esses benchmarks falham em capturar a natureza holística, aberta e contínua da prática geral do mundo real, que requer diagnóstico diferencial orientado por sintomas, manejo de multimorbidade, triagem sob incerteza e a aplicação do modelo biopsicossocial. Consequentemente, há uma falta de estruturas baseadas em competências alinhadas com as funções reais dos GPs, deixando a confiabilidade dos LLMs na prática clínica geral incerta.

Metodologia

Para abordar essa lacuna, os autores propõem o GPBench, uma nova estrutura de avaliação e conjunto de dados projetado para avaliar LLMs através da lente da competência do GP.

1. Modelo de Competência

Derivado da prática clínica do mundo real e de estruturas estabelecidas (WONCA, ACGME, Modelo do Iceberg, Modelo da Cebola) por meio de um consenso de especialistas Delphi, o modelo define seis indicadores primários e quatorze indicadores secundários:

• Conhecimento Médico Básico (10%)
• Diagnóstico (40%): Incluindo diagnóstico diferencial, anamnese, identificação de complicações, reconhecimento de condições agudas/críticas e tomada de decisão sobre encaminhamento.
• Tomada de Decisão (30%): Incluindo formulação de plano de tratamento, manejo de reações adversas a medicamentos, conscientização sobre contraindicações e seleção de terapias alternativas.
• Gestão da Saúde (10%): Incluindo educação em saúde e prevenção terciária.
• Economia da Saúde (5%): Coordenação de cuidados custo-efetivos.
• Ética Médica e Humanidades (5%): Competência em cuidado humanístico.

2. Conjunto de Dados de Avaliação

O conjunto de dados compreende três conjuntos de teste distintos, todos construídos utilizando registros ambulatoriais anonimizados do mundo real de hospitais de grau A de nível terciário na China e dados de código aberto, com todas as interações conduzidas em chinês:

• Conjunto de Teste MCQ: 3.661 questões avaliando conhecimento fundamental e compreensão teórica.
• Conjunto de Teste de Casos Clínicos: 70 casos abertos cobrindo 8 doenças crônicas principais e 10 sintomas comuns. Os LLMs devem gerar planos sistemáticos de diagnóstico e tratamento baseados em registros médicos.
• Conjunto de Teste de Paciente de IA: 70 simulações interativas onde um LLM atua como médico entrevistando um paciente gerado por IA para coletar histórico médico.

3. Protocolo de Avaliação

• Modelos Avaliados: Dez LLMs de última geração, incluindo modelos de propósito geral (por exemplo, GPT-4o, Claude-3.5-Sonnet), modelos otimizados para raciocínio (por exemplo, o1-preview, DeepSeek-R1) e modelos especialistas em medicina (por exemplo, HuatuoGPT-o1-7B).
• Pontuação:
  • MCQ: Precisão calculada via votação majoritária sobre cinco execuções de inferência.
  • Casos Clínicos e Paciente de IA: Um painel de três GPs licenciados (com 10–15 anos de experiência) pontuou as respostas com base em critérios detalhados e anotados por especialistas.
• Benchmark Humano: Seis GPs estratificados por experiência (<5, 5–10, >10 anos) foram avaliados nos mesmos conjuntos de dados para fornecer uma linha de base de desempenho.

Resultados Principais

A avaliação de dez LLMs produziu as seguintes descobertas:

1. Desempenho vs. Médicos Humanos

• Conhecimento vs. Raciocínio: Os LLMs geralmente superaram os médicos humanos no conjunto de teste MCQ (recuperação factual). No entanto, nos conjuntos de teste de Casos Clínicos e Paciente de IA (raciocínio e interação), os LLMs tiveram desempenho significativamente inferior em comparação até mesmo aos GPs humanos menos experientes (Grupo C).
• Melhor Desempenho: O DeepSeek-R1 alcançou as pontuações mais altas entre os LLMs, atingindo um nível de competência comparável ao dos médicos humanos do Grupo C em casos clínicos, mas ainda ficando aquém na anamnese.

2. Deficiências Específicas de Competência

• Raciocínio Diagnóstico: A maioria dos modelos falhou em construir cadeias completas de raciocínio diagnóstico. No conjunto de Casos Clínicos, 7/10 modelos pontuaram abaixo de 70 em diagnóstico diferencial.
• Anamnese: Os LLMs exibiram deficiências graves no conjunto de teste de Paciente de IA. Mesmo o melhor modelo (o1-preview) pontuou apenas 55,20, falhando em explorar sistematicamente sintomas críticos (por exemplo, características da dor, sintomas associados) ou coletar históricos pessoais/familiares abrangentes.
• Planejamento de Tratamento: Os modelos lutaram para formular planos de tratamento ótimos. Apenas o DeepSeek-R1 pontuou acima de 70. Falhas comuns incluíram:
  • Falta de Objetivos de Tratamento: Falha em especificar metas para doenças crônicas (por exemplo, controle de pressão arterial/glicose).
  • Riscos Farmacoterapêuticos: Omissão de medicamentos essenciais, negligência de interações/contraindicações medicamentosas e dosagens incorretas.
  • Alucinações: Classificação e estadiamento arbitrários de doenças sem evidência clínica (por exemplo, apendicite "Grau 0").
  • Pontos Cegos: Falha em identificar comorbidades e complicações, particularmente em contextos metabólicos e cardiovasculares.
• Gestão da Saúde: Embora os LLMs tenham se saído bem na estruturação da educação em saúde, seus conselhos frequentemente permaneceram em um nível amplo e principista, carecendo de orientação específica e acionável (por exemplo, falha em especificar limites de sódio).

3. Comparações de Modelos

• Modelos de Raciocínio: Modelos otimizados para raciocínio (DeepSeek-R1, o1-preview) geralmente superaram modelos de propósito geral em tarefas de diagnóstico e tratamento.
• Escala de Parâmetros: Modelos com parâmetros maiores (por exemplo, Qwen2.5-72B) consistentemente superaram suas contrapartes menores (Qwen2.5-7B).
• Modelos Especialistas: Modelos especialistas em medicina (HuatuoGPT-o1-7B) mostraram forte desempenho em áreas específicas como economia da saúde e ética, mas não superaram modelos gerais otimizados para raciocínio no raciocínio diagnóstico central.

Significado e Alegações

O artigo afirma que os LLMs atuais não são adequados para implantação autônoma na prática clínica geral. O estudo destaca que, embora os LLMs se destaquem na recuperação de conhecimento estático, eles carecem da competência prática, do raciocínio interativo e da compreensão holística necessários para as funções reais de um GP.

As principais contribuições incluem:

1. Estrutura GPBench: Um modelo de avaliação baseado em competências que vai além dos testes no estilo de exames para avaliar o espectro completo das responsabilidades do GP.
2. Análise Granular de Deficiências: Identificação de modos de falha específicos, como alucinação no estadiamento de doenças, omissão de medicamentos essenciais e incapacidade de realizar anamnese sistemática.
3. Benchmarking Realista: O uso de registros clínicos do mundo real e simulações interativas fornece uma avaliação mais rigorosa da prontidão dos LLMs para integração clínica do que benchmarks anteriores.

Os autores concluem que a supervisão humana contínua é obrigatória para qualquer aplicação realista de LLMs na prática geral. Eles recomendam que pesquisas futuras se concentrem em aprimorar o conhecimento médico sistemático, integrar dados de fluxo de trabalho clínico estruturado para reduzir alucinações e melhorar a modelagem da fisiologia humana e da progressão da doença. O conjunto de dados é disponibilizado publicamente para apoiar o desenvolvimento e a otimização adicionais de sistemas de suporte à decisão clínica.