Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models

Título do Estudo: Auto-relato de Confiança de Modelos de Linguagem de Grande Escala (LLMs) em Gastroenterologia: Análise de Modelos Comerciais, de Código Aberto e Quantizados

1. O Problema

Os Modelos de Linguagem de Grande Escala (LLMs) têm o potencial de transformar a saúde, auxiliando na tomada de decisões clínicas e na interpretação de dados. No entanto, uma limitação crítica é a sua propensão a "alucinações" — a geração de informações incorretas apresentadas com terminologia convincente e excesso de confiança. Em contextos médicos de alto risco, como a gastroenterologia, essa confiança infundada pode enganar profissionais e pacientes, levando a erros graves.

O desafio central reside na quantificação de incerteza. Métodos existentes para estimar incerteza (como análise de probabilidade de tokens, avaliações semânticas ou modelos substitutos) são frequentemente computacionalmente caros, exigem grandes conjuntos de dados de treinamento ou carecem de generalização. A "elicitação de confiança" (onde o próprio modelo relata sua certeza em linguagem natural) é uma abordagem prática, mas pesquisas anteriores sugerem que os LLMs falham em representar com precisão sua própria confiança, tornando essa técnica insegura para aplicações clínicas sem validação rigorosa.

2. Metodologia

O estudo realizou uma avaliação sistemática da capacidade de elicitação de autoconfiança de diversos LLMs em um domínio especializado.

• Conjunto de Dados: Foram utilizadas 300 questões de múltipla escolha do exame de autoavaliação de 2022 do American College of Gastroenterology (ACG). Estas questões, criadas por especialistas e protegidas por paywall, servem como um teste robusto para evitar viés de dados de treinamento.
• Modelos Avaliados: Foram testados 48 LLMs, abrangendo 6 famílias (Qwen, Llama, Phi, Gemini, Gemma, Claude, GPT), incluindo versões comerciais, de código aberto e modelos quantizados (localizados em hardware como RTX4090Ti e H100).
• Configuração Experimental:
  • As respostas foram geradas com parâmetros otimizados (temperatura = 1, estrutura de saída padronizada).
  • O modelo foi instruído a fornecer uma resposta e um escore de confiança de 0 a 10.
  • Uma abordagem semi-automática com verificação humana foi usada para extrair e validar as respostas e os escores de confiança (99% de precisão na extração).
• Métricas de Avaliação:
  • Precisão: Porcentagem de respostas corretas.
  • Discriminação: Medida pela AUROC (Área sob a Curva Característica de Operador Receptivo), avaliando a capacidade do modelo de distinguir entre respostas corretas e incorretas com base na confiança relatada.
  • Calibração: Medida pelo Brier Score e ECE (Expected Calibration Error), avaliando o quão bem a confiança relatada corresponde à precisão real.
  • Análise de Tendência: Correlação entre confiança, dificuldade da questão (baseada na taxa de acerto de humanos) e comprimento da questão.

3. Principais Contribuições

• Avaliação Abrangente: Primeiro estudo a comparar sistematicamente a autoconfiança de uma vasta gama de modelos (comerciais, open-source, quantizados e de raciocínio) em um domínio médico especializado.
• Análise de Calibração: Demonstração quantitativa de que, embora modelos mais novos tenham melhor desempenho, eles mantêm um viés sistemático de superconfiança.
• Identificação de Limitações Críticas: Evidência de que a elicitação de confiança, tal como implementada atualmente, não é confiável para aplicações clínicas de alto risco, pois modelos frequentemente exibem alta confiança em respostas erradas.

4. Resultados Chave

• Superconfiança Generalizada: Todos os modelos exibiram uma tendência consistente de superconfiança. A confiança média relatada (variando de ~7,99 a 9,58) excedeu significativamente a precisão média real (que variou de ~30% a 81,5%).
• Desempenho de Discriminação (AUROC): O melhor desempenho foi observado no GPT-o1 mini (AUROC = 0,626), seguido pelo GPT-4 e GPT-4o. Nenhum modelo atingiu o limiar de 0,7, considerado aceitável para discriminação útil.
• Desempenho de Calibração (Brier Score): Apenas cinco modelos apresentaram escores de Brier superiores ao acaso aleatório: GPT-o1 preview (0,157), Claude-3.5-Sonnet (0,202) e GPT-4o (0,206).
• Relação Confiança vs. Dificuldade: A confiança relatada permaneceu estável independentemente do aumento na dificuldade da questão ou da diminuição na precisão do modelo. Isso indica que os modelos não ajustam sua confiança conforme a complexidade do problema.
• Modelos de Raciocínio: Modelos como o GPT-o1 preview tiveram a maior precisão (81,5%), mas também relataram confiança extremamente alta (média de 9,15), exacerbando o risco de confiança excessiva em erros.
• Modelos Open-Source vs. Comerciais: Não houve vantagem clara dos modelos open-source em termos de calibração; na verdade, muitos modelos menores e quantizados apresentaram pior calibração e maior superconfiança.

5. Significância e Conclusão

O estudo conclui que a elicitação de autoconfiança em LLMs atuais é insuficiente para aplicações clínicas de alto risco, como o suporte à decisão em gastroenterologia. A persistência de superconfiança, mesmo nos modelos mais avançados (GPT-o1, Claude-3.5), representa um risco de segurança significativo.

• Implicações Práticas: A confiança relatada pelo modelo não deve ser utilizada como métrica única para filtrar respostas em ambientes clínicos.
• Futuro da Pesquisa: A melhoria na calibração parece correlacionar-se com o aumento da precisão geral do modelo, sugerindo que o treinamento em tarefas específicas de quantificação de incerteza ("emergência" de habilidades) pode ser necessário.
• Recomendações: São necessários protocolos de treinamento direcionados e técnicas como few-shot learning e in-context learning para melhorar a confiabilidade das estimativas de incerteza. Até que isso seja alcançado, a implementação de LLMs na medicina deve contar com supervisão humana rigorosa e métodos de verificação externos, não dependendo da autoavaliação do modelo.