Resumo Técnico: Mind the Gap – Avaliando a Incerteza e a Calibração de LLMs em QA Clínica

Declaração do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) em domínios clínicos de alto risco, como o questionamento clínico (QA), é dificultada pela tendência dos modelos ao excesso de confiança. A Quantificação de Incerteza (UQ) confiável é crítica para uma implantação segura, exigindo não apenas discriminação (a capacidade de distinguir previsões corretas de incorretas), mas também calibração (o alinhamento entre a confiança prevista e a precisão real).

A literatura existente frequentemente falha em abordar a UQ em contextos clínicos de forma abrangente. Estudos anteriores são frequentemente limitados a:

• Conjuntos estreitos de modelos desatualizados, excluindo modelos recentes orientados ao raciocínio e específicos de domínio.
• Métricas agregadas que obscurecem variações de desempenho em especialidades médicas e tipos de perguntas específicos.
• Uma falta de comparação sistemática entre diferentes paradigmas de UQ (baseados em pontuação vs. baseados em conjuntos) e arquiteturas de modelos (propósito geral vs. biomédicos vs. raciocínio).
• Um foco em tarefas de classificação, deixando os desafios da incerteza na geração de linguagem natural (NLG) amplamente inexplorados em contextos clínicos.

Metodologia

Os autores realizaram um benchmark abrangente em 10 LLMs de código aberto (incluindo modelos de propósito geral, biomédicos e focados em raciocínio) e modelos proprietários representativos. A avaliação utilizou dois conjuntos de dados primários: S-MedQA (cobrindo 6 especialidades médicas comuns) e MedExQA (cobrindo 5 especialidades menos frequentes), totalizando 1.810 perguntas.

Anotação de Dados

Um esquema de anotação inovador foi introduzido para mapear pares de QA em 6 tipos de perguntas distintos: Diagnóstico, Tratamento, Teste Diagnóstico, Definição, Procedimento/Operação e Outros. Isso permite uma análise granular de como a dificuldade da tarefa e os perfis de incerteza mudam através dos contextos clínicos.

Métodos de Estimativa de Incerteza

O estudo avaliou quatro categorias de abordagens de UQ:

1. Baseado em pontuação (Passagem única):
   • Baseado em Logit: Média da probabilidade por token (decodificação greedy) e G-NLL (log-verossimilhança negativa da saída decodificada via greedy).
   • Confiança Linguística: Uma abordagem de duas etapas onde o modelo gera uma resposta e, em seguida, atribui uma pontuação de certeza escalar.
2. Baseado em consistência (Baseado em amostragem):
   • Entropia Semântica: Gera múltiplas respostas (10 por pergunta), agrupa-as pela opção selecionada e computa a entropia da distribuição resultante.
3. Baseado em conjuntos:
   • Predição Conformal: Constrói conjuntos de predição amostrando respostas para atingir uma cobertura marginal alvo (90%).
4. Recursos Comportamentais (Estudo de Caso Novel):
   • Um método leve de passagem única que extrai pistas linguísticas de traços de raciocínio de modelos orientados ao raciocínio (ex: DeepSeek-R1, s1.1). Os recursos incluem o número de tokens de raciocínio, perguntas auto-postas e ocorrências do token "Wait". Esses recursos são alimentados em um modelo de regressão de calibração supervisionado para prever a incerteza.

Métricas de Avaliação

O desempenho foi avaliado usando:

• Discriminação: Área sob a Curva Característica de Operador de Receptor (AUROC).
• Calibração: Erro de Calibração Esperado (ECE) e Pontuação de Brier.
• Métricas de Conjunto: Cobertura empírica e tamanho médio do conjunto.

Principais Resultados

1. Heterogeneidade entre Especialidades e Tipos de Pergunta

A confiabilidade da incerteza não é uma propriedade monolítica. Variações significativas foram observadas:

• Especialidade: O desempenho flutua drasticamente entre as 11 especialidades clínicas. Por exemplo, todos os modelos performaram próximo ao nível de acaso em perguntas de Patologia da Fala, enquanto modelos de raciocínio se destacaram em Pediatria e Doenças Infecciosas.
• Tipo de Pergunta: Perguntas de "Procedimento/Operação" provaram ser as mais desafiadoras, com todos os modelos apresentando desempenho inferior. Por outro lado, perguntas de "Definição" foram as mais fáceis.
• Desacoplamento: Alta precisão não garante boa calibração ou discriminação. Por exemplo, o menor modelo (Llama-3.2-3B) alcançou o maior AUROC em algumas especialidades, apesar da baixa precisão, enquanto modelos maiores às vezes exibiram excesso de confiança (alta precisão, mas má calibração).

2. Desempenho dos Métodos de UQ

• Entropia Semântica: Consistentemente forneceu o melhor desempenho geral tanto em calibração quanto em discriminação entre os modelos, embora exija múltiplas gerações (amostragem).
• Métodos de Passagem Única: A maioria dos métodos de passagem única (ex: Avg Token LogProb, G-NLL) falhou em alcançar simultaneamente boa calibração e discriminação. O G-NLL teve desempenho inferior, apesar do sucesso prévio em QA não clínico.
• Recursos Comportamentais: O método novel usando pistas comportamentais de traços de raciocínio (ex: tokens "Wait") alcançou um desempenho próximo à Entropia Semântica, mas com apenas uma passagem direta (forward pass). Isso oferece uma alternativa leve e interpretável para aplicações sensíveis à latência.
• Tipos de Modelo: Modelos orientados ao raciocínio (DeepSeek-R1, s1.1) geralmente demonstraram precisão e calibração superiores. Modelos biomédicos mostraram vantagens em escalas menores (8B), mas não superaram consistentemente os modelos de propósito geral em escalas maiores (70B).

3. Predição Conformal

Métodos baseados em conjuntos revelaram que alta precisão não se traduz automaticamente em cobertura de conjunto confiável.

• DeepSeek-R1-70B alcançou o melhor equilíbrio, atingindo 93,8% de cobertura com conjuntos compactos.
• Llama-3.1-70B não atingiu a meta de 90% de cobertura (85,5%), indicando excesso de confiança e má generalização das métricas baseadas em pontuação para a confiabilidade baseada em conjuntos.
• Llama3-OpenBioLLM-70B alcançou alta cobertura (90,1%), mas com tamanhos de conjunto maiores, indicando conservadorismo, e falhou em atingir metas em categorias específicas como Doenças Infecciosas.

Principais Contribuições

1. Benchmarking Granular: A primeira avaliação em larga escala de métodos de UQ através de 11 especialidades clínicas e 6 tipos de perguntas, revelando que métricas agregadas obscurecem diferenças críticas de confiabilidade.
2. Comparação Abrangente de Modelos: Uma comparação sistemática de LLMs de propósito geral, biomédicos e focados em raciocínio, destacando que o ajuste específico de domínio não garante uma estimativa de incerteza superior.
3. Proxy Comportamental Novel: Introdução de um método de estimativa de incerteza de passagem única e leve baseado em traços de raciocínio, que aproxima o desempenho de métodos de amostragem intensivos em recursos.
4. Comparação de Paradigmas: Demonstração do desalinhamento entre estimativas de incerteza baseadas em pontuação e baseadas em conjuntos, enfatizando a necessidade de uma avaliação multifacetada.

Significância e Alegações

O artigo argumenta que a confiabilidade da incerteza é dependente de contexto, variando significativamente por especialidade clínica e tipo de pergunta. Os autores afirmam que avaliações "tamanho único" são insuficientes e potencialmente enganosas para a implantação clínica de alto risco.

A principal contribuição é uma perspectiva cautelosa, porém construtiva:

• Cautela: Métricas agregadas podem esconder um excesso de confiança perigoso em subdomínios específicos.
• Construção: O método de recurso comportamental proposto oferece um caminho prático e interpretável para o suporte à decisão clínica no mundo real, onde a amostragem é inviável.

Os autores posicionam este trabalho como um primeiro passo para o desenvolvimento de LLMs que sejam tanto precisos quanto confiáveis no uso clínico, defendendo que avaliações devem considerar contextos clínicos específicos em vez de depender de médias globais. Eles enfatizam que o trabalho futuro deve envolver clínicos para validar quais sinais de incerteza melhor indicam a necessidade de supervisão humana.