Resumo Técnico: Avaliação e Calibração da Confiança de LLMs em Questões com Múltiplas Respostas Corretas

Declaração do Problema

A calibração de confiança é crítica para a confiabilidade de Grandes Modelos de Linguagem (LLMs), garantindo que a confiança expressa pelo modelo esteja alinhada com seu desempenho preditivo real. Embora os métodos de calibração sem treinamento existentes tenham sido extensamente estudados para o questionamento de resposta única (QA), este artigo identifica um modo de falha crítico quando aplicados a questões com múltiplas respostas válidas.

O problema central é a divisão da massa de probabilidade. Em configurações de resposta única, a consistência de resposta (concordância entre as saídas amostradas) é um proxy confiável para a confiança; se o modelo "sabe" a resposta, as saídas convergem. No entanto, em configurações de múltiplas respostas, um modelo pode gerar várias respostas igualmente corretas, mas textualmente distintas (ex: "Ibuprofeno" e "Acetaminofeno" para um medicamento para dor de cabeça). Os métodos de consistência existentes interpretam essa diversidade natural como incerteza ou desacordo, levando a uma subestimação sistemática da confiança. Consequentemente, os modelos são marcados como não confiáveis, apesar de estarem factualmente corretos, causando uma má calibração severa. Este fenômeno é particularmente agudo em modelos maiores (ex: 70B+ parâmetros), que possuem uma cobertura de conhecimento mais ampla e, portanto, geram uma variedade maior de respostas corretas.

Metodologia

1. O Benchmark MACE

Para estudar sistematicamente este fenômeno, os autores introduzem o MACE (Multi-Answer Confidence Estimation), um benchmark composto por 12.000 perguntas factuais em seis domínios: Prêmios Honorários, Cargos Políticos, Afiliação Regional, Conceito Matemático, Rio Natural e Cultura Linguística.

• Construção: As perguntas são geradas a partir de tripletos da Wikidata usando templates controlados.
• Controle de Cardinalidade: O benchmark categoriza explicitamente as perguntas pelo número de respostas verdadeiras (ground-truth): 1, 2, 4 ou 6 respostas corretas (denotadas como 1a, 2a, 4a, 6a).
• Controle de Qualidade: Um pipeline rigoroso envolvendo filtragem heurística (popularidade e validade) e verificação manual por especialistas do domínio garante conjuntos de verdade fundamental exaustivos e corretos, abordando as limitações de benchmarks existentes que carecem de verdade fundamental exaustiva ou cardinalidade controlada.

2. Avaliação Experimental

Os autores avaliaram 15 métodos de calibração representativos em quatro famílias de LLM (LLaMA, Qwen, DeepSeek e GPT) variando de 7B a 72B de parâmetros.

• Métodos Testados:
  • Turn único: Probabilidades ao nível de token (Entropia, Perplexidade), confiança verbalizada (Verb) e métodos baseados em consistência (Consistência, Entropia Semântica).
  • Double-turn (Dois turnos): Métodos de autoavaliação (PTrue, Self-Ask) onde o modelo verifica sua própria resposta em uma segunda passagem.
• Métricas: Acurácia e AUROC (Área Sob a Curva Característica de Operação do Receptor) para medir a qualidade da estimativa de confiança.

3. Solução Proposta: Agregação de Confiança Semântica (SCA)

Para abordar a má calibração causada pela divisão da massa de probabilidade, os autores propõem a Agregação de Confiança Semântica (SCA).

• Ideia Central: Em vez de depender da resposta única mais confiante ou penalizar a diversidade, a SCA agrega a confiança de todas as respostas válidas de alta probabilidade.
• Mecanismo:
  1. Amostra múltiplas respostas ($N$) para uma questão.
  2. Agrupa (clusteriza) as respostas com base na similaridade semântica.
  3. Calcula a confiança de cada cluster ($C_m$) somando as probabilidades de geração ao nível de token de todas as respostas dentro daquele cluster: $P(C_m) = \sum_{s \in C_m} p(s)$.
  4. Filtra clusters de baixa probabilidade (ruído) usando um limiar $\tau$ (embora experimentos mostrem que $\tau=0$ geralmente é suficiente).
  5. A pontuação de confiança final é a soma das probabilidades dos clusters válidos restantes: $Conf_{SCA} = \sum_{C_m \in C_{valid}} P(C_m)$.
• Vantagem: Esta abordagem trata a diversidade de respostas corretas como uma característica, e não um erro, preservando altas pontuações de confiança mesmo quando o modelo distribui sua massa de probabilidade através de múltiplos clusters semânticos válidos.

Principais Resultados

1. O Paradoxo Confiança-Acurácia

Experimentos revelam uma tendência contraintuitiva: à medida que o número de respostas corretas aumenta (de 1a para 6a), a acurácia de QA melhora (as questões tornam-se empiricamente mais fáceis), mas a confiança estimada diminui consistentemente em quase todos os métodos existentes.

• Impacto em Modelos Maiores: Modelos maiores (ex: LLaMA-70B) sofrem uma degradação de confiança mais severa do que modelos menores (ex: LLaMA-8B). Isso é atribuído à "cobertura de conhecimento": modelos maiores internalizam mais conhecimento e, portanto, geram uma gama mais ampla de respostas válidas, causando uma maior divisão da massa de probabilidade e menores escores de consistência.

2. Falha de Métodos Existentes

Em configurações de respostas mistas (combinando questões com 1, 2, 4 e 6 respostas), os métodos de calibração de estado da arte (SOTA) colapsam.

• Métodos baseados em consistência (ex: Entropia Semântica, Consistência) caem significativamente em AUROC porque interpretam erroneamente a diversidade de respostas como incerteza.
• Métodos de double-turn (ex: PTrue) mostram maior estabilidade ao desacoplar a verificação da geração, mas ainda falham em superar o desempenho de calibração geral da proposta SCA.

3. Desempenho da SCA

A SCA alcança o desempenho de calibração de estado da arte em configurações de respostas mistas, mantendo um forte desempenho em questões de resposta única.

• No modelo LLaMA-3.1-70B-Instruct, a SCA (com $\tau=0$) alcançou um AUROC de 76.7 na configuração totalmente mista ([1,2,4,6]), superando o próximo melhor baseline (Perplexity com 73.8).
• A SCA é robusta ao limiar $\tau$ e não requer agrupamento ou filtragem complexos para ser eficaz; simplesmente somar as probabilidades de nível de token em todas as respostas amostradas frequentemente produz resultados ideais.
• O método generaliza-se através de escalas de modelos (7B a 72B) e famílias (Qwen, LLaMA).

Significância e Alegações

O artigo afirma avançar a calibração de confiança do cenário restritivo de QA de resposta única para um cenário mais geral e realista que envolve números mistos de respostas verdadeiras.

• Contribuição do Benchmark: O MACE preenche uma lacuna crítica na literatura ao fornecer o primeiro benchmark com verdade fundamental exaustiva, questões de múltiplas respostas e cardinalidade de resposta controlada, permitindo o diagnóstico da divisão da massa de probabilidade.
• Insight Metodológico: O trabalho demonstra que a inconsistência de resposta não implica necessariamente baixa confiança; em contextos de múltiplas respostas, ela frequentemente reflete a capacidade do modelo de acessar um conjunto mais amplo de conhecimento válido.
• Impacto Prático: Ao propor a SCA, os autores fornecem um método sem treinamento e computacionalmente eficiente que evita a "crise de confiança", onde respostas corretas e diversas são incorretamente penalizadas como não confiáveis. Isso é essencial para o implante de LLMs em aplicações do mundo real, onde as questões frequentemente possuem múltiplas soluções válidas.

Os autores permanecem modestos quanto às limitações, observando que seu benchmark utiliza templates de prompts formulaicos para controlar a dificuldade, o que sacrifica a diversidade naturalística, e que a avaliação atual é restrita a respostas factuais curtas em inglês. Eles identificam a extensão para contextos multilíngues e geração de textos longos como trabalhos futuros necessários.