Resumo Técnico: Sobre Pontuações de Confiança Verbalizadas para LLMs

Declaração do Problema

A integração crescente de Modelos de Linguagem de Grande Escala (LLMs) no cotidiano criou uma necessidade crítica de mecanismos de confiabilidade. Diferentemente dos motores de busca tradicionais ou fóruns de perguntas e respostas que utilizam votação humana ou classificação de relevância para indicar confiabilidade, as respostas dos LLMs frequentemente carecem de indicadores intrínsecos de confiança. A dependência cega desses sistemas apresenta riscos, tornando necessárias métodos robustos de Quantificação de Incerteza (UQ).

As abordagens de UQ existentes geralmente dependem de:

1. Conhecimento Interno: Amostragem de múltiplas respostas para medir consistência ou utilização de logits internos de tokens. Esses métodos frequentemente falham em ser agnósticos ao modelo (logits são inacessíveis em modelos de caixa preta) ou incorrem em alta sobrecarga computacional (amostragem).
2. Conhecimento Externo: Uso de modelos proxy ou bases de conhecimento. Estes frequentemente carecem de generalização entre diferentes prompts e tarefas.

O artigo investiga pontuações de confiança verbalizadas, um método onde o LLM é instruído a emitir explicitamente uma pontuação de confiança juntamente com sua resposta. Embora essa abordagem seja agnóstica ao prompt, agnóstica ao modelo e incorra em baixa sobrecarga, sua confiabilidade é contestada. Estudos anteriores relataram resultados conflitantes sobre a calibração dessas pontuações, sugerindo que o método de formulação do prompt pode ser o fator decisivo.

Metodologia

Os autores realizam uma análise empírica abrangente para determinar como as características do conjunto de dados, a capacidade do modelo e a engenharia de prompts afetam a confiabilidade das pontuações de confiança verbalizadas.

Configuração Experimental

• Conjuntos de Dados: 10 conjuntos de dados diversos (por exemplo, ARC, MMLU, TruthfulQA, CommonsenseQA) cobrindo vários domínios (ciência, lógica, senso comum social) e níveis de dificuldade. A avaliação é restrita a perguntas fechadas, de resposta fechada e objetivas para garantir que a correção da verdade fundamental possa ser determinada.
• Modelos: 11 LLMs variando de modelos open-source minúsculos (por exemplo, Gemma 2B, Llama 3 8B) a modelos grandes (por exemplo, Llama 3 70B, Qwen 110B, GPT-4o).
• Métodos de Prompt: 17 variações distintas de prompts categorizadas por:
  • Intervalo de Pontuação: Porcentagens (0-100), decimais (0-1), letras discretas (A-E) ou rótulos de texto.
  • Formulação da Pontuação: Solicitar "confiança" versus "probabilidade de correção".
  • Descrição Avançada: Instruir explicitamente o modelo a considerar a incerteza do prompt, a dificuldade da tarefa e a disponibilidade de conhecimento.
  • Prompting Few-Shot: Fornecer 1 ou 5 exemplos de pares resposta-confiança.
  • Complexidade: Variações incluindo Cadeia de Pensamento (CoT) ou classificação de múltiplas suposições.

Métricas de Avaliação

A confiabilidade das pontuações é avaliada usando três critérios de alto nível:

1. Calibração: Medida pelo Erro de Calibração Esperado (ECE) e SmoothECE (smECE). Uma pontuação calibrada $C$ implica $P(\text{correto} | C=c) = c$.
2. Informatividade: Medida pela variância e pelo número de valores distintos nas pontuações de confiança previstas. Um modelo que sempre emite a mesma pontuação é não informativo.
3. Significância: Medida pela divergência de Kullback-Leibler (KL) entre a distribuição de confiança de um conjunto de dados específico e a distribuição global. Isso avalia se o modelo ajusta sua confiança com base na dificuldade da tarefa.

Principais Resultados

1. Dependência da Estratégia de Prompting

O estudo confirma que a confiabilidade das pontuações de confiança verbalizadas não é intrínseca ao modelo, mas depende fortemente de como o modelo é questionado.

• Resolução de Discordâncias: O artigo resolve a literatura conflitante (por exemplo, Tian et al. vs. Xiong et al.) mostrando que diferentes formulações de prompt produzem resultados de calibração drasticamente diferentes.
• Modelos Minúsculos vs. Grandes:
  • LLMs Minúsculos: Beneficiam-se mais de formulações de prompt simples. Métodos complexos como prompting few-shot ou classificação de múltiplas suposições degradam significativamente a confiabilidade. A formulação de "pontuação de probabilidade" (solicitando uma probabilidade de 0-1) forneceu a melhor melhoria.
  • LLMs Grandes: Beneficiam-se de métodos de prompt complexos. A combinação de formulação de probabilidade, descrições avançadas (mencionando explicitamente fontes de incerteza) e exemplos few-shot produziu os melhores resultados.

2. Desempenho de Calibração

• Excesso de Confiança: A maioria dos modelos exibe excesso de confiança, com pontuações de confiança permanecendo altas mesmo à medida que a precisão cai em conjuntos de dados difíceis.
• Capacidade do Modelo: Embora a precisão aumente com o tamanho do modelo, as melhorias na calibração são impulsionadas principalmente pelo aumento da precisão, e não por uma redução no excesso de confiança.
• Melhor Desempenho: Para LLMs grandes, o método "combo" (formulação de probabilidade + descrição avançada + exemplos few-shot) alcançou um desvio médio de 7% da precisão empírica (ECE $\approx$ 0,07), representando uma melhoria qualitativa significativa no comportamento de calibração.

3. Informatividade e Significância

• Prompts simples frequentemente resultam em baixa variância (informatividade), com modelos agrupando-se em torno de alta confiança.
• Prompts complexos para modelos grandes incentivaram com sucesso a geração de pontuações de confiança diversas que refletiam melhor a dificuldade do conjunto de dados subjacente (maior significância).

Principais Contribuições

1. Decomposição Intuitiva de Incerteza: Os autores propõem uma decomposição da incerteza do LLM em Incerteza de Entrada, Incerteza do Modelo e Incerteza de Saída, focando especificamente na incerteza de saída quanto à correção objetiva.
2. Especificação Precisa de Confiabilidade: O artigo define e avalia a confiabilidade através de um tríade de métricas: Calibração, Informatividade e Significância, indo além de verificações simples de precisão.
3. Insights Empíricos: O estudo fornece uma análise granular de como a dificuldade do conjunto de dados, a capacidade do modelo e técnicas específicas de engenharia de prompts interagem para determinar a qualidade da confiança verbalizada.
4. Código Aberto: O código de avaliação e os modelos de prompt são disponibilizados publicamente para facilitar pesquisas futuras.

Significado e Alegações

O artigo argumenta que pontuações de confiança verbalizadas representam um método promissor, simples e versátil para quantificação de incerteza que satisfaz os requisitos de ser agnóstico ao prompt, agnóstico ao modelo e de baixa sobrecarga.

No entanto, os autores mantêm uma postura modesta em relação ao estado atual da tecnologia:

• Não é uma Bala de Prata: A confiabilidade dessas pontuações é atualmente "muito influenciada pela forma de perguntar". Elas ainda não são totalmente confiáveis para implantação no mundo real sem engenharia cuidadosa de prompts.
• Potencial Futuro: Os autores sugerem que, embora os LLMs possam ser ensinados a expressar pontuações de confiança diversas e significativas através de prompts simples, alcançar a calibração total e a autoconsciência pode exigir avanços adicionais na otimização de prompts, engenharia guiada por LLM ou ajuste fino.
• Limitação de Escopo: O trabalho atual é limitado à correção objetiva. Não aborda questões subjetivas ou tarefas de geração aberta onde a "correção" é mal definida.

Em conclusão, o artigo estabelece que a confiança verbalizada é um caminho viável para a confiabilidade de LLMs, desde que a estratégia de prompting seja cuidadosamente adaptada ao tamanho específico do modelo e à complexidade da tarefa.