Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers

Resumo Técnico: Quantificação de Incerteza para Modelos de Linguagem

Definição do Problema
Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em domínios de alto risco, como saúde e finanças, onde a precisão factual é crítica. Um risco primário nessas aplicações é a "alucinação", definida aqui como a geração de conteúdo que soa plausível, mas é factualmente incorreto. Embora as avaliações pré-implantação comparando o texto gerado com a verdade fundamental (ground truth) sejam comuns, elas não suportam o monitoramento em tempo real de sistemas implantados. Além disso, muitos métodos de detecção existentes dependem do acesso ao conteúdo de origem ou a bases de dados de verdade fundamental, que estão indisponíveis em configurações de "livro fechado" (closed-book). O artigo aborda a necessidade de um framework versátil de livro fechado que possa computar pontuações de confiança ao nível da resposta no momento da geração, para detectar alucinações sem acesso a respostas de referência ou bases de dados externas.

Metodologia
Os autores propõem um framework unificado que adapta técnicas existentes de Quantificação de Incerteza (UQ) em pontuações de confiança padronizadas variando de 0 a 1 (onde 1 indica alta confiança). O framework categoriza os avaliadores (scorers) em três tipos distintos e introduz uma abordagem de ensemble ajustável:

1. Avaliadores de UQ de Caixa Preta (Black-Box): Estes métodos exploram a natureza estocástica dos LLMs ao gerar múltiplas respostas candidatas ($m$) a partir do mesmo prompt e compará-las com a resposta original. O artigo implementa e normaliza diversas abordagens:

   • Taxa de Correspondência Exata (EMR): Mede a proporção de candidatos idênticos à resposta original.
   • Probabilidade de Não-Contradição (NCP): Utiliza um modelo de Inferência de Linguagem Natural (NLI) para calcular a probabilidade de os candidatos não contradizerem a resposta original.
   • BERTScore (BSC): Computa a média do F1 score baseado em embeddings contextuais de palavras entre as respostas original e candidatas.
   • Similaridade de Cosseno Normalizada (NCS): Mede a similaridade semântica usando sentence transformers, normalizada para o intervalo [0, 1].
   • Entropia Semântica Normalizada (NSN): Uma versão normalizada da Entropia Semântica que agrupa respostas por implicação mútua para medir a volatilidade da resposta.

2. Avaliadores de UQ de Caixa Branca (White-Box): Estes utilizam as probabilidades internas de tokens do processo de geração do LLM:

   • Probabilidade de Token Normalizada pelo Comprimento (LNTP): A média geométrica das probabilidades dos tokens, normalizada pelo comprimento da resposta.
   • Probabilidade Mínima de Token (MTP): A menor probabilidade entre todos os tokens na resposta gerada.

3. Avaliador LLM-como-Juiz (LLM-as-a-Judge): Um LLM separado é instruído a avaliar a correção factual de um par pergunta-resposta, produzindo uma pontuação em uma escala de 0–100 que é então normalizada para [0, 1].

4. Abordagem de Ensemble Ajustável: A principal contribuição é uma média ponderada das pontuações individuais descritas acima. Os pesos ($w$) são otimizados usando um conjunto fornecido pelo usuário de respostas de LLM graduadas (onde os rótulos de verdade fundamental são conhecidos) e uma função de objetivo de classificação (por exemplo, AUROC ou F1-score). Isso permite que o ensemble seja customizado para casos de uso, LLMs e conjuntos de dados específicos.

Principais Contribuições

• Framework Padronizado: O artigo descreve um método para transformar diversas técnicas de UQ em uma métrica de confiança consistente ao nível da resposta, adequada para a detecção de alucinação em tempo real e de livro fechado.
• Toolkit de Código Aberto: Os autores lançam o uqlm, um pacote Python que fornece implementações prontas para uso de todos os scorers propostos e o mecanismo de ajuste de ensemble.
• Extensibilidade: O design do ensemble é modular, permitindo que profissionais incorporem novos métodos de pontuação conforme a pesquisa evolui.
• Insights Empíricos: O estudo fornece orientação baseada em dados sobre a seleção de scorers, como o retorno decrescente da amostragem de respostas candidatas adicionais e a correlação entre a precisão de geração de um modelo e sua eficácia como juiz.

Resultados Experimentais
Os autores avaliaram o framework através de seis benchmarks (GSM8K, SVAMP, CSQA, AI2-ARC, PopQA, NQ-Open) utilizando quatro LLMs (GPT-4o, GPT-4o-mini, Gemini-2.5-Flash, Gemini-2.5-Flash-Lite).

• Desempenho do Ensemble: O ensemble ajustável superou consistentemente os componentes individuais em 20 de 24 cenários de LLM-dataset para AUROC e em 17 de 24 para F1-score.
• Variabilidade dos Scorers: O desempenho dos scorers individuais variou significamente conforme o dataset. Os scorers de caixa preta baseados em NLI (NSN e NCP) geralmente superaram outros métodos de caixa preta.
• Seleção de Juiz: A precisão de um modelo em um dataset específico correlacionou-se positivamente com seu desempenho como juiz para esse mesmo dataset. Por exemplo, o Gemini-2.5-Flash destacou-se como juiz em benchmarks de matemática, enquanto o GPT-4o teve melhor desempenho em benchmarks de respostas curtas.
• Caixa Branca vs. Caixa Preta: Os scorers de caixa branca (LNTP, MTP) tiveram desempenho aproximadamente igual entre si, mas geralmente foram inferiores aos melhores métodos de caixa preta ou de ensemble em muitos cenários, particularmente quando as probabilidades de token não eram o principal sinal de incerteza.
• Eficácia de Filtragem: A aplicação de limiares de confiança para filtrar respostas de baixa confiança resultou em um aumento monotônico na precisão do modelo. Por exemplo, filtrar respostas do GPT-4o no GSM8K com o scorer de ensemble elevou a precisão de uma linha de base de 0,55 para 0,93 com um limiar de 0,6.

Significância e Alegações
O artigo afirma que estratégias customizadas de detecção de alucinação, especificamente através de ensembles ajustáveis, oferecem uma solução prática e eficaz para melhorar a confiabilidade dos LLMs em produção. Os autores enfatizam que não existe uma solução única para todos ("one-size-fits-all"); em vez disso, a abordagem ideal depende do LLM específico, do dataset e das restrições operacionais (ex: latência, acesso via API às probabilidades de tokens).

Os autores mantêm uma postura modesta quanto às limitações, observando que suas descobertas podem não se generalizar para geração de textos longos ou geração de código sem modificação. Eles também alertam que as pontuações de confiança refletem a incerteza do modelo e não a correção da verdade fundamental, aconselhando contra o uso delas como garantias absolutas de decisão em domínios de alto risco sem revisão humana. O trabalho serve como um toolkit prático para profissionais implementarem a detecção de alucinação em tempo real e agnóstica ao modelo.