🤖 machine learning

Improved Confidence Estimates for Black-Box Large Language Models

Este artigo propõe um método de baixo custo que melhora a quantificação de incerteza para modelos de linguagem de grande escala de caixa preta ao treinar classificadores simples para prever a correção da resposta usando escores de confiança existentes e a correção de consultas similares de um conjunto de dados alvo.

Autores originais: Sokhna Diarra Mbacke, Mouloud Belbahri, Gabriel Loaiza-Ganem

Publicado 2026-08-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sokhna Diarra Mbacke, Mouloud Belbahri, Gabriel Loaiza-Ganem

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os grandes modelos de linguagem tornaram-se ferramentas poderosas para escrever, programar e responder a perguntas, mas carregam um risco oculto: às vezes, eles inventam fatos com absoluta certeza. Esse fenômeno, frequentemente chamado de alucinação, cria uma barreira significativa para o uso desses sistemas em campos de alto risco, como a saúde ou a pesquisa científica, onde uma resposta errada pode ter consequências graves. Para resolver isso, pesquisadores há muito tempo tentam construir sistemas que possam nos dizer o quanto podemos confiar em uma resposta específica. O objetivo é atribuir uma pontuação a cada resposta que indique sua confiabilidade. Atualmente, existem muitos métodos para gerar essas pontuações, que variam desde pedir ao modelo que avalie sua própria confiança até analisar o quanto suas respostas variam quando questionado da mesma forma de maneiras diferentes. No entanto, essas pontuações existentes operam frequentemente de forma isolada, tratando cada nova pergunta como se fosse a primeira vez que o modelo a visse, sem observar como o modelo se saiu em perguntas semelhantes no passado.

Uma equipe de pesquisadores da Layer 6 AI e da TD Insurance propôs uma abordagem diferente que trata a confiança não como uma propriedade fixa do modelo, mas como um padrão que pode ser aprendido. Eles argumentam que, embora os métodos existentes gerem pontuações de incerteza brutas sem a necessidade de dados prévios, as aplicações do mundo real quase sempre envolvem um conjunto de dados de perguntas e respostas que já foram verificadas quanto à correção. Os pesquisadores perceberam que esses dados rotulados são um recurso vasto e inexplorado. Em vez de tentar inventar uma nova maneira de medir a incerteza do zero, eles construíram um sistema simples que recebe as pontuações existentes e as combina com informações sobre como o modelo respondeu a perguntas semelhantes no passado. Ao treinar um programa de computador padrão para reconhecer a relação entre essas entradas e a correção real das respostas, eles criaram um novo método que supera consistentemente as pontuações originais por si só.

O núcleo do trabalho deles envolve um processo de duas etapas que imita como um especialista humano poderia verificar uma nova afirmação. Primeiro, o sistema recebe uma nova pergunta e a resposta que o grande modelo de linguagem fornece. Em seguida, ele calcula as pontuações de incerteza padrão que o modelo ou outras ferramentas normalmente produziriam. Depois, o sistema consulta uma biblioteca de referência de perguntas respondidas anteriormente para encontrar aquelas que são mais semelhantes à nova pergunta. Ele verifica se o modelo acertou ou errou essas perguntas semelhantes no passado e mede o quão próximas elas estão da pergunta atual. Esses detalhes — as pontuações padrão, o histórico de perguntas semelhantes e o desempenho passado do modelo nelas — são alimentados em um classificador simples. Este classificador aprende a prever se a nova resposta está correta, efetivamente traduzindo sinais de incerteza brutos em uma probabilidade calibrada de verdade.

Os pesquisadores testaram este método em vários conjuntos de dados diferentes, incluindo benchmarks para raciocínio de senso comum, fatos científicos e perguntas de conhecimento geral, utilizando vários tamanhos de modelos de linguagem. Eles compararam seu novo sistema com os melhores métodos existentes, incluindo aqueles que pedem ao modelo para expressar sua confiança e aqueles que geram muitas variações de uma resposta para verificar a consistência. Os resultados mostraram que sua abordagem forneceu consistentemente previsões de correção mais precisas. Em quase todos os testes, o novo método foi melhor em distinguir respostas certas de erradas do que as pontuações originais sozinhas. Além disso, o sistema produziu probabilidades bem calibradas, o que significa que, quando previa que uma resposta tinha 80 por cento de chance de estar correta, ela estava correta aproximadamente 80 por cento das vezes. Esta calibração é crucial para a tomada de decisão, pois permite que os usuários confiem nos números que o sistema fornece.

Uma das descobertas mais significativas foi que o método funcionou bem mesmo quando dependia de pouquíssima informação adicional. Em alguns testes, o sistema utilizou apenas uma resposta do modelo e um histórico de perguntas semelhantes, sem a necessidade de fazer o modelo gerar múltiplas variações da resposta. Isso manteve o custo computacional baixo, tornando o método prático para o uso no mundo real, onde velocidade e eficiência importam. Os pesquisadores também descobriram que a melhor maneira de combinar esses sinais dependia da tarefa específica, sugerindo que uma abordagem flexível, capaz de se adaptar a diferentes tipos de perguntas, é superior a uma solução única para todos. Ao tratar a estimativa de confiança como um problema de aprendizado, em vez de um cálculo fixo, a equipe demonstrou que os dados existentes podem ser usados para melhorar significativamente a segurança e a confiabilidade dos grandes modelos de linguagem sem exigir acesso aos seus mecanismos internos ou retreinamento caro.

O estudo conclui que, embora as pontuações de incerteza iniciais geradas pelas ferramentas atuais sejam úteis, elas não são a palavra final sobre confiabilidade. Ao aproveitar o fato simples de que os modelos tendem a ter um desempenho consistente em tipos semelhantes de perguntas, uma estrutura de aprendizado supervisionado pode refinar essas pontuações em estimativas muito mais dignas de confiança. Isso não substitui a necessidade de boas métricas de incerteza, mas sim as aprimora, transformando dados brutos em insights acionáveis. O trabalho sugere que o caminho para uma inteligência artificial mais segura reside não apenas na construção de melhores modelos, mas na construção de melhores maneiras de entender e interpretar as respostas que esses modelos fornecem.

Resumo Técnico: Estimativas de Confiança Aperfeiçoadas para Modelos de Linguagem de Grande Escala de Caixa-Preta

Declaração do Problema

A implantação segura de Modelos de Linguagem de Grande Escala (LLMs) em ambientes de alto risco (ex: saúde, pesquisa científica) é dificultada pela sua suscetibilidade a alucinações. Embora a Quantificação de Incerteza (UQ) vise avaliar a confiabilidade das saídas do modelo, os métodos existentes enfrentam limitações significativas:

Limitação Zero-Shot: A maioria dos métodos atuais de UQ (pontuação heurística ou verbalização de confiança) opera de maneira zero-shot, gerando escores de incerteza sem aproveitar os dados de avaliação rotulados disponíveis.
Falta de Calibração: Os escores existentes frequentemente correlacionam-se com a correção, mas falham em fornecer probabilidades calibradas. Por exemplo, a confiança verbalizada ( $P_{true}$ ) é frequentemente excessivamente confiante, e os escores heurísticos (ex: entropia semântica) são valores abstratos em vez de estimativas de probabilidade direta.
Lacuna na Tomada de Decisão: Os escores heurísticos são projetados primariamente para abstenção (reter uma resposta se um limiar for atingido). No entanto, os autores argumentam que a estimativa de confiança — fornecer uma probabilidade calibrada de correção — é superior para a tomada de decisão subsequente, pois permite que sistemas maximizem a utilidade esperada dentro de estruturas de teoria da decisão.

O problema central abordado é como transformar os escores de incerteza zero-shot existentes, muitas vezes não calibrados, em estimativas de confiança robustas e calibradas, aproveitando os conjuntos de dados rotulados que são pré-requisitos padrão para a avaliação de modelos.

Metodologia

Os autores propõem um framework de aprendizado supervisionado que trata os escores de UQ existentes como características (features) em vez de saídas finais. O método não requer acesso de caixa-branca ao LLM ou gerações adicionais do modelo além do que os escores de base exigem.

1. Particionamento de Dados

O conjunto de dados rotulados disponível $\mathcal{D}$ é particionado em:

Conjunto de Treinamento ( $\mathcal{D}_{train}$ ): Usado para ajustar o classificador de confiança.
Conjunto de Referência ( $\mathcal{D}_{ref}$ ): Usado para construir características auxiliares resumindo o desempenho histórico do LLM em consultas similares.

2. Engenharia de Características (Feature Engineering)

Para um determinado par consulta-resposta $(q, r)$ , o vetor de características $X(q, r)$ é construído a partir de dois componentes:

Escores de Incerteza de Base ( $S$ ): Uma coleção de $c$ escores pré-existentes (ex: $P_{true}$ verbalizada, entropia semântica, aproximação Laplaciana). Eles são tratados como entradas brutas.
Características Baseadas em Vizinhança ( $f_{ref}$ ): Para capturar padrões empíricos locais, o método recupera os $k$ $k$ -vizinhos mais próximos de $q$ $q$ do conjunto de referência usando similaridade de cosseno em um espaço de embedding. Destes vizinhos, as seguintes estatísticas são extraídas:
- O vetor de rótulos de correção ( $y_i$ ) dos vizinhos.
- A média empírica ( $\mu_y$ ) e o desvio padrão ( $\sigma_y$ ) da correção dos vizinhos.
- O vetor de similaridades de cosseno entre $q$ e seus vizinhos.
- A média empírica ( $\mu_{sim}$ ) e o desvio padrão ( $\sigma_{sim}$ ) dessas similaridades.

O vetor de características final é $X(q, r) = (S(q, r), f_{ref}(q))$ .

3. Classificação Supervisionada

O problema é formulado como uma tarefa de classificação binária para prever a probabilidade de correção $Y=1$ .

Seleção de Modelo: Os autores empregam uma abordagem de Auto-ML para selecionar o classificador ideal para uma tarefa específica. Os candidatos incluem regressão logística com regularização $\ell_1$ e Florestas Aleatórias (Random Forests).
Treinamento: Os modelos são treinados para minimizar a perda de entropia cruzada (cross-entropy loss) em $\mathcal{D}_{train}$ .
Calibração: Uma etapa de escalonamento de temperatura (temperature scaling) pós-hoc é aplicada para garantir que as probabilidades de saída sejam bem calibradas (minimizando o Erro de Calibração Esperada, ECE).

4. Inferência

No momento da inferência, o processo envolve:

Computar os escores de base $S(q, r)$ .
Recuperar os $k$ -vizinhos mais próximos de $\mathcal{D}_{ref}$ .
Avaliar o classificador treinado $f_\theta$ no vetor de características combinado.
O overhead computacional é insignificante comparado ao custo de gerar as respostas do LLM.

Principais Contribuições

Mudança de Paradigma: O artigo argumenta que a UQ para LLMs deve ser tratada como um problema de aprendizado supervisionado que aproveita os dados de avaliação rotulados disponíveis, indo além do paradigma zero-shot.
Framework de Propósito Geral: O método atua como um "wrapper" que pode agregar e refinar qualquer escore de incerteza existente (heurístico ou verbalizado) em uma estimativa de confiança calibrada sem modificar o LLM subjacente.
Estatísticas de Vizinhança: A introdução de características baseadas em vizinhança (estatísticas de correção e similaridade de um conjunto de referência) fornece uma forma inovadora de incorporar evidências empíricas de confiabilidade do modelo na previsão.
Aprendiz Adaptável à Tarefa: Os autores demonstram que o modelo de classificador ideal é dependente da tarefa, necessitando de uma abordagem de Auto-ML para selecionar entre modelos lineares e não lineares com base na distribuição dos dados.

Resultados Experimentais

O framework foi avaliado em quatro conjuntos de dados (CommonSense QA, Natural Questions, SciQ, SimpleQA) e três variantes do modelo GPT-4.1 (flagship, mini, nano), bem como o LLaMA4Maverick de código aberto.

Desempenho: O método Auto-ML proposto superou consistentemente todos os baselines em Área Sob a Curva Característica de Operação do Receptor (AUROC). Ele alcançou o maior AUROC em quase todos os cenários, com apenas uma exceção menor onde a diferença foi insignificante.
Calibração: O método produziu um Erro de Calibração Esperada (ECE) significativamente menor em comparação com a confiança verbalizada bruta ( $P_{true}$ ) e frequentemente superou versões com escalonamento de temperatura ($ts$- $P_{true}$ ).
Estudos de Ablação:
- Sem Características Semânticas: Mesmo excluindo escores de incerteza semântica complexos (recorrendo apenas a $P_{true}$ e estatísticas de vizinhança), o método manteve um desempenho competitivo com menor custo computacional.
- Família de Modelos: A abordagem generalizou-se bem para modelos de código aberto (LLaMA4Maverick), confirmando sua aplicabilidade além de APIs de caixa-preta.
Comparação com Baselines: O método superou significativamente o APRICOT (uma abordagem de classificador similar) e vários escores heurísticos baseados em semântica (entropia semântica, Laplaciana, entropia de kernel), particularmente em conjuntos de dados de múltipla escolha onde os métodos semânticos tiveram dificuldades.

Significância e Alegações

O artigo alega que dados de avaliação rotulados são um recurso significativo, porém subutilizado, para melhorar as estimativas de incerteza de LLMs. Os autores afirmam que:

Confiabilidade: Ao ir além das heurísticas zero-shot, é possível produzir consistentemente estimativas de confiança mais precisas e calibradas.
Eficiência: O método introduz um overhead computacional mínimo, tornando-o um "melhoramento barato e direto" para aplicações do mundo real.
Flexibilidade: Serve como um mecanismo geral para transformar escores heurísticos em probabilidades prontas para a tomada de decisão, preenchendo a lacuna entre métricas de incerteza abstratas e a tomada de decisão prática.
Direção Futura: Embora o trabalho atual foque em correção binária, os autores sugerem que este paradigma poderia ser estendido para classificação multiclasse (ex: distinguir entre respostas "parcialmente corretas" e "excelentes") para refinar ainda mais a segurança do deployment de LLMs.

Os autores mantêm uma postura modesta, reconhecendo que sua abordagem requer classificadores específicos para cada conjunto de dados e depende da qualidade e do tamanho do conjunto de referência para uma recuperação eficaz, embora argumentem que estes são requisitos padrão nos ciclos de vida de desenvolvimento de modelos práticos.