💬 NLP

Let the Model Distribute Its Doubt: Confidence Estimation through Verbalized Probability Distribution

Este trabalho demonstra que a previsão de uma distribuição de probabilidade verbalizada melhora a estimativa de confiança em modelos de linguagem ao forçá-los a considerar todas as respostas possíveis, superando métodos existentes e alcançando maior eficiência computacional durante a inferência.

Autores originais: Ante Wang, Weizhi Ma, Yang Liu

Publicado 2026-04-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ante Wang, Weizhi Ma, Yang Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está pedindo uma recomendação de filme para um amigo muito inteligente, mas que às vezes se ilude achando que sabe tudo.

Se você perguntar: "Qual é o melhor filme?", ele pode responder: "É o Filme X! Tenho 100% de certeza!" Mas, se ele estiver errado, você perdeu seu tempo e dinheiro. O problema é: como saber quando esse amigo está realmente confiante e quando ele só está "achando" que sabe?

É exatamente esse o problema que os pesquisadores deste artigo tentaram resolver com os Modelos de Linguagem (LLMs), como o GPT ou o Claude. Eles são incríveis, mas muitas vezes são "superconfiantes" mesmo quando estão errados.

Aqui está a explicação simples do que eles descobriram e propuseram:

1. O Problema: O "Adivinhador" Superconfiante

Antes, os modelos faziam duas coisas principais para dizer o quanto tinham certeza:

Dizer apenas a resposta e um número: "A resposta é X, tenho 90% de certeza." (O problema: eles tendem a inflar esse número, mesmo quando estão errados).
Dizer a resposta e uma segunda opção: "Acho que é X (90%), mas talvez seja Y (10%)." (Melhor, mas ainda limitado).

O artigo diz que esses métodos são como pedir para alguém adivinhar um número entre 1 e 100 apenas pensando em um número. É fácil errar e achar que acertou.

2. A Solução: "Deixe o Modelo Distribuir a Dúvida"

Os autores propuseram uma nova regra de jogo. Em vez de pedir apenas a resposta, eles pedem ao modelo para listar todas as possibilidades possíveis e atribuir uma porcentagem de certeza para cada uma, garantindo que a soma de todas as porcentagens seja 100%.

A Analogia do Detetive:

Método Antigo: O detetive aponta para um suspeito e diz: "É ele! Tenho 99% de certeza!" (Se estiver errado, o detetive parece um louco).
Novo Método (Distribuição de Probabilidade): O detetive olha para a lista de suspeitos e diz:
- "Suspeito A: 60% de chance."
- "Suspeito B: 20% de chance."
- "Suspeito C: 10% de chance."
- "Nenhum deles: 10% de chance."

Ao ter que pensar em todos os cenários e dividir a "confiança" entre eles, o modelo é forçado a pensar mais profundamente. Ele não pode mais apenas "chutar" e ficar feliz com o resultado. Ele precisa justificar por que o Suspeito A é mais provável que o B. Isso faz com que a confiança dele seja muito mais realista e honesta.

3. O "Truque" do "Nenhum dos Acima"

Para perguntas onde não há uma lista fixa de respostas (como "Qual a capital da França?"), o modelo pode ficar confuso. O que fazer se a resposta certa não estiver na lista que ele criou?
O artigo sugere adicionar uma opção chamada "Nenhum dos acima".

Se o modelo não tiver certeza de nenhuma das opções que ele mesmo criou, ele pode colocar uma parte da confiança nessa opção de "Nenhum". Isso é como o modelo dizendo: "Estou tão inseguro que acho que a resposta pode nem estar na minha lista". Isso evita que ele invente uma confiança falsa.

4. O Que Eles Descobriram?

Eles testaram isso em várias tarefas difíceis (como medicina, leis e ciências) e com vários modelos de IA. Os resultados foram impressionantes:

Menos "Alucinação" de Confiança: O modelo aprendeu a dizer "não sei" ou "tenho pouca certeza" quando estava realmente confuso, em vez de inventar uma certeza alta.
Funciona até em Modelos Pequenos: Mesmo modelos menores e mais simples ficaram muito melhores em saber quando estavam errados.
Economia de Computação: Para chegar ao mesmo nível de precisão que os métodos antigos, o novo método precisou de 6 vezes menos esforço de computação. É como chegar ao topo da montanha usando um caminho mais curto e direto, em vez de dar voltas enormes.
Treinamento com Reforço: Eles também usaram uma técnica de "treinamento por recompensa" (como ensinar um cachorro com petiscos) para ensinar o modelo a fazer isso ainda melhor. O modelo aprendeu rápido e manteve a performance mesmo em perguntas que nunca viu antes.

Resumo Final

Imagine que você quer que sua IA seja um médico responsável.

O método antigo era como um médico que diz: "Você tem gripe!" e jura que tem 100% de certeza, mesmo sem examinar nada.
O novo método é como um médico que diz: "Você pode ter gripe (60%), alergia (20%) ou nada (20%). Vou precisar de mais exames para ter certeza."

Ao forçar a IA a distribuir a dúvida entre várias opções, ela se torna mais honesta, mais segura e muito mais útil para tarefas importantes, como diagnósticos médicos ou decisões financeiras. O segredo não é ter mais inteligência, mas sim ter mais humildade para considerar todas as possibilidades antes de se comprometer com uma resposta.

1. Problema

A confiabilidade das respostas de Grandes Modelos de Linguagem (LLMs) é crítica para aplicações de alto risco (saúde, direito, finanças). Embora os LLMs tenham capacidades de geração robustas, eles frequentemente cometem erros e sofrem de má calibração (excesso de confiança), especialmente quando são ajustados com Aprendizado por Reforço a partir de Feedback Humano (RLHF).

Métodos tradicionais de estimativa de confiança, como a agregação de probabilidades de tokens ou a verbalização direta de um único número de confiança, mostram-se insuficientes. A verbalização simples tende a ser excessivamente confiante e não considera alternativas, enquanto métodos que pedem apenas "Top-k" respostas podem falhar em distribuir a incerteza de forma coerente (ex: somas de probabilidade > 100%). O desafio central é como fazer com que o modelo expresse sua incerteza de forma precisa e calibrada, utilizando raciocínio lógico (Chain-of-Thought) para justificar essa estimativa.

2. Metodologia

Os autores propõem um novo método chamado Verbalized Probability Distribution (Distribuição de Probabilidade Verbalizada). A abordagem força o LLM a não apenas prever a resposta final, mas a raciocinar sobre todo o espaço de respostas possíveis e atribuir uma distribuição de probabilidade completa a elas.

Principais componentes da metodologia:

Prompting Verbalizado: O modelo é instruído a listar todas as respostas possíveis (ou um subconjunto representativo) e atribuir um valor de confiança a cada uma, garantindo que a soma das probabilidades seja igual a 1.
Opção "Nenhuma das anteriores" (None of the above): Para tarefas de espaço aberto (onde enumerar todas as respostas é impossível), o método inclui uma opção "Nenhuma das anteriores" para agregar a probabilidade de candidatos de baixa probabilidade, evitando que o modelo ignore a incerteza.
Otimização via RL (Reinforcement Learning): Os autores exploram o uso de Aprendizado por Reforço (RL) para refinar esse processo. Eles utilizam uma função de recompensa baseada no Brier Score (erro quadrático médio entre a previsão e a verdade), com uma penalidade estrita se a saída não for uma distribuição de probabilidade válida (soma $\neq$ 1).
Comparação: O método é comparado com:
- Verbalized Confidence: O modelo gera apenas uma resposta e um número de confiança.
- Verbalized Top-k: O modelo gera $k$ respostas e suas probabilidades (sem necessariamente somar a 1 ou considerar o espaço completo).

3. Contribuições Chave

Novo Paradigma de Estimativa: Demonstram que pedir ao modelo para distribuir sua dúvida (prever uma distribuição completa) é mais eficaz do que pedir apenas uma estimativa pontual ou um Top-k limitado. Isso força o modelo a considerar alternativas e a "distribuir" sua incerteza, mitigando o viés de excesso de confiança.
Eficiência em Inferência: O método proposto alcança melhores resultados com menos custo computacional durante a escala de inferência (inference-time scaling). O artigo destaca que o método alcança o melhor Brier Score de uma base forte no conjunto MMLU-Pro gastando 6 vezes menos computação do que os baselines.
Análise de RL: Mostram que o treinamento com RL acelera a convergência e melhora a robustez em dados fora da distribuição (out-of-domain), mas que a escolha do prompt inicial (a estratégia de verbalização) é crucial para o sucesso do treinamento.
Validação Abrangente: Avaliação sistemática em modelos de código aberto (Qwen3, Mistral, Llama) e fechados (GPT-4.1, DeepSeek-V3) em tarefas médicas e gerais, tanto de espaço fechado (múltipla escolha) quanto aberto.

4. Resultados Principais

Desempenho Superior: O método de Verbalized Probability Distribution superou consistentemente os baselines (Verbalized Confidence e Verbalized Top-k) em métricas de calibração (ECE, Brier Score) e discriminação (AUROC) em quase todos os modelos e tarefas testadas.
Benefício para Modelos Menores: Modelos menores (ex: Qwen3-4B) se beneficiaram desproporcionalmente deste método, alcançando calibração superior mesmo sem treinamento RL extensivo, sugerindo que a estrutura do prompt guia melhor o raciocínio de modelos com capacidade limitada.
Estabilidade com RL: Após o treinamento com RL, o método manteve sua vantagem, convergindo mais rápido e apresentando curvas de calibração mais alinhadas com a precisão empírica.
Limitações Identificadas: O método enfrenta dificuldades em tarefas de raciocínio matemático estrito, onde a incerteza é binária (certo/errado) e não há espaço para alternativas plausíveis. No entanto, o RL mostrou-se capaz de recuperar parte desse desempenho nesses casos.

5. Significância

Este trabalho é significativo porque oferece uma solução prática e eficiente para um dos maiores obstáculos na adoção de LLMs em cenários críticos: a confiança. Ao invés de depender de camadas de classificação complexas ou de grandes quantidades de dados de treinamento, a abordagem utiliza a capacidade de raciocínio nativa do modelo através de um prompt estruturado.

A descoberta de que forçar a distribuição de dúvida melhora a calibração sugere que a incerteza não é apenas um atributo a ser medido, mas um processo cognitivo que pode ser induzido e refinado. Isso tem implicações diretas para o desenvolvimento de sistemas de IA mais seguros, transparentes e confiáveis, permitindo que modelos "admitam" quando não sabem a resposta ou quando há múltiplas possibilidades, em vez de alucinar com confiança excessiva.