💬 NLP

How Uncertainty Estimation Scales with Sampling in Reasoning Models

Este estudo demonstra que, embora a autoconsistência e a confiança verbalizada sejam escaláveis para estimar incerteza em modelos de raciocínio, a combinação desses sinais oferece ganhos superiores com poucas amostras, especialmente em tarefas matemáticas.

Autores originais: Maksym Del, Markus Kängsepp, Marharyta Domnich, Ardi Tampuu, Lisa Yankovskaya, Meelis Kull, Mark Fishel

Publicado 2026-03-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Maksym Del, Markus Kängsepp, Marharyta Domnich, Ardi Tampuu, Lisa Yankovskaya, Meelis Kull, Mark Fishel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um super-herói da inteligência artificial chamado "Modelo de Raciocínio". Diferente dos assistentes comuns que respondem rápido e às vezes erram, esse super-herói foi treinado para pensar muito antes de falar. Ele escreve um longo raciocínio, como um "diário de bordo" mental, antes de dar a resposta final.

O problema é: como sabemos se ele está confiante ou se está apenas "chutando" com cara de sério? E, mais importante: vale a pena pedir para ele pensar várias vezes sobre o mesmo problema para ter certeza?

Este artigo é um estudo de laboratório que responde exatamente a essas perguntas. Vamos traduzir os conceitos técnicos para analogias do dia a dia:

1. O Dilema: Pensar uma vez ou várias vezes?

Para saber se o modelo está certo, os pesquisadores testaram duas estratégias principais:

A "Confissão" (Confiança Verbalizada): Você pergunta diretamente ao modelo: "Quão certo você está?" e ele responde com um número (ex: "85%"). É como perguntar a um aluno: "Você tem certeza de que essa resposta está certa?".
O "Consenso" (Autoconsistência): Você pede para o modelo resolver o mesmo problema várias vezes (digamos, 8 vezes). Se ele der a mesma resposta 7 vezes e uma diferente 1 vez, você assume que a resposta repetida é a correta. É como pedir para 8 amigos resolverem o mesmo problema de matemática; se 7 dizem "42" e um diz "43", você aposta em "42".

2. A Grande Descoberta: A "Dupla Dinâmica"

O estudo descobriu algo surpreendente sobre como essas estratégias funcionam quando o modelo pensa muito (raciocínio estendido):

A "Confissão" sozinha é boa, mas tem um limite: Pedir ao modelo para dizer o quanto está certo funciona bem desde o início. Se você pedir para ele pensar 8 vezes e somar as confissões, a precisão melhora um pouco, mas chega num "teto" rápido.
O "Consenso" sozinha é lenta: Pedir para o modelo resolver várias vezes e ver se ele concorda consigo mesmo é lento e ineficiente no início. O modelo precisa de muitas tentativas para começar a mostrar padrões claros de concordância.
O Pulo do Gato (A Combinação Híbrida): A mágica acontece quando você mistura as duas coisas.
- Analogia: Imagine que você está em um tribunal. O "Consenso" é ter 8 testemunhas que dizem a mesma coisa. A "Confissão" é o advogado dizendo: "Eu tenho 90% de certeza".
- O estudo mostrou que com apenas 2 tentativas (2 amigos resolvendo o problema), se você pegar a resposta deles E a confiança que eles expressaram, você obtém um resultado muito melhor do que se pedisse para 8 amigos resolverem o problema sozinhos.
- Conclusão: É mais eficiente pedir para o modelo pensar duas vezes e usar os dois dados juntos, do que gastar energia fazendo ele pensar 8 vezes usando apenas um método.

3. O Fator "Matemática vs. História"

O estudo também mostrou que a eficácia depende do assunto, como se o modelo tivesse "superpoderes" específicos:

Matemática (O Domínio do Super-herói): Como esses modelos foram treinados intensivamente com problemas de matemática, eles são mestres nisso. Na matemática, a combinação de "confissão + consenso" funciona perfeitamente e continua melhorando mesmo com mais tentativas. É como se o modelo tivesse um "GPS" muito preciso para números.
Ciências e Humanidades (O Terreno Desconhecido): Em biologia, direito ou filosofia, o modelo é bom, mas não é um mestre. Lá, a melhoria com mais tentativas é menor e chega ao teto mais rápido. É como tentar usar um GPS de trânsito em uma trilha de montanha: funciona, mas não é tão preciso.

4. Por que isso importa? (O Custo)

Pensar (gerar um raciocínio longo) é caro e demorado para os computadores.

O Erro Comum: Achar que para ter certeza, você precisa pedir para o modelo pensar 100 vezes.
A Lição do Artigo: Não gaste esse recurso caro! A melhor estratégia é pedir apenas 2 ou 3 tentativas e combinar a resposta final com o que o modelo "sentiu" sobre a própria resposta. Você ganha quase toda a precisão possível gastando apenas uma fração do tempo e dinheiro.

Resumo em uma frase:

Para saber se um "super-herói" de IA está certo, não é preciso fazê-lo repetir o trabalho 10 vezes; basta pedir que ele faça o trabalho duas vezes e, ao mesmo tempo, pergunte o quanto ele acredita na resposta. Essa combinação simples é mais inteligente, mais rápida e mais barata do que qualquer outra estratégia complexa.

Título: Como a Estimativa de Incerteza Escala com a Amostragem em Modelos de Raciocínio

1. Problema e Motivação

A estimativa de incerteza é um componente crítico para a implantação confiável de Modelos de Linguagem de Raciocínio (RLMs - Reasoning Language Models). Diferentemente dos LLMs padrão, os RLMs utilizam o "Chain-of-Thought" (Cadeia de Pensamento) estendido, realizando deliberação interna antes de gerar uma resposta. Embora essa deliberação melhore a precisão, ela também introduz complexidade na estimativa de incerteza.

O problema central abordado é a falta de compreensão sobre como as técnicas de estimativa de incerteza Black-box (caixa-preta) se comportam sob amostragem paralela (gerar múltiplas respostas para o mesmo prompt) em modelos de raciocínio. Questões-chave incluem:

Como os sinais de incerteza (confiança verbalizada e autoconsistência) escalam com o número de amostras ( $K$ )?
Os ganhos de precisão saturam rapidamente?
A combinação de diferentes sinais de incerteza oferece benefícios superiores ao aumento do orçamento de amostragem de um único sinal?
Existem diferenças fundamentais entre domínios (Matemática vs. STEM vs. Humanidades) devido ao treinamento com Recompensas Verificáveis (RLVR)?

2. Metodologia

Os autores realizaram um estudo empírico em larga escala utilizando uma abordagem totalmente black-box.

Modelos: Três modelos de raciocínio de código aberto: gpt-oss-20b, Qwen3-30B-A3B e DeepSeek-R1-8B.
Tarefas: 17 tarefas cobrindo três domínios: Matemática (GSM8K, AIME, MMLU-Pro Math), STEM (Biologia, Física, Química, etc.) e Humanidades (Direito, História, Filosofia, etc.).
Protocolo de Amostragem: Para cada entrada, geraram $K$ amostras independentes (com $K$ variando de 1 a 8, e pools de até 100 amostras para avaliação via bootstrap).
Sinais de Incerteza Analisados:
1. Confiança Verbalizada (VC - Verbalized Confidence): O modelo relata explicitamente um score de confiança (0-100) junto à resposta. A média é calculada sobre as amostras que concordam com a resposta majoritária.
2. Autoconsistência (SC - Self-Consistency): A frequência com que a resposta majoritária aparece entre as $K$ amostras.
3. Sinal Híbrido (SCVC): Combinação linear de VC e SC ( $\lambda \cdot SC + (1-\lambda) \cdot VC$ ).
Métrica de Avaliação: Utilizaram a AUROC (Área sob a Curva Característica Operacional do Receptor) para medir a capacidade discriminativa do sinal (se respostas corretas recebem pontuações de confiança maiores que as incorretas), evitando métricas de calibração que exigem escalas probabilísticas precisas.

3. Contribuições Principais

Este trabalho apresenta o primeiro benchmark sistemático da escalabilidade da estimativa de incerteza em modelos de raciocínio. As principais contribuições são:

Caracterização da Escalabilidade: Mapeamento detalhado de como VC e SC evoluem com o aumento do número de amostras ( $K$ ).
Descoberta de Complementaridade: Demonstração de que combinar sinais introspectivos (VC) e baseados em concordância (SC) é mais eficiente do que aumentar o orçamento de amostragem de um único sinal.
Análise Dependente de Domínio: Evidência de que a qualidade e a escalabilidade da incerteza variam drasticamente entre Matemática, STEM e Humanidades, correlacionando-se com o treinamento via RLVR.

4. Resultados Chave

I. VC e SC Escalam, mas SC é menos eficiente inicialmente

VC (Confiança Verbalizada): É uma linha de base forte mesmo com $K=1$ . Escala significativamente em Matemática (ganho de +10.1 pontos AUROC de $K=1$ para $K=8$ ), mas satura mais cedo em STEM e Humanidades.
SC (Autoconsistência): Começa substancialmente abaixo do VC em orçamentos comparáveis (ex: em Matemática, SC@2 tem 70.5 AUROC vs. 73.5 do VC@1). Embora melhore com mais amostras, não supera o VC no intervalo testado ( $K \le 8$ ).

II. A Complementaridade de Sinais Domina o Escalonamento

A combinação de VC e SC (SCVC) oferece ganhos muito maiores do que aumentar apenas o número de amostras de um único sinal.
Resultado Crítico: Com apenas duas amostras ( $K=2$ $K = 2$ ), o estimador híbrido (SCVC) supera tanto o VC quanto o SC escalados para $K=8$ $K = 8$ .
- Em Matemática: Melhoria de +12.9 pontos AUROC sobre o VC de amostra única.
- Em STEM/Humanidades: Melhoria de +6.4 pontos.
Implicação Prática: Em vez de gastar recursos computacionais gerando 8 ou 64 amostras de um único sinal, é mais eficiente gerar 2 amostras e combinar os sinais.

III. Dependência de Domínio: Matemática é Superior

Os sinais de incerteza escalam mais rápido e combinam-se de forma mais eficaz em Matemática.
Em Matemática, o ganho híbrido é grande inicialmente e continua a melhorar com mais amostras (saturação tardia).
Em STEM e Humanidades, a saturação ocorre mais cedo (após $K=2$ ou $K=5$ ), com ganhos marginais adicionais.
Isso sugere que os modelos de raciocínio são mais otimizados para raciocínio matemático (devido ao RLVR), resultando em sinais de incerteza mais ricos e complementares nesse domínio.

IV. Robustez e Variantes de Elicitação

A combinação híbrida é robusta a diferentes pesos ( $\lambda$ ) entre VC e SC; uma soma igual ( $\lambda=0.5$ ) funciona bem.
Variantes avançadas de elicitação de confiança (como "Judge" ou "Epistemic") não ofereceram benefícios significativos sobre a elicitação simples (Vanilla) em modelos de raciocínio, e o uso de um "Judge" (passo extra de avaliação) é ineficiente em termos de custo-benefício comparado à simples combinação de 2 amostras.

5. Significado e Conclusão

O estudo fornece diretrizes práticas cruciais para a implantação de modelos de raciocínio em cenários onde a incerteza é vital (ex: medicina, direito, sistemas autônomos):

Evite a Estimativa de Amostra Única: Não confie apenas em uma única execução do modelo para estimar incerteza.
Não Use Apenas Autoconsistência: Em modelos de raciocínio, a autoconsistência pura é inferior à confiança verbalizada em orçamentos baixos.
Receita Ótima: A estratégia mais eficiente é gerar duas amostras e combinar a confiança verbalizada com a autoconsistência. Isso maximiza a qualidade da estimativa de incerteza com o menor custo computacional possível.
Cuidado com Domínios Não-Matemáticos: A eficácia desses sinais é menor e satura mais rápido em domínios fora da matemática, exigindo cautela na interpretação da incerteza nesses contextos.

Em resumo, a pesquisa demonstra que a sinergia entre introspecção (o que o modelo diz que sabe) e concordância (o que o modelo repete) é a chave para uma estimativa de incerteza robusta e eficiente em modelos de raciocínio modernos.