🤖 machine learning

From token probabilities to calibrated confidence: An empirical study of mathematical question answering

Este estudo empírico investiga métodos para calibrar a confiança em modelos de linguagem de grande escala para o esclarecimento de questões matemáticas, constatando que, embora as probabilidades de tokens de passagem única ofereçam um sinal limitado, agregar essas probabilidades e empregar estratégias de múltiplas passagens, como a autoverificação ou o Monte Carlo Dropout, seguidas por técnicas de calibração pós-hoc, pode melhorar significamente o alinhamento entre a confiança estimada e a precisão real.

Autores originais: Avery Ma, Lorne Schell, Vin Bhaskara, Leila Pishdad

Publicado 2026-08-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Avery Ma, Lorne Schell, Vin Bhaskara, Leila Pishdad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está jogando um jogo de trivia de alto nível com um amigo robô superinteligente. Você faz uma pergunta difícil e o robô emite um som de resposta. Mas aqui está o detalhe: o robô é tão ansioso para agradar que muitas vezes parece 100% certo mesmo quando está completamente errado. No mundo da Inteligência Artificial, isso é chamado de "excesso de confiança" (overconfidence). Cientistas estão tentando ensinar esses robôs a dizer: "Eu tenho quase certeza" ou "Não tenho tanta certeza", para que saibamos quando confiar neles. Este é o desafio da estimativa de confiança: descobrir qual é a probabilidade de a resposta de um robô estar correta. Para fazer isso, os pesquisadores observam os "sussurros" internos do robô — pequenos números chamados probabilidades de tokens que mostram a probabilidade de o robô escolher a próxima palavra em uma frase. A grande questão é: podemos transformar esses sussurros barulhentos em um "medidor de verdade" confiável que nos diga exatamente o quanto podemos confiar no robô?

Uma equipe de pesquisadores decidiu colocar essa ideia à prova, especificamente com problemas matemáticos. Eles trataram a IA como um aluno fazendo uma prova e perguntaram: "Se ouvirmos atentamente o processo de pensamento do aluno, podemos saber se ele acertou a resposta antes mesmo de terminar de escrever?". Eles compararam duas formas principais de ouvir. A primeira foi uma escuta de "passagem única", onde eles apenas analisaram o problema matemático e a resposta final que o robô deu de uma só vez. A segunda foi uma escuta de "múltiplas passagens", onde pediram ao robô para revisar seu trabalho ou executar o mesmo problema através de seu cérebro várias vezes com pequenas variações para ver se obtinha o mesmo resultado.

Eis o que eles descobriram. Primeiro, descobriram que, se você ouvir apenas as últimas palavras da resposta (o número final), o robô parece incrivelmente confiante, mesmo quando está errado. É como um aluno que escreve "42" ao final de uma prova, mas chegou lá por meio de um palpite. No entanto, se você ouvir toda a cadeia de raciocínio — o passo a passo matemático que o robô fez para chegar lá — você pode detectar diferenças sutis e consistentes entre respostas certas e erradas. Ao tirar a média desses pequenos sinais ao longo de todo o processo de pensamento, eles encontraram uma maneira de obter um "medidor de verdade" muito melhor sem precisar pedir ao robô que faça trabalho extra.

Os pesquisadores também tentaram truques sofisticados para obter sinais melhores. Um truque foi perguntar ao robô: "Você tem certeza de que isso está correto?" (um método chamado autoverificação). Eles descobriram que pedir ao robô para reler sua própria resposta desde o início era preciso, mas muito lento e caro, como fazer um aluno reescrever todo o seu ensaio apenas para verificar uma linha. Mas eles descobriram um atalho inteligente: em vez de reescrever tudo, poderiam apenas anexar a pergunta "Isso está correto?" ao final da resposta original. Este método "in-situ" era tão preciso quanto, mas economizava 88% do esforço computacional, o que foi uma grande vitória de eficiência.

Outro truque envolveu "passagens estocásticas", onde pediram ao robô para resolver o mesmo problema várias vezes com um pouco de aleatoriedade (como jogar um dado) para ver se ele mudava de ideia. Este método, chamado MC Dropout, era bom para capturar a incerteza, mas exigia que o robô fizesse o trabalho muitas vezes, o que é computacionalmente pesado. Os pesquisadores descobriram que, embora esse método funcionasse, muitas vezes não valia o custo extra em comparação ao método mais simples de "ouvir toda a história".

Finalmente, eles testaram uma etapa de "calibração", que é como ensinar o robô a ajustar seu botão de confiança. Eles usaram duas ferramentas matemáticas clássicas (escalonamento de Platt e regressão isotônica) para ajustar os escores de confiança do robô para que eles correspondessem melhor à realidade. Eles descobriram que essas ferramentas funcionavam maravilhas, especialmente com um pequeno conjunto de problemas de prática (apenas 50 exemplos) para aprender. No entanto, também notaram que uma calibração aprendida em problemas matemáticos fáceis nem sempre funcionava bem em problemas difíceis, e uma calibração aprendida em um tipo de robô nem sempre se transferia para um tipo diferente.

Em resumo, o artigo sugere que não precisamos fazer o robô trabalhar duas vezes mais para saber se ele está certo. Ao simplesmente prestar mais atenção a todo o caminho de seu raciocínio, em vez de apenas à resposta final, e ao usar uma maneira inteligente e de baixo custo de pedir que ele verifique a si mesmo, podemos construir medidores de confiança muito mais confiáveis. Essas descobertas sugerem que, com o ajuste certo, podemos tornar os sistemas de IA muito mais honestos sobre o que sabem e o que não sabem.

Título: De Probabilidades de Tokens a Confiança Calibrada: Um Estudo Empírico de Resposta a Questões Matemáticas

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) alcançaram sucesso em tarefas complexas e de múltiplas etapas, mas são cada vez mais implantados em domínios de alto risco, onde saber quando confiar em um resultado é tão crítico quanto o próprio resultado. Embora os LLMs gerem probabilidades de tokens durante a inferência, esses sinais brutos são frequentemente excessivamente confiantes e mal calibrados para determinar a correção de uma resposta completa. Isso ocorre porque os modelos são treinados para otimizar a previsão do próximo token, em vez de estimar a probabilidade de que uma resposta finalizada esteja correta. O artigo investiga se essas probabilidades de tokens prontamente disponíveis podem ser transformadas em estimativas de confiança bem calibradas para a resposta a questões matemáticas (MQA), um domínio com respostas finais verificáveis.

Metodologia
Os autores conduzem um estudo empírico categorizando os estimadores de confiança pelo número de passagens de inferência necessárias:

Estimadores de Passagem Única (Single-Pass): Estes reutilizam as probabilidades dos tokens da geração original sem passagens de propagação adicionais. O estudo analisa duas escolhas de design:
- Subconjunto de Tokens: Comparando estimadores baseados na sequência gerada completa (trajetória de raciocínio + resposta) versus aqueles baseados apenas nos tokens da resposta final.
- Método de Agregação: Comparando a média aritmética das probabilidades dos tokens contra a probabilidade conjunta normalizada pelo comprimento (média geométrica).
- Quatro estimadores específicos são instanciados: Sequência Conjunta (SEQ JOINT), Sequência Média (SEQ AVG), Resposta Conjunta (ANS JOINT) e Resposta Média (ANS AVG).
Estimadores de Múltiplas Passagens (Multi-Pass): Estes obtêm sinais adicionais através de passagens de propagação repetidas:
- Autoverificação ( $p(\text{True})$ ): O modelo é re-instigado a julgar sua própria resposta gerada como "Verdadeira" ou "Falsa". Os autores também avaliam uma variante in-situ que anexa a consulta de verificação diretamente à trajetória de geração original, evitando a re-codificação de todo o contexto.
- Monte Carlo (MC) Dropout: O modelo realiza múltiplas passagens estocásticas com dropout habilitado enquanto mantém a trajetória de raciocínio fixa. A incerteza é medida via a métrica de Aprendizado Ativo Bayesiano por Desacordo (BALD), capturando a variação nas distribuições preditivas dos tokens da resposta.
Calibração Post-Hoc: O estudo avalia dois métodos clássicos para alinhar os escores de confiança com a precisão empírica:
- Regressão Isotônica: Um mapeamento monotônico flexível e não paramétrico.
- Escalonamento de Platt: Um ajuste paramétrico global (escalonamento de temperatura) aplicado aos logits.

Principais Contribuições e Descobertas

Agregação ao Nível da Trajetória: O artigo constata que agregar probabilidades sobre toda a trajetória de raciocínio (SEQ AVG/JOINT) produz estimativas de confiança significativamente mais discriminativas e melhor calibradas do que usar apenas os tokens da resposta final. Embora as probabilidades de tokens individuais sejam frequentemente saturadas, pequenas mas consistentes diferenças de probabilidade se acumulam ao longo do caminho de raciocínio, distinguindo gerações corretas de incorretas.
Eficiência da Verificação In-Situ: O método proposto de verificação in-situ alcança uma calibração comparável ao re-prompting padrão ( $p(\text{True})$ ), mas reduz o overhead de processamento de tokens em aproximadamente 88%. Isso é alcançado ao reutilizar o estado de geração original em vez de re-codificar o par pergunta-resposta completo.
MC Dropout e Incerteza Distribucional: O MC Dropout captura a incerteza refletida na variação das distribuições preditivas, mesmo quando a resposta decodificada permanece inalterada. No entanto, este método requer um ajuste substancial (seleção da taxa de dropout) e múltiplas passagens estocásticas (cerca de 5x de overhead) para estabilizar, tornando-o computacionalmente caro em comparação com os métodos de passagem única.
Eficácia de Calibração e Eficiência de Dados: Tanto a Regressão Isotônica quanto o Escalonamento de Platt reduzem substancialmente o erro de calibração in-domain. A regressão isotônica é particularmente eficaz, muitas vezes exigindo tão pouco quanto 50 exemplos de calibração para produzir melhorias significativas.
Transferência Assimétrica: Mapeamentos de calibração transferem-se assimetricamente entre conjuntos de dados e modelos. Mapeamentos aprendidos em conjuntos de dados mais fáceis (ex: GSM8K) geralmente melhoram a calibração em conjuntos de dados mais difíceis (ex: GSMHard), mas o inverso frequentemente degrada o desempenho. Além disso, a transferibilidade depende fortemente do par modelo-conjunto de dados específico, sugerindo que os dados de calibração devem idealmente corresponder ao modelo alvo e ao nível de dificuldade.

Significância e Limitações
O artigo demonstra que as probabilidades de tokens, quando apropriadamente agregadas e calibradas, podem fornecer estimativas de confiança confiáveis para o raciocínio matemático sem exigir modelos auxiliares complexos ou ajuste fino (fine-tuning). As descobertas destacam que a "excesso de confiança" dos LLMs não é uma barreira inerente, mas um problema de calibração que pode ser abordado através de agregação ao nível da sequência e métodos post-hoc simples.

Os autores observam algumas limitações: o estudo é restrito a modelos de pesos abertos onde as probabilidades de tokens e os controles de dropout são acessíveis; foca em MQA com respostas verificáveis, em vez de diálogo de código aberto; e os resultados de MC Dropout dependem de escolhas de design específicas (ex: trajetórias de raciocínio fixas) que podem não capturar a incerteza sobre caminhos de raciocínio alternativos. Adicionalmente, a dependência de extração de respostas baseada em regex pode introduzir erros para saídas não conformes.

Mais como este