Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

). 2. Uma resposta final (). 3. Uma análise de incerteza (). 4. Uma pontuação numérica de confiança (`).

O objetivo de treinamento combina uma recompensa padrão de correção com uma pontuação Brier, uma regra de pontuação adequada para estimativa de confiança. A função de recompensa $R_{RLCR}$ é definida como:
$$R_{RLCR}(y, q, y^*) = \mathbb{1}_{y \equiv y^*} - (q - \mathbb{1}_{y \equiv y^*})^2$$
Onde:

• $y$ é a resposta prevista pelo modelo.
• $y^*$ é a resposta verdadeira (ground-truth).
• $q$ é a pontuação de confiança verbalizada ($q \in [0, 1]$).
• $\mathbb{1}_{y \equiv y^*}$ é a função indicadora de correção.

Garantias Teóricas

O artigo prova que esta função de recompensa incentiva tanto a precisão quanto a calibração. Especificamente, a recompensa esperada é maximizada quando:

1. O modelo gera a resposta com a maior probabilidade de estar correta ($y = \arg\max_{y'} p(y' \equiv y^*)$).
2. A pontuação de confiança $q$ reflete com precisão a probabilidade real de correção ($q = p(y \equiv y^*)$).

Os autores demonstram que isso vale para qualquer regra de pontuação adequada e limitada. Eles contrastam isso com a pontuação Logarítmica (log-loss), que, embora seja uma regra de pontuação adequada, é ilimitada. A análise teórica e experimentos com brinquedos mostram que o uso de uma pontuação ilimitada como log-loss combinada com um termo de correção pode levar a "hacking de recompensa", onde os modelos geram respostas incorretas com confiança zero para maximizar o termo de calibração à custa da precisão.

Principais Contribuições e Resultados

1. Calibração Aprimorada Sem Sacrificar a Precisão

Experimentos em HotpotQA (raciocínio multi-hop) e Big-Math (raciocínio matemático) demonstram que o RLCR iguala a precisão da tarefa do RLVR padrão, enquanto melhora substancialmente a calibração.

• Dentro da Distribuição: No HotpotQA, o RLCR reduziu o Erro de Calibração Esperado (ECE) de 0,37 (RLVR) para 0,03. Em conjuntos de dados matemáticos, o ECE caiu de 0,26 para 0,10.
• Fora da Distribuição (OOD): Enquanto o RLVR padrão frequentemente piora a calibração em tarefas OOD, o RLCR a melhora. Por exemplo, em benchmarks OOD, o RLCR alcançou um ECE de 0,21, comparado a 0,46 para o RLVR, mantendo uma precisão comparável.

2. O Papel do Raciocínio Explícito sobre Incerteza

Estudos de ablação revelam que o sucesso do RLCR decorre de dois componentes independentes:

• Recompensa Consciente de Calibração: O treinamento com a recompensa da pontuação Brier é o principal motor da calibração aprimorada.
• Raciocínio Explícito sobre Incerteza: Solicitar aos modelos que gerem uma <analysis> de sua incerteza melhora ainda mais a calibração, particularmente para modelos menores ou quando a capacidade é limitada. No entanto, mesmo sem análise explícita, o RLCR supera significativamente o RLVR em calibração.

3. Escalonamento em Tempo de Teste e Autoconsistência

O artigo mostra que as pontuações de confiança verbalizadas do RLCR podem ser aproveitadas em tempo de teste para melhorar o desempenho:

• Escalonamento Ponderado por Confiança: Usar a confiança verbalizada para ponderar votos majoritários ou selecionar as melhores de N respostas produz maior precisão e melhor calibração do que a seleção baseada em verossimilhança ou votação majoritária padrão.
• Autoconsistência: Os modelos RLCR exibem menor variância nas pontuações de confiança entre múltiplas cadeias de raciocínio para a mesma resposta, indicando uma estimativa de incerteza mais estável e autoconsistente.

4. Generalização

A abordagem foi validada em diferentes famílias de modelos (Qwen2.5-7B, OlMo-2-7B e Qwen3-8B), mostrando melhorias consistentes na calibração em relação às linhas de base RLVR.

Significado e Alegações

O artigo afirma que otimizar explicitamente a calibração por meio de regras de pontuação adequadas é uma modificação direta aos pipelines de treinamento de raciocínio existentes, resultando em modelos de raciocínio mais confiáveis. Os autores argumentam que:

• A calibração é aprendível: Os modelos podem ser treinados não apenas para responder corretamente, mas também para avaliar com precisão sua própria certeza.
• Robustez: O RLCR produz modelos mais robustos a mudanças de distribuição, mantendo a calibração onde modelos RL padrão falham.
• Utilidade Prática: As pontuações de confiança verbalizadas não são apenas diagnósticas; são acionáveis, permitindo métodos de escalonamento em tempo de teste que melhoram tanto a precisão quanto a confiabilidade sem exigir modelos de recompensa externos ou supervisão adicional.

Os autores permanecem modestos sobre os resultados, reconhecendo que, embora o RLCR reduza significativamente o erro de calibração, os erros de calibração fora do domínio ainda podem ser altos em termos absolutos, e os modelos podem ocasionalmente atribuir alta confiança a respostas contraditórias. No entanto, o trabalho estabelece um caminho para sistemas de raciocínio que são tanto precisos quanto capazes de comunicar incerteza.