Resumo Técnico: CALIBER – Calibrando a Confiança Antes e Depois do Raciocínio em Modelos de Linguagem

Declaração do Problema

Modelos de linguagem de raciocínio são cada vez mais incumbidos não apenas de resolver problemas complexos, mas também de estimar a probabilidade de seu próprio sucesso. Os métodos de calibração existentes tipicamente provocam uma única estimativa de confiança em um ponto específico do processo de geração: ou antes do modelo começar a pensar (pré-raciocínio) ou após ele ter produzido uma resposta final (pós-raciocínio).

Os autores argumentam que a confiança em modelos de raciocínio é dependente do estado.

• Confiança pré-raciocínio condiciona-se apenas ao prompt ($x$). Ela deve estimar a probabilidade de que a política atual do modelo consiga resolver o prompt, independentemente do rastro de raciocínio específico que será gerado.
• Confiança pós-raciocínio condiciona-se ao prompt, ao rastro de raciocínio realizado ($z$) e à resposta final ($\hat{y}$). Ela deve estimar a correção daquela resposta específica realizada.

Os métodos atuais frequentemente confundem esses estados de informação distintos ao aplicar um único alvo de supervisão a uma única estimativa, ou ao usar um alvo incompatível com o estado de informação (por exemplo, treinar uma estimativa de pré-raciocínio com um alvo de correção ao nível de instância). Esse descompasso entre o que o modelo é solicitado a estimar e o que ele é treinado para prever leva a uma calibração subótima, particularmente sob mudança de distribuição (distribution shift).

Metodologia: CALIBER

Os autores introduzem o CALIBER (Calibration Before and After Reasoning), um framework que provoca duas estimativas de confiança distintas dentro de uma única resposta e supervisiona cada uma com um alvo correspondente ao seu estado de informação.

1. Calibração Dependente do Estado

O CALIBER estrutura a saída do modelo para incluir:

1. Pré-confiança ($p_{pre}$): Emitida antes do rastro de pensamento. É condicionada apenas ao prompt.
2. Rastro de Pensamento e Resposta: O processo de raciocínio padrão.
3. Pós-confiança ($p_{post}$): Emitida após o rastro de pensamento e a resposta. É condicionada à resposta completa realizada.

2. Alvos de Supervisão

O framework atribui alvos de calibração específicos baseados na posição da estimativa:

• Alvo de Pré-confiança (Por Grupo): Supervisionado contra a taxa de sucesso empírica da política atual no prompt ($\hat{p}(x)$), calculada como a média da correção de $N$ amostragens (rollouts) para aquele prompt. Isso reflete a solubilidade do prompt.
• Alvo de Pós-confiança (Por Instância): Supervisionado contra a correção binária daquela amostra específica ($c_i$). Isso reflete a correção da resposta realizada.

3. Objetivo de Treinamento

O treinamento utiliza Aprendizado por Reforço com Recompensas Verificáveis (RLVR). A recompensa total para uma amostra $i$ é a soma de quatro componentes com pesos iguais:

• Recompensa de Acurácia ($R_{acc}$): Correção binária da resposta.
• Recompensa de Formato ($R_{fmt}$): Garante que o modelo emita as tags necessárias e valores de confiança válidos.
• Recompensa de Calibração de Pré-confiança: $1 - (p_{pre} - \hat{p}(x))^2$.
• Recompensa de Calibração de Pós-confiança: $1 - (p_{post} - c_i)^2$.

Para abordar dificuldades de otimização onde a recompensa de pré-confiança de baixa variância (por grupo) é dominada por recompensas de nível de instância de alta variância, o CALIBER emprega um cronograma de treinamento em duas etapas:

1. Aquecimento (Warmup): Otimiza apenas a recompensa de pré-confiança por grupo para estabelecer estimativas diversas.
2. Treinamento Conjunto: Otimiza as recompensas de pré-confiança, pós-confiança e acurácia simultaneamente.

Principais Contribuições

1. Enquadramento Dependente do Estado: O artigo enquadra a confiança em modelos de raciocínio como quantidades distintas baseadas no estado de informação: a confiança pré-pensamento corresponde à solubilidade da questão (por grupo), enquanto a confiança pós-pensamento corresponde à correção da resposta (por instância).
2. Framework CALIBER: Um protocolo unificado que provoca ambas as estimativas e alinha cada uma ao seu apropriado alvo de supervisão, evitando o descompasso encontrado em métodos de confiança única anteriores.
3. Comparação Controlada: Os autores isolam a contribuição do alinhamento posição–alvo comparando o CALIBER contra um conjunto controlado de baselines (RLCR, COREA-lite, CoCA-lite, DCPO-lite) sob um protocolo de treinamento e avaliação compartilhado, removendo escolhas de design de confusão, como a atribuição de crédito segmentada.
4. Lacuna Diagnóstica: O framework permite a análise da lacuna entre a pré e a pós-confiança, servindo como um sinal por exemplo de como a incerteza do modelo evolui durante o raciocínio.

Resultados

Desempenho In-Domain (BigMathDigits)

• Modelo de 7B: O CALIBER reduz o Erro de Calibração Esperado (ECE) em 52,5% em comparação com o baseline de confiança única mais forte (DCPO-lite). Ele alcança o melhor ECE, Brier score e AUROC, mantendo a acurácia dentro de 2,1 pontos percentuais da melhor acurácia.
• Modelo de 30B: O CALIBER alcança o melhor ECE (0,022) enquanto retém um AUROC competitivo (0,797), distinguindo-se de métodos como o CoCA-lite, que alcançam baixo ECE, mas baixa discriminação (AUROC ~0,5).

Generalização Out-of-Distribution (OOD)

Avaliado em GPQA, TriviaQA e SimpleQA:

• Calibração: O CALIBER consistentemente alcança os melhores ECE e Brier scores no GPQA e TriviaQA para ambos os tamanhos de modelo.
• SimpleQA: Nesta mudança extrema de distribuição, o CALIBER alcança o melhor ECE e Brier score para o modelo de 7B. Para o modelo de 30B, embora o DCPO-lite alcance um ECE ligeiramente menor, o CALIBER alcança um AUROC substancialmente maior, indicando um melhor equilíbrio entre calibração e discriminação.
• Confiabilidade: Diagramas de confiabilidade mostram que o CALIBER evita a excessiva autoconfiança (overconfidence) e se alinha bem com a diagonal em regiões de alta confiança.

Estudos de Ablação

Uma ablação trocando os alvos (treinando a pré-confiança com alvos de instância e a pós-confiança com alvos de grupo) revelou:

• In-Domain: Os resultados foram mistos; o modelo de 30B beneficiou-se significativamente do alinhamento correto, enquanto o modelo de 7B apresentou métricas mistas.
• OOD: O alinhamento posição–alvo provou ser crítico. O CALIBER superou consistentemente o baseline trocado em todos os datasets e tamanhos de modelo OOD, reduzindo significativamente o ECE. Isso sugere que combinar o alvo de supervisão com o estado de informação é essencial para uma calibração robusta sob mudança de distribuição.

Significância e Alegações

O artigo alega que o CALIBER demonstra que a calibração para modelos de raciocínio deve ser tratada como um problema dinâmico, e não como um escalar estático anexado a uma resposta.

• Alinhamento é a Chave: A principal significância é a demonstração de que o "alinhamento posição–alvo" (combinar o pré-pensamento com o sucesso do grupo e o pós-pensamento com a correção da instância) é o fator crítico que impulsiona as melhorias de calibração, especialmente sob mudança de distribuição.
• Utilidade Diagnóstica: A lacuna entre a pré e a pós-confiança fornece um diagnóstico significativo de como a incerteza do modelo muda após o raciocínio, em vez de apenas um score de confiança estático.
• Segurança e Confiança: Ao melhorar a calibração sem sacrificar substancialmente a acurácia da tarefa, o CALIBER apoia o uso seguro de modelos de raciocínio em configurações onde respostas incorretas são custosas, pois permite que os usuários confiem melhor na autoavaliação do modelo.

Os autores concluem que trabalhos futuros devem estender esta abordagem dependente do estado além de dois pontos, testar a hipótese de solubilidade ao nível do prompt de forma mais direta e validar essas descobertas em famílias de modelos e domínios de tarefas adicionais.