Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs

Resumo Técnico: Intervenção de Cabeça Condicionada por Sonda para LLMs

Definição do Problema
Modelos de linguagem de grande escala (LLMs) frequentemente exibem "excesso de confiança verbalizado", expressando alta confiança em respostas incorretas. Técnicas de calibração padrão, como o escalonamento de temperatura ou o ajuste de instrução post-hoc, tipicamente aplicam ajustes globais à distribuição de saída. Embora esses métodos possam melhorar as métricas de calibração agregadas, eles sofrem de uma limitação crítica: não conseguem suprimir seletivamente a confiança imotivada em respostas erradas sem simultaneamente erodir a confiança motivada em respostas corretas. Isso cria uma tensão onde a redução de falsos positivos (errado-mas-confiante) inevitavelmente aumenta os falsos negativos (correto-mas-pouco-confiante). O artigo postula que uma abordagem mais seletiva é necessária — uma que intervenha apenas quando uma resposta é provavelmente errada-mas-confiante, thereby desacoplando a supressão da confiança imotivada da perda de confiança motivada.

Metodologia: Intervenção de Cabeça Condicionada por Sonda (PCHI)
Os autores propõem o PCHI, um método de inferência que opera internamente dentro do modelo para reescalonar seletivamente as saídas das cabeças de atenção com base em evidências de excesso de confiança. O método consiste em três componentes principais:

1. Autoavaliação Estruturada: O modelo é instruído a gerar uma resposta JSON estruturada contendo reasoning (raciocínio), answer (resposta) e um campo binário is_confident (é_confiante) (yes/no). A intervenção visa o grupo "errado-sim" (WY - respostas incorretas com alta confiança), enquanto busca preservar o grupo "correto-sim" (CY - respostas corretas com alta confiança).
2. Sondas de Template de Confiança: Uma sonda linear congelada é treinada para detectar evidências latentes de respostas WY. Esta sonda lê estados ocultos em tokens específicos de "template de confiança" (o intervalo de tokens entre a resposta e o valor de confiança final). A sonda prevê a probabilidade de uma resposta confiante ser, na verdade, errada. A camada da sonda ($\ell_p$) é selecionada no meio da rede, onde a separabilidade WY/CY é forte, garantindo que as camadas subsequentes permaneçam disponíveis para intervenção.
3. Reescalonamento de Cabeça Condicional: Durante a inferência, o escore da sonda controla o reescalonamento aprendido das saídas das cabeças de atenção subsequentes.
   • Para cada cabeça de atenção $h$ em camadas a jusante de $\ell_p$, um coeficiente escalar aprendido $g_h$ (inicializado em 1) é aplicado.
   • A força da intervenção $s_{i,t}$ é determinada pelo escore da sonda $p_{i,t}$. Se o escore exceder um limiar $\tau$ (ex: 0,5), a saída da cabeça $z_{i,t,h}$ é reescalonada: $z'_{i,t,h} = (1 + (g_h - 1)s_{i,t}) z_{i,t,h}$.
   • Se a sonda não sinalizar a resposta como provavelmente errada-confiante ($s_{i,t} = 0$), o modelo comporta-se identicamente ao baseline.
   • Uma máscara de atenção opcional pode ser aplicada após a sonda para restringir quais regiões de contexto (prompt, raciocínio, resposta) os queries do template consultam, potencialmente fortalecendo o sinal de intervenção.

O objetivo de aprendizagem utiliza uma perda do tipo hinge para empurrar exemplos WY abaixo de uma margem de confiança enquanto protege exemplos CY de serem rebaixados, regulado por uma penalidade L1 para manter os coeficientes das cabeças desnecessários próximos da identidade.

Principais Contribuições

• Intervenção Interna Seletiva: Ao contrário da calibração post-hoc global, o PCHI intervém condicionalmente com base em evidências internas, permitindo a correção de tipos específicos de erro (WY) sem suprimir globalmente a confiança.
• Desacoplamento de Calibração e Acurácia: O método demonstra que a confiança imotivada pode ser reduzida enquanto a confiança motivada é amplamente preservada, abordando o trade-off inerente aos métodos de reescalonamento uniforme.
• Insight Mecanístico: A abordagem trata a confiança verbalizada como um processo de computação interna que pode ser controlado em pontos específicos (tokens de template), em vez de apenas uma distribuição de saída a ser mapeada.

Resultados Experimentais
O método foi avaliado em problemas do OpenMathInstruct utilizando modelos Qwen3-4B-Instruct e Gemma3-4B-it com um campo de confiança binária estruturado.

• Intervenção no Token de Leitura (Readout-Token): Aplicar o PCHI no token de confiança final yielded melhorias significativas. No Qwen3-4B, o Erro de Calibração Esperado (ECE) caiu de 21,9% para 11,7%, e a Área Sob a Curva ROC (AUROC) aumentou de 66,5 para 90,3. Crucialmente, 82,2% dos readouts originalmente "errado-sim" foram convertidos para "não", enquanto apenas 10,8% dos readouts originalmente "correto-sim" foram prejudicados.
• Intervenção Upstream: Intervir nos tokens de template de confiança upstream mostrou resultados variáveis. No Qwen3-4B, uma intervenção conjunta através dos tokens 1–5 reduziu o ECE para 9,2% com 63,3% de correção de WY e apenas 5,1% de dano em CY. No Gemma3-4B, os efeitos upstream foram mais fracos e dependentes de máscara de atenção; restringir o contexto visível ao campo da resposta melhorou a correção de WY para 40,4%, mas com um leve aumento no dano de CY.
• Ablação: Controles confirmaram que os ganhos não se devem meramente à máscara de atenção ou ao steering de ativação genérico. A combinação da evidência da sonda e o reescalonamento aprendido específico por cabeça é necessária para a seletividade observada.

Significância e Alegações
O artigo afirma que o PCHI oferece um caminho viável para modelos que possam expressar incerteza de maneira confiável sem sacrificar sua capacidade de expressar confiança quando corretos. Ao tratar a calibração como um problema de controle seletivo em vez de um mapeamento global, os autores demonstram que intervenções internas podem parcialmente desacoplar a supressão da confiança imotivada da perda de confiança motivada.

Os autores mantêm um escopo modesto, observando que seus resultados são específicos para respostas de matemática com saídas JSON estruturadas e campos de confiança binários. Eles reconhecem que o método depende do treinamento de sondas específicas do modelo e dos dados, e que estender isso para expressões de confiança de formato livre ou tarefas abertas permanece um desafio em aberto. O trabalho não pretende fornecer uma explicação mecanística completa da confiança verbalizada, mas sim oferecer evidências de que tal evidência é decodificável e acionável para correção seletiva.