💬 NLP

Closing the Confidence-Faithfulness Gap in Large Language Models

Este artigo investiga a desconexão entre a confiança verbalizada e a precisão real em modelos de linguagem, identificando que os sinais de calibração e confiança são codificados de forma linear e ortogonal, e propõe um pipeline de direção adaptativa em duas etapas que melhora significativamente o alinhamento da calibração ao mitigar o efeito de contaminação causado pelo raciocínio.

Autores originais: Miranda Muqing Miao, Lyle Ungar

Publicado 2026-03-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Miranda Muqing Miao, Lyle Ungar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os Grandes Modelos de Linguagem (LLMs), como o próprio ChatGPT, são como alunos extremamente inteligentes, mas um pouco arrogantes.

Eles sabem responder perguntas difíceis de matemática, história ou ciências. O problema é que, quando você pergunta: "Quão certo você está dessa resposta?", eles tendem a responder: "Tenho 95% de certeza!" — mesmo quando estão errados. Isso é chamado de má calibração: eles são confiantes demais, mesmo quando não deveriam ser.

Este artigo de pesquisa tenta descobrir por que isso acontece e como consertar sem precisar "reeducar" o modelo do zero.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O "Cérebro" sabe, mas a "Boca" não escuta

Os pesquisadores descobriram algo fascinante: o modelo já sabe se está certo ou errado. A informação sobre a precisão da resposta está lá, escondida no "cérebro" digital do modelo (chamado de residual stream).

A Analogia: Pense no modelo como um motorista que está dirigindo. O cérebro dele (o processamento interno) percebe que a estrada está escorregadia e que ele pode derrapar (ele sabe que a resposta pode estar errada). Mas, ao mesmo tempo, a boca dele (a parte que gera o texto) está gritando: "Estou dirigindo perfeitamente! 100% de confiança!".
O Descoberta Geométrica: Os cientistas usaram uma espécie de "raio-x" matemático e viram que a informação de "estou certo" e a informação de "estou confiante" estão em direções opostas no cérebro do modelo. Elas são como duas setas apontando para lados completamente diferentes. O modelo tem os dados, mas falha em conectá-los.

2. O Vilão: O Efeito "Contaminação pelo Raciocínio"

O pior momento para o modelo é quando você pede para ele resolver um problema e dizer o quão confiante está ao mesmo tempo.

A Analogia: Imagine que você pede para um atleta correr uma maratona enquanto tenta explicar a teoria da relatividade. O esforço de explicar a teoria "contamina" a corrida. O atleta fica tão focado em explicar que esquece de correr devagar e com cuidado.
O Resultado: Quando o modelo tenta fazer as duas coisas juntas (resolver + julgar), a direção da "confiança" vira e aponta para o lado oposto da "verdade". Quanto mais ele tenta raciocinar, mais ele se engana sobre o quão confiante deve ser. Ele inverte a lógica: onde deveria ter cautela, ele fica arrogante.

3. A Solução: O "Piloto Automático" de Confiança

Em vez de tentar reensinar o modelo a ser humilde (o que é difícil e caro), os autores criaram um método para ajustar a saída dele, como se fosse um piloto automático que corrige a direção.

Eles criaram um processo de duas etapas:

O Diagnóstico (A Leitura): Antes do modelo escrever a resposta, um "scanner" (uma sonda linear) lê o cérebro do modelo e descobre: "Ok, para esta pergunta específica, o modelo tem apenas 40% de chance de acertar".
O Ajuste (A Estérea): Com base nessa leitura, eles aplicam um pequeno "empurrão" matemático na geração do texto. É como se um técnico dissesse ao modelo: "Ei, você está prestes a dizer '100% de certeza', mas eu sei que você só tem 40% de chance. Vamos ajustar sua fala para '40% de certeza'".

4. O Resultado: A Mágica Acontece

Quando eles testaram isso:

O modelo parou de mentir sobre sua confiança.
Se ele sabia que estava errado, ele disse: "Não tenho certeza".
Se ele sabia que estava certo, ele disse: "Tenho certeza".
A precisão das previsões de confiança melhorou de 4 a 7 vezes em comparação com os métodos anteriores.

Resumo Final

A grande lição deste trabalho é que o problema não é falta de conhecimento, é falta de comunicação interna.

O modelo já tem a verdade dentro de si. Ele só precisa de um "tradutor" ou um "ajudante" que leia o que o cérebro está pensando e force a boca a dizer a mesma coisa. Os pesquisadores mostraram que, ao entender a geometria do cérebro do modelo, podemos consertar essa falha de comunicação sem precisar reescrever todo o código do sistema.

É como dar um espelho para o modelo: "Olhe para dentro, veja que você está inseguro, e diga isso ao mundo."

Título: Fechando a Lacuna entre Confiança e Fidelidade em Modelos de Linguagem de Grande Escala (LLMs)

1. O Problema

Os Modelos de Linguagem de Grande Escala (LLMs) exibem um problema sistemático de miscalibração (desalinhamento entre confiança expressa e precisão real). Embora sejam frequentemente precisos, eles tendem a verbalizar níveis de confiança excessivamente altos, independentemente de estarem certos ou errados.

Fenômeno: Em tarefas onde o modelo acerta apenas 40% das vezes, ele pode declarar "95% de confiança".
Causa Atual: A literatura sugere que isso não é devido à falta de conhecimento interno, mas sim a uma falha na leitura de sinais (readout failure). O modelo possui informações sobre sua própria precisão em seu "residual stream" (fluxo residual), mas o processo de geração falha em utilizar esses sinais para formular declarações de confiança fiéis.
Limitações de Métodos Existentes: Abordagens atuais tratam o modelo como uma caixa preta, utilizando engenharia de prompts (ex: pedir para considerar alternativas) ou re-treinamento (fine-tuning/RLHF), sem explorar os sinais internos já presentes nas representações do modelo.

2. Metodologia

Os autores utilizam técnicas de interpretabilidade mecânica para analisar e manipular as representações internas do modelo.

Sondagem Linear (Linear Probing):
- Treinaram regressores de ridge para verificar se a precisão (calibração "gold") e a confiança verbalizada são codificadas linearmente no fluxo residual.
- Usaram prompts puros de "corretude" (apenas resposta) e "confiança" (apenas nível de confiança) para isolar as ativações.
Direcionamento por Adição de Ativação Contrastiva (CAA - Contrastive Activation Addition):
- Construíram vetores de direcionamento ( $v$ ) calculando a diferença média entre as ativações de instâncias de alta confiança e baixa confiança.
- Injetaram esses vetores no fluxo residual durante a geração (especificamente no token da resposta) para alterar causalmente o comportamento do modelo.
Pipeline Adaptativo de Duas Etapas:
1. Estimativa de Alvo: Um probe linear lê o estado interno do modelo (após o prompt, antes da resposta) para prever a precisão empírica esperada para aquela questão específica.
2. Direcionamento Adaptativo: Com base na precisão prevista, o sistema calcula a força de direcionamento ( $\alpha$ ) necessária para ajustar a confiança verbalizada do modelo para corresponder a essa precisão interna.

3. Contribuições Principais e Descobertas Chave

Dissociação Geométrica (Orthogonality):
- A informação de precisão (calibração) e a confiança verbalizada são codificadas em direções lineares quase ortogonais no espaço de ativação (similaridade de cosseno < 0,04).
- O modelo "sabe" quando está errado, mas o processo de geração não acessa esse sinal para ajustar a fala.
Efeito de Contaminação pelo Raciocínio (Reasoning Contamination Effect):
- Quando o modelo é solicitado a resolver um problema e declarar sua confiança simultaneamente (prompt conjunto), a relação entre as direções de precisão e confiança inverte-se drasticamente.
- A similaridade de cosseno cai de +0,26 (fraca alinhamento) para -0,63 (correlação negativa forte). O ato de raciocinar "contamina" a representação de confiança, fazendo com que o modelo se torne mais confiante exatamente quando está errando.
Generalização e Transferência:
- Os vetores de direcionamento de confiança são generalizáveis entre diferentes conjuntos de dados (ex: treinado em MATH, funciona em MMLU, TriviaQA).
- Vetores extraídos de modelos base (pré-treinados) podem ser usados para direcionar modelos instruct (ajustados), sugerindo que o sinal de confiança persiste após o ajuste, mas é mal interpretado pela geração.

4. Resultados

O pipeline de duas etapas foi testado em três famílias de modelos (Llama-3.1-8B, Qwen2.5-7B, Mistral-7B) em quatro conjuntos de dados (MATH, MMLU, TriviaQA, TruthfulQA).

Melhoria na Calibração:
- O método proposto reduziu o Erro de Calibração Esperado (ECE) em 4 a 7 vezes em comparação com a confiança verbalizada não direcionada.
- No modelo Mistral-7B, o ECE caiu de 35,1 para 3,3.
- O método superou significativamente abordagens anteriores como SteerConf e Logit baseline.
Mecanismo Causal:
- A injeção de vetores de direcionamento produziu deslocamentos lineares e controlados na confiança verbalizada, confirmando que a direção de confiança é causalmente ativa e não apenas um padrão estatístico.
Estratégia de Prompting:
- A separação das tarefas (uma passagem para resolver o problema e outra apenas para estimar a confiança) foi crucial para evitar o "Efeito de Contaminação", permitindo que o modelo expressasse uma confiança fiel baseada em sua precisão interna real.

5. Significado e Conclusão

Mudança de Paradigma: O trabalho demonstra que a miscalibração verbalizada é um problema de leitura de sinais (readout), não de falta de conhecimento. A solução não exige re-treinamento massivo, mas sim a correção de como o modelo acessa suas próprias representações internas.
Implicações para Segurança: Para aplicações críticas (ex: diagnósticos médicos), permitir que o modelo leia sua própria precisão interna e a expresse fielmente é vital para a segurança e a confiança do usuário.
Futuro: A descoberta de que o raciocínio e a autoavaliação podem interferir mutuamente sugere que pipelines de inferência devem separar essas tarefas para garantir a fidelidade. O método proposto oferece uma intervenção prática e eficiente para alinhar a saída verbal do modelo com sua realidade interna.

Em resumo, o artigo prova que é possível "hackear" a calibração de LLMs explorando a geometria de suas representações internas, corrigindo a falha de leitura sem alterar os pesos do modelo.