How do LLMs Compute Verbal Confidence

Título: Como os LLMs Computam a Confiança Verbal?

Autores: Dharshan Kumaran, Arthur Conmy, Federico Barbero, Simon Osindero, Viorica Patraucean, Petar Veličković (Google DeepMind).
Modelos Estudados: Gemma 3 27B e Qwen 2.5 7B.
Dataset: TriviaQA (conhecimento factual).

1. O Problema

A "confiança verbal" (quando um modelo de linguagem é solicitado a expressar sua confiança em uma resposta como um número ou categoria, ex: "Quase certo") é amplamente utilizada para extrair estimativas de incerteza de modelos de caixa-preta. No entanto, a mecânica interna de como esses modelos geram tais pontuações permanece um mistério.

Os autores investigam duas questões fundamentais:

1. Quando a confiança é computada?
   • Hipótese "Just-in-Time" (JIT): O modelo calcula a confiança apenas no momento em que é solicitado (no final do prompt), integrando as características da pergunta e da resposta naquele instante.
   • Hipótese "Recuperação em Cache" (Cached Retrieval): A confiança é calculada automaticamente durante a geração da resposta e armazenada para recuperação posterior quando a verbalização é solicitada.
2. O que a confiança verbal representa?
   • É apenas uma leitura dos log-probabilidades dos tokens (fluência de geração)?
   • Ou é uma avaliação mais rica da qualidade da resposta (ajuste pergunta-resposta), indicando uma capacidade metacognitiva de segunda ordem?

2. Metodologia

Os pesquisadores utilizaram técnicas de Interpretabilidade Mecanística para rastrear o fluxo de informação de confiança dentro das redes Transformer. O foco foi em intervenções causais e análise de representações internas:

• Direcionamento de Ativação (Activation Steering): Inserção de vetores extraídos de tentativas de alta e baixa confiança em posições específicas (tokens) e camadas para observar a modulação da saída de confiança.
• Correção de Ativação (Activation Patching): Paradigma "corromper-então-restaurar". As ativações dos tokens da resposta foram corrompidas (substituídas pela média) para impedir que o modelo "soubesse" a resposta correta. Em seguida, as ativações limpas foram restauradas seletivamente em posições específicas (ex: token de nova linha após a resposta) para ver se a confiança era recuperada.
• Ruído de Ativação (Activation Noising): Ablação média das ativações em posições críticas para testar a necessidade dessas representações para a geração de confiança.
• Troca de Ativação (Activation Swap): Substituição das ativações de um token de uma tentativa de alta confiança por uma de baixa confiança (e vice-versa) para testar se a informação de confiança é transferível entre tentativas independentemente do conteúdo.
• Bloqueio de Atenção (Attention Blocking): Desativação seletiva de arestas de atenção entre tokens (ex: impedindo que o token de confiança olhe para a resposta) para mapear o fluxo de informação.
• Probing Linear e Particionamento de Variância: Treinamento de classificadores lineares para decodificar a correção e a magnitude da confiança, verificando se a variância explicada vai além das log-probabilidades dos tokens.

3. Principais Contribuições e Resultados

A. A Confiança é Computada via "Recuperação em Cache" (Cached Retrieval)

O estudo refuta a hipótese "Just-in-Time". As evidências convergentes mostram que a representação de confiança emerge antes de o modelo saber que precisará verbalizá-la:

• Posição Chave (PANL): A informação de confiança é coletada no token de nova linha imediatamente após a resposta (Post-Answer-Newline, PANL).
• Fluxo Temporal:
  1. A confiança é agregada a partir dos tokens da resposta nas camadas intermediárias (aprox. camadas 21-25 no Gemma 3).
  2. Essa representação é "cacheada" no PANL.
  3. Posteriormente, é recuperada e transferida para o token de dois-pontos de confiança (Confidence-Colon, CC) nas camadas mais profundas (aprox. camadas 30-35).
  4. Finalmente, é verbalizada na camada final.
• Evidência: O direcionamento de ativação no PANL afeta a confiança final, e o bloqueio de atenção do token de confiança (CC) para os tokens de resposta não altera a saída, indicando que o CC não recalcula a confiança do zero, mas sim recupera o que já foi armazenado no PANL.

B. A Confiança Verbal é Mais do que Log-Probabilidades

Os autores demonstram que a confiança verbal não é apenas uma leitura direta da fluência ou das probabilidades dos tokens gerados:

• Variância Explicada: O particionamento de variância revelou que as ativações no PANL e no CC explicam uma variância substancial na confiança verbal que não é capturada pelas log-probabilidades dos tokens de resposta.
• Avaliação de Segunda Ordem: Isso sugere que o modelo realiza uma avaliação interna mais sofisticada sobre o "ajuste pergunta-resposta" (question-answer fit), capaz de detectar erros mesmo após comprometer-se com uma resposta. Isso alinha-se com modelos de confiança de "segunda ordem" na neurociência, onde a confiança é uma avaliação distinta da decisão primária.

C. Generalização

Os resultados foram replicados em diferentes formatos de prompt (confiança categórica vs. numérica) e em diferentes arquiteturas (Gemma 3 27B e Qwen 2.5 7B), indicando que a recuperação em cache é uma estratégia computacional geral, e não um artefato de prompt específico.

4. Significado e Implicações

1. Metacognição em LLMs: O trabalho fornece evidências de que os LLMs possuem uma capacidade metacognitiva sofisticada. Eles não apenas geram respostas, mas avaliam automaticamente a qualidade dessas respostas durante o processo de geração, armazenando essa avaliação para uso futuro.
2. Calibração e Confiabilidade: Entender que a confiança é um sinal interno rico (e não apenas fluência) abre caminho para intervenções principistas para melhorar a calibração dos modelos, indo além do ajuste de prompts ou fine-tuning genérico.
3. Detecção de Alucinações: Se a confiança é uma avaliação de segunda ordem independente da geração, os modelos podem, em teoria, detectar que uma resposta está errada mesmo após tê-la gerado, o que é crucial para aplicações de alto risco.
4. Mecanismo de Cache: O estudo revela um mecanismo de "cache" de atributos (semelhante ao encontrado em tarefas de recuperação factual) onde o modelo acumula informações sobre a qualidade da resposta em tokens intermediários antes de precisar acessá-las explicitamente.

Conclusão

O artigo demonstra que a confiança verbal em LLMs não é uma reconstrução post-hoc baseada em fluência, mas sim o resultado de uma avaliação automática e sofisticada que ocorre durante a geração da resposta. A confiança é computada, armazenada em um "cache" interno (no token após a resposta) e recuperada quando solicitada, representando uma forma de introspecção computacional que vai além das simples probabilidades de tokens.