Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals

Resumo Técnico: Confiança e Calibração de Oráculos de Ativação para Interpretação Confiável dos Internos de Modelos de Linguagem

Declaração do Problema
Oráculos de ativação são modelos de linguagem ajustados para traduzir estados ocultos de um modelo-alvo em descrições em linguagem natural, permitindo a interpretação de representações internas, como fatos memorizados, objetivos ocultos ou palavras secretas. Embora esses oráculos tenham demonstrado promessa na recuperação de informações que surgem apenas nas ativações, suas saídas atualmente carecem de uma noção de certeza. Essa ausência de confiança calibrada é crítica para decisões acionáveis subsequentes, como auditoria de alinhamento, detecção de engano e elicitação de objetivos ocultos. Técnicas padrão de quantificação de incerteza (UQ), desenvolvidas para modelos não direcionados, não foram rigorosamente avaliadas em oráculos de ativação, que operam como modelos "direcionados", onde o fluxo residual é sobrescrito no momento da inferência com vetores de um modelo-alvo. O problema central abordado é identificar quais métodos de estimativa de confiança permanecem válidos e bem calibrados sob essa perturbação específica de direcionamento.

Metodologia
Os autores avaliaram seis métodos distintos de UQ em dois oráculos de ativação: um oráculo Qwen3-8B lançado e um novo oráculo Qwen3.6-27B treinado (adaptado para uma arquitetura híbrida de atenção linear mais completa). A avaliação utilizou a tarefa "tabu de palavra secreta", onde modelos-alvo são ajustados para manter uma de 20 palavras específicas em segredo. Para cada uma das 6.000 amostras por oráculo (compreendendo 20 palavras-alvo, 100 prompts de contexto e 3 prompts verbalizadores), o oráculo tenta decodificar a palavra secreta a partir do estado oculto injetado.

Os seis métodos avaliados foram:

1. Log-probabilidade (Linha de base): A log-probabilidade conjunta dos tokens da palavra de resposta prevista.
2. Bootstrap de Temperatura: Amostragem de $k=20$ respostas em temperaturas variadas ($T \in \{0.3, \dots, 1.5\}$) e uso da frequência empírica da resposta modal como confiança.
3. Auto-relato Numérico Direto: Solicitar ao oráculo que gere uma pontuação numérica de confiança (0–100) após gerar a resposta.
4. Aceitação de Amostragem por Potência MCMC: Uso de uma cadeia Metropolis-Hastings (MH) de bloco único com amostragem por potência ($\alpha > 1$) e medição da taxa de aceitação empírica.
5. Concordância de Amostragem por Potência MCMC: Execução de $k=10$ cadeias MH independentes e medição da concordância entre cadeias (análogo à auto-consistência).
6. Sensibilidade ao Direcionamento: Varredura do coeficiente de direcionamento ($c$) em torno do valor padrão e medição da estabilidade da resposta decodificada.

O desempenho foi medido usando Precisão, Erro de Calibração Esperado (ECE), Pontuação Brier, Log-verossimilhança Negativa (NLL) e AUROC (capacidade de classificação).

Principais Resultados

• Método de Melhor Desempenho: A frequência do modo do bootstrap de temperatura emergiu como o método melhor calibrado em ambos os modelos. No Qwen3-8B, a temperatura ótima foi $T=1.0$ (ECE 5,7%), e no Qwen3.6-27B, foi $T=1.5$ (ECE 10,3%). A temperatura ótima correlaciona-se com a precisão da tarefa; à medida que o modelo se torna menos preciso (tarefa mais difícil), uma temperatura mais alta (amostragem mais plana) produz melhor calibração.
• Log-probabilidade como Triagem: Embora a log-probabilidade tenha apresentado ECE mais alto que a configuração ótima de bootstrap, ela alcançou alta AUROC (capacidade de classificação) e serve como um sinal de triagem rápido e de baixo custo, especialmente quando aplicada calibração pós-hoc (por exemplo, reescalonamento isotônico).
• Falha do Auto-relato: O auto-relato numérico livre foi o método pior calibrado. No oráculo de 27B, ele foi "anti-calibrado", com o modelo expressando maior confiança em respostas erradas (média 98,9%) do que em respostas corretas (97,6%). Isso replica a lacuna de confiança entre "sonda vs. verbalizado" observada em LLMs padrão, sugerindo que o canal de elicitação em linguagem natural é dominado por priores de treinamento em vez do sinal fundamentado nas ativações.
• Falha da Aceitação MCMC: A razão de aceitação da cadeia única MCMC falhou em distinguir entre saídas corretas e incorretas (AUROC ~0,53–0,60). Os autores atribuem isso à distribuição condicional direcionada sendo fortemente picada na resposta gananciosa; consequentemente, a cadeia MH aceita propostas independentemente da correção, saturando a taxa de aceitação.
• Sensibilidade ao Direcionamento: Este método produziu valores de confiança grosseiros e discretos (0,2, 0,4, etc.) e calibração pobre (ECE > 40%), tornando-o inadequado como sinal probabilístico, embora possa servir como um diagnóstico binário.

Contribuições

1. Primeira Avaliação de UQ para Oráculos de Ativação: O artigo estabelece a primeira avaliação sistemática de quantificação de incerteza especificamente para oráculos de ativação direcionados, cobrindo seis métodos em dois modelos e quatro métricas de calibração.
2. Avaliação de Métodos Novos: Introduz e avalia três métodos projetados especificamente para o cenário de oráculo direcionado (aceitação MCMC, concordância MCMC e sensibilidade ao direcionamento), fornecendo explicações mecânicas para por que a aceitação MCMC e a sensibilidade ao direcionamento produzem resultados negativos neste contexto.
3. Receita Prática: Os autores propõem uma estratégia prática de ajuste: selecionar a temperatura do bootstrap de modo que a frequência média do modo em uma fatia de palavras mantida corresponda à precisão empírica nessa fatia.
4. Replicação de Lacunas de Confiança: O estudo confirma que a lacuna entre sinais de ativação internos e confiança verbalizada existe em oráculos de ativação, com o auto-relato livre falhando em capturar o sinal de incerteza presente nos estados ocultos.
5. Lançamento de Novo Oráculo: O artigo lança o primeiro oráculo de ativação para uma arquitetura híbrida de atenção linear mais completa (Qwen3.6-27B), juntamente com o treinador corrigido e os pesos do verbalizador.

Significado e Alegações
O artigo afirma que, para praticantes construindo sistemas em oráculos de ativação, a frequência do modo do bootstrap de temperatura é o sinal de confiança pronto para produção, com a temperatura ajustada para corresponder à precisão empírica. Embora a log-probabilidade seja menos calibrada, ela permanece uma alternativa viável e de baixo custo para triagem se combinada com reescalonamento pós-hoc.

Os autores afirmam explicitamente que as razões de aceitação MCMC não são sinais de confiança adequados para esta tarefa devido à natureza fortemente picada do posterior direcionado. Além disso, eles alertam que o auto-relato numérico livre é pouco confiável e anti-calibrado neste cenário. O estudo sugere que, se for necessária UQ introspectiva, a pontuação de rótulos restrita (contornando a geração de texto livre) pode recuperar o sinal, conforme demonstrado em um pequeno estudo piloto.

O trabalho é modesto em seu escopo, observando que os resultados são baseados em dois modelos da família Qwen e em uma receita de treinamento. Embora a consistência entre os modelos sugira uma alegação de nível de paradigma, os autores não afirmam generalidade em todas as arquiteturas. As descobertas enfatizam que a interpretação confiável dos internos de modelos de linguagem requer não apenas a decodificação do estado oculto, mas também a quantificação rigorosa da confiança dessa decodificação, para a qual os métodos de bootstrap oferecem atualmente a solução mais robusta.