Resumo Técnico: Diagnosticando Sondas de Correção sob o Confundimento de Autojulgamento

Declaração do Problema

As leituras de estados ocultos em Grandes Modelos de Linguagem (LLMs) podem prever se os outputs do modelo são factualmente corretos. No entanto, existe uma ambiguidade semântica crítica: a correção objetiva (OC) — se uma resposta se alinha com a verdade externa — tipicamente correlaciona-se fortemente com o autojulgamento do próprio modelo (SJ) — se o modelo acredita que sua resposta está correta. Como essas variáveis geralmente concordam, os contrastes convencionais rotulados por correção (ex: comparar respostas corretas vs. incorretas) frequentemente confundem os correlatos neurais da verdade externa com a postura avaliativa interna do modelo.

A questão central é se uma "direção de verdade" transferível, extraída de estados ocultos, representa a relação entre uma resposta e a verdade externa, ou meramente a própria avaliação do modelo sobre essa resposta. Trabalhos anteriores mostraram que direções relacionadas à verdade podem ser transferidas entre tarefas e transformações lógicas, mas a reusabilidade por si só não identifica a variável específica que uma leitura representa. Esta ambiguidade é particularmente problemática quando OC e SJ discordam, pois sondas padrão podem inadvertidamente aprender a prever a confiança ou o endosso do modelo em vez da precisão factual.

Metodologia

Desenho Experimental: O Conjunto de Conflito

Para distinguir OC de SJ, os autores constroem um "conjunto de conflito" cruzando essas duas variáveis binárias, criando quatro tipos de resposta:

• A (1,1): Objetivamente Correta, Autoendossada.
• B (1,0): Objetivamente Correta, Auto-rejeitada (Falso Negativo).
• C (0,1): Objetivamente Incorreta, Autoendossada (Falso Positivo).
• D (0,0): Objetivamente Incorreta, Auto-rejeitada.

A comparação diagnóstica crítica é entre B e C. Uma direção associada a OC deve classificar B (correta) acima de C (incorreta). Inversamente, uma direção associada a SJ deve classificar C (endossada) acima de B (rejeitada).

Decomposição Fatorial

Os autores propõem uma decomposição fatorial do contraste misto padrão ($W_{mix} = \mu_A - \mu_D$) em dois efeitos principais ortogonais:

1. $W_{meta}$ (associada a SJ): $[(\mu_A - \mu_B) + (\mu_C - \mu_D)] / 2$. Isso captura o efeito marginal do autojulgamento do modelo.
2. $W_{truth}$ (associada a OC): $[(\mu_A - \mu_C) + (\mu_B - \mu_D)] / 2$. Isso captura o efeito marginal da correção objetiva.

Sob um modelo associativo linear, $W_{mix}$ é a soma desses dois componentes. O estudo avalia qual componente preserva sua polaridade semântica (classificação) quando transferido entre domínios.

Dados e Modelos

• Modelos: Quatro LLMs ajustados por instrução com até 14 bilhões de parâmetros (Qwen2.5-7B/14B, Llama-3.1-8B, OLMo-3-7B).
• Domínios:
  • Fonte: Raciocínio matemático (Math) e Recalque factual (Movies).
  • Alvo (Fora de Distribuição): MMLU (4 escolhas) e TruthfulQA Binário.
• Procedimento:
  1. Gerar múltiplas respostas por pergunta.
  2. Filtrar por "pares estritos": perguntas onde o modelo produz pelo menos uma resposta correta e uma incorreta, e ambas são julgadas com alta confiança ($p_{judge} \ge 0.7$ ou $\le 0.3$).
  3. Extrair estados ocultos no token final da resposta.
  4. Ajustar direções nos domínios de origem e avaliar nos domínios alvo sem novo ajuste (zero-target-fitting).
  5. Medir o desempenho usando a Área Sob a Curva (AUC) para classificação de pares de conflito (B vs. C).

Principais Resultados

1. Sondas Convencionais Seguem o Autojulgamento

No Experimento 1, a direção mista padrão ($W_{mix}$) foi avaliada em conflitos B/C. Contrariamente à expectativa de que priorizaria a correção objetiva, $W_{mix}$ consistentemente classificou C (errada/autoendossada) acima de B (correta/auto-rejeitada). Isso ocorreu mesmo para uma direção de controle "apenas OC" ajustada sem rótulos de SJ, sugerindo que as sondas de correção padrão são dominadas pela postura avaliativa do modelo, e não pela verdade externa.

2. Transferibilidade Assimétrica

No Experimento 2B (transferência entre domínios), os autores testaram se $W_{meta}$ e $W_{truth}$ preservam suas classificações esperadas em domínios alvo:

• $W_{meta}$ (associada a SJ): Transferiu-se com sucesso através de todos os modelos e direções (Math $\leftrightarrow$ Movies, e para MMLU/TruthfulQA). Classificou consistentemente C acima de B com AUCs significativamente acima do acaso (0.57–0.93).
• $W_{truth}$ (associada a OC): Falhou em transferir. Em quase todas as condições, a direção associada a OC classificou C acima de B (AUC < 0.5), efetivamente revertendo a ordem esperada. Ela não preservou a semântica de "correção" no domínio alvo.

3. Robustez e Controles

Os achados foram robustos através de múltiplos controles:

• Profundidade da Camada: A assimetria de transferência emerge em camadas médias a tardias (profundidade normalizada 0.40–0.80).
• Controles Nulos: Direções aleatórias e controles de rótulos embaralhados não replicaram o padrão.
• Fatores de Confundimento: Os resultados persistiram após controlar contagem de tokens de resposta, log-probabilidade da resposta e identidade da opção de resposta em tarefas de escolha forçada.
• Generalização OOD: O sinal associado a SJ transferiu-se para MMLU e TruthfulQA sem qualquer ajuste de direção nesses datasets específicos.

Principais Contribuições

1. Diagnóstico Semântico de Leituras: O artigo fornece um método para distinguir se uma leitura transferível representa a verdade objetiva ou a autoavaliação do modelo, explorando casos onde essas variáveis conflitam.
2. Identificação de Confundimento: Demonstra que "direções de verdade" encontradas na literatura anterior são frequentemente confundidas pelo autojulgamento do modelo. Quando OC e SJ discordam, o sinal que se transfere é o associado ao endosso do modelo, não à verdade externa.
3. Estrutura de Decomposição Fatorial: A introdução de $W_{meta}$ e $W_{truth}$ como componentes distintos e estimáveis oferece uma forma rigorosa de separar esses sinais semânticos na análise de estados ocultos.

Significância e Alegações

O artigo conclui que a transferibilidade por si só é insuficiente para estabelecer semântica de correção objetiva em leituras de LLMs. Embora uma direção possa generalizar entre tarefas, ela pode estar rastreando a confiança interna ou a postura avaliativa do modelo em vez da verdade factual.

• Interpretação: O componente mais confiávelmente transferível em sondas de correção é o associado ao Autojulgamento (SJ). Isso sugere que os modelos possuem uma representação interna robusta de sua própria certeza ou "endosso" de uma resposta, que é distinta de e frequentemente sobrepõe a representação da verdade objetiva em cenários de conflito.
• Implicação: Alegações de que LLMs possuem "acesso introspectivo privilegiado" ou que estados ocultos específicos codificam a "verdade" devem ser reavaliadas. Se uma sonda prevê a correção, mas falha quando o modelo está confiantemente errado, ela provavelmente está medindo a crença do modelo em sua própria saída, em vez da validade factual da saída.
• Escopo: Os autores observam que seu diagnóstico amostral é limitado a julgamentos de alta confiança e modelos específicos ajustados por instrução. Eles não alegam ter resolvido o problema da detecção de verdade, mas sim diagnosticado uma ambiguidade fundamental nas metodologias atuais de sondagem. Os achados sugerem que trabalhos futuros sobre veracidade devem explicitamente considerar e separar os sinais de autoavaliação do modelo da correção objetiva.