💬 NLP

Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

Este artigo investiga se os grandes modelos de linguagem possuem conhecimento interno privilegiado sobre a correção das respostas, revelando que, embora as autorrepresentações não ofereçam vantagem em benchmarks padrão devido ao alto grau de concordância entre os modelos, elas proporcionam uma vantagem específica de domínio em tarefas factuais sobre modelos concorrentes quando avaliadas em subconjuntos de discordância, ao contrário do que ocorre no raciocínio matemático.

Autores originais: Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

Publicado 2026-04-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar se a resposta de um aluno em uma prova está correta. Você tem duas maneiras de fazer isso:

O Estrangeiro: Você olha para a resposta escrita do aluno e para a própria pergunta.
O Intimo: Você espreita dentro do cérebro do aluno (seus pensamentos ocultos) enquanto ele pensa.

Por muito tempo, os pesquisadores se perguntaram: O aluno possui um "sentimento instintivo" secreto dentro de seu cérebro que lhe diz se ele está certo, o qual um estrangeiro não consegue ver? Esse sentimento secreto é chamado de "conhecimento privilegiado".

Este artigo investiga se os Modelos de Linguagem de Grande Escala (LLMs) — os cérebros de IA por trás dos chatbots — possuem esse tipo de conhecimento interno secreto sobre suas próprias respostas.

O Problema: A "Máscara do Consenso"

Os pesquisadores encontraram um problema complicado em estudos anteriores. Imagine uma sala de aula onde 90% dos alunos concordam com a resposta para cada pergunta. Se você é um estrangeiro tentando adivinhar se o Aluno A está certo, você pode apenas olhar para o que o Aluno B escreveu. Como eles geralmente concordam, você pode adivinhar o resultado do Aluno A apenas olhando para o cérebro do Aluno B.

Como os modelos concordam tão frequentemente, a visão do "estrangeiro" parece tão boa quanto a do "intimo". Era como se o sinal interno secreto estivesse sendo mascarado pelo consenso. Os pesquisadores perceberam que, se todos concordam, você não consegue dizer se o sinal secreto realmente existe.

A Solução: O Teste de "Desacordo"

Para corrigir isso, os pesquisadores criaram um teste especial usando apenas as perguntas onde os modelos discordaram.

Cenário: O Modelo A acha que a resposta é "Sim". O Modelo B acha que a resposta é "Não".
O Teste: Nestes casos complicados, o cérebro do Modelo B não pode ajudá-lo a adivinhar o resultado do Modelo A. Se você ainda puder adivinhar a correção do Modelo A melhor olhando dentro do cérebro do Modelo A do que olhando para o cérebro do Modelo B, então o Modelo A possui verdadeiramente um sinal interno secreto.

A Grande Descoberta: Depende do Assunto

Quando realizaram esse "teste de desacordo", encontraram uma divisão surpreendente entre dois tipos de tarefas:

1. Conhecimento Factual (O Teste de "Memória")

Exemplos: "Quem foi o primeiro presidente?" ou "Qual é a capital da França?"
Resultado: Sim, o sinal secreto existe.
A Analogia: Pense nisso como um bibliotecário. Quando um bibliotecário retira um livro específico de uma prateleira, ele tem uma sensação interna única de "Eu sei este fato". Mesmo que outro bibliotecário discorde, o estado interno do primeiro bibliotecário contém um sinal especial que diz: "Estou recuperando esta memória específica". Os pesquisadores descobriram que as ondas cerebrais internas da IA mostravam uma vantagem clara na previsão da correção para esses fatos, algo que os estrangeiros não conseguiam ver.

2. Raciocínio Matemático (O Teste de "Lógica")

Exemplos: Resolver um problema complexo de álgebra ou um problema de texto sobre contas de poupança.
Resultado: Não, o sinal secreto está ausente.
A Analogia: Pense nisso como um mecânico consertando um carro. Se dois mecânicos olham para o mesmo motor quebrado, a dificuldade está na estrutura do motor, não em uma memória secreta. A IA não possui um sentimento especial de "Eu sei que estou certo" sobre a matemática. As pistas que dizem se a matemática está correta estão todas visíveis na superfície (a pergunta e os passos lógicos). Um estrangeiro olhando para o problema pode prever o sucesso da IA tão bem quanto a própria IA pode prever.

Onde o Sinal Secreto se Esconde?

Os pesquisadores também examinaram onde, no "cérebro" da IA (suas camadas de processamento), esse sinal secreto aparece.

Para Fatos: O sinal começa pequeno nas camadas iniciais (onde a IA lê as palavras) e cresce mais forte à medida que a informação se move mais profundamente no cérebro. É como um processo de recuperação de memória que se acumula conforme a IA pensa sobre isso.
Para Matemática: O sinal nunca realmente aparece. A "dificuldade" do problema matemático é visível em cada camada individual, do início ao fim.

Resumo

O artigo conclui que os modelos de IA possuem conhecimento privilegiado, mas apenas para fatos que memorizaram. Eles sabem quando estão recuperando uma memória. No entanto, eles não possuem esse conhecimento secreto para matemática ou lógica; nesses casos, sua confiança é tão visível para o mundo exterior quanto é para si mesmos.

A razão pela qual estudos anteriores perderam isso foi que os modelos concordavam demais, escondendo a diferença entre "saber um fato" e "resolver um problema". Ao olhar apenas para os momentos em que discordaram, os pesquisadores finalmente descobriram a verdade.

1. O Problema

O artigo investiga se os Grandes Modelos de Linguagem (LLMs) possuem conhecimento privilegiado sobre a corretude de suas próprias respostas. Esse conceito, inspirado na filosofia da mente (epistemic privilege), refere-se à ideia de que um agente tem acesso a estados internos que não podem ser totalmente recuperados apenas pela observação externa.

Embora estudos anteriores tenham mostrado que é possível prever a corretude de uma resposta usando "sondas" (probes) treinadas em estados ocultos internos, pesquisas recentes (como Chi et al., 2025; Seo et al., 2025) sugerem que essa previsão pode não ser baseada em sinais internos únicos, mas sim em padrões superficiais da pergunta ou em sinais que modelos externos também conseguem capturar. O problema central é que avaliações padrão podem estar mascaradas pelo consenso: se dois modelos concordam frequentemente sobre quais perguntas acertam ou erram, um modelo externo pode usar seus próprios padrões de corretude como um "proxy" (substituto) para prever a corretude do modelo alvo, ocultando a existência (ou inexistência) de sinais internos verdadeiramente privilegiados.

2. Metodologia

Os autores propõem um framework experimental rigoroso para isolar e medir esse conhecimento privilegiado, definindo-o como a vantagem de desempenho de um classificador treinado nos estados internos do próprio modelo ("Self-Probe") em comparação com um classificador treinado nos estados de um modelo externo ("External-Probe").

A. Definição de Conhecimento Privilegiado

O estado oculto $h$ é modelado como a soma de duas componentes latentes:

$z_{public}$ : Características inerentes à pergunta (domínio, tipos de entidades) acessíveis a qualquer modelo.
$z_{private}$ : Estados internos específicos do modelo (sucesso na recuperação de memória, confiança no raciocínio). O conhecimento privilegiado refere-se exclusivamente a $z_{private}$ .

B. A Lacuna de Prêmio (Premium Gap)

A métrica principal é a diferença de desempenho (AUC) entre o Self-Probe e o melhor External-Probe.

Se a lacuna for zero, sugere-se que não há conhecimento privilegiado ou que ele está mascarado.
Se a lacuna for positiva, indica a existência de sinais internos únicos.

C. O Fator de Confusão: Acordo Inter-Modelo

Os autores identificam que, em amostras aleatórias, a alta taxa de acordo entre modelos (aprox. 80% em tarefas factuais) permite que sondas externas explorem os padrões de corretude do modelo externo para prever o alvo, mascarando a lacuna de prêmio.

D. Subconjuntos de Discordância (Disagreement Subsets)

Para resolver o problema do consenso, os autores avaliam o desempenho apenas em subconjuntos de discordância: perguntas onde o modelo alvo e o modelo externo produzem rótulos de corretude opostos.

Estratégia: As sondas são treinadas no conjunto de dados completo (para aprender os padrões gerais), mas a avaliação ocorre estritamente nos casos onde os modelos discordam. Isso elimina a capacidade do modelo externo de usar seu próprio padrão de corretude como proxy, forçando a sondagem a depender de sinais genuinamente internos ou de características públicas da pergunta.

E. Configuração Experimental

Modelos: Três LLMs de tamanho similar (Qwen-2.5-7B, Llama-3.1-8B, Gemma-2-9B) e um modelo de embeddings.
Datasets: Cinco conjuntos de dados cobrindo conhecimento factual (Mintaka, TriviaQA, HotPotQA) e raciocínio matemático (GSM1K, MATH).
Métodos de Sondagem: Regressão logística linear e MLPs (Multi-Layer Perceptrons) não lineares, aplicados em camadas intermediárias e finais.

3. Principais Contribuições

Identificação do Viés de Consenso: Demonstram que a ausência de conhecimento privilegiado relatada em trabalhos anteriores pode ser um artefato de avaliações que não isolam a discordância entre modelos.
Método de Subconjuntos de Discordância: Introduzem uma metodologia para isolar sinais internos genuínos, removendo a correlação espúria causada pelo acordo inter-modelo.
Assimetria de Domínio: Revelam que o conhecimento privilegiado não é uma propriedade universal dos LLMs, mas sim específica do domínio: existe em tarefas factuais, mas está ausente em raciocínio matemático.
Localização em Camadas: Mapeiam onde esses sinais emergem na arquitetura da rede, mostrando uma progressão temporal diferente para fatos versus matemática.

4. Resultados Chave

A. Conjuntos de Teste Completos vs. Discordância

Conjunto Completo: Não há vantagem significativa do Self-Probe sobre sondas externas em nenhuma tarefa. Isso confirma a hipótese de que o consenso mascara os sinais internos.
Subconjunto de Discordância (Fatos): Surge uma lacuna de prêmio estatisticamente significativa (cerca de 5%) em todas as configurações de modelos e datasets factuais. Isso prova que, quando o modelo externo falha em prever a corretude baseada em padrões compartilhados, o modelo alvo ainda possui sinais internos únicos sobre sua própria performance.
Subconjunto de Discordância (Matemática): Não há lacuna de prêmio. Mesmo em casos de discordância, as sondas externas performam tão bem quanto as internas. Isso sugere que a dificuldade do raciocínio matemático é governada pela estrutura do problema (fator público), e não por estados internos específicos do modelo.

B. Análise por Camadas (Per-Layer Analysis)

Tarefas Factuais: O conhecimento privilegiado emerge progressivamente a partir das camadas intermediárias (aprox. camada 10-15 em modelos de ~8B parâmetros) e se fortalece nas camadas mais profundas. Isso é consistente com a recuperação de memória específica do modelo que se acumula durante a passagem forward.
Raciocínio Matemático: Não há vantagem consistente em nenhuma profundidade da rede. Os sinais de corretude matemática parecem ser acessíveis publicamente em todas as camadas.

C. Análise de Sinais Linguísticos

Ao remover a sintaxe e manter apenas entidades e substantivos (Lexical-Only), os autores observam que a previsão de corretude em tarefas factuais e no dataset MATH depende fortemente da familiaridade com os conceitos (entidades). Em contraste, a corretude em GSM1K (matemática básica) depende da estrutura computacional do problema, que é destruída pela remoção da sintaxe, explicando por que a "privacidade" do sinal não se manifesta ali.

5. Significado e Implicações

Reconciliação de Resultados Conflitantes: O trabalho resolve a aparente contradição entre estudos que afirmam que LLMs têm autoconsciência e estudos que dizem o contrário. A verdade é que eles têm, mas apenas em domínios específicos (fatos) e apenas quando o "ruído" do consenso é removido.
Detecção de Alucinações: A descoberta de que modelos possuem sinais internos de corretude em tarefas factuais sugere que ferramentas de "caixa preta" podem estar perdendo informações críticas. Sinais de ativação específicos do modelo poderiam ser usados para detectar alucinações com maior precisão do que métodos baseados apenas em consistência externa.
Limitações e Futuro: O estudo é limitado a modelos de 7B-9B parâmetros e não explora causalidade direta (embora sugira que o direcionamento de ativação poderia modular a corretude). O trabalho abre caminho para investigar conhecimento privilegiado em domínios híbridos (como programação) e para o desenvolvimento de mecanismos de monitoramento interno mais robustos.

Em resumo, o artigo demonstra que os LLMs possuem um "olho interno" para a corretude de fatos, mas esse olho é cego para a complexidade estrutural do raciocínio matemático, e que a detecção desse fenômeno exige metodologias que vão além da avaliação padrão baseada em consenso.