🤖 machine learning

Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs

Este artigo demonstra que um sinal de veracidade linearmente separável que codifica alucinação está fortemente presente nos estados ocultos de camadas intermediárias de LLMs de código aberto quantizados em 4 bits, permitindo a detecção com pontuações de AUROC próximas da perfeição usando sondas lineares simples, enquanto métodos baseados em amostragem apresentam desempenho significativamente inferior sob o mesmo protocolo de avaliação.

Autores originais: Aizierjiang Aiersilan

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aizierjiang Aiersilan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente robô muito inteligente, mas um pouco pouco confiável. Às vezes ele diz a verdade e, às vezes, inventa fatos que parecem convincentes, mas que são completamente errados (isso é chamado de "alucinação").

Este artigo é como um relatório de detetive tentando descobrir: Como podemos saber se o robô está mentindo e onde, em seu "cérebro", a mentira está escondida?

Os pesquisadores testaram isso em três cérebros de robôs populares e de código aberto (Llama, Mistral e Qwen) que foram encolhidos para caber em um computador domésto padrão (usando uma técnica chamada "quantização de 4 bits", que é como comprimir um filme de alta definição em um arquivo pequeno sem perder muita qualidade).

Aqui está o que eles descobriram, explicado de forma simples:

1. O "Detector de Verdade" é uma Linha Simples

Os pesquisadores tentaram duas maneiras principais de pegar o robô mentindo:

A Abordagem do "Jogador" (Amostragem): Pergunte a mesma coisa ao robô 10 vezes. Se ele der 10 respostas diferentes, talvez esteja confuso ou mentindo. Se ele der a mesma resposta todas as vezes, talvez esteja dizendo a verdade.
A Abordagem do "Raio-X" (Sondagem): Olhe diretamente dentro do cérebro do robô enquanto ele pensa. Especificamente, eles observaram os "estados ocultos" (os sinais elétricos entre as camadas do cérebro) para ver se existe um padrão que diga "Verdade" ou "Mentira".

O Resultado: A abordagem do "Raio-X" foi uma vencedora absoluta. Ao olhar para apenas uma camada específica no meio do cérebro do robô, uma ferramenta matemática muito simples (uma "sonda linear") conseguia dizer se o robô estava mentindo com 90% a 100% de precisão.

A abordagem do "Jogador" (perguntar 10 vezes) foi basicamente inútil neste teste específico, não performando melhor do que jogar uma moeda para o alto (cerca de 50% de precisão).

2. Onde no Cérebro está a Mentira?

Os pesquisadores descobriram que o "sinal da verdade" não está em todo lugar. É como um quarto específico em um arranha-céu onde a verdade está escrita na parede.

Para os robôs Llama e Mistral (que têm 32 andares), a verdade é mais visível nos andares 13 a 18.
Para o robô Qwen (que tem 28 andares), a verdade é mais visível nos andares 19 a 25.

Se você verificar o cérebro do robô nesses "andares" específicos, pode saber quase instantaneamente se ele está sendo honesto.

3. Por que a Abordagem do "Jogador" Falhou

Você pode se perguntar: "Por que perguntar a mesma coisa 10 vezes não funcionou?"
O artigo explica isso com uma distinção inteligente:

A Sonda (Raio-X) recebeu uma resposta específica (ex: "A capital da França é Paris") e perguntou: "O seu cérebro reconhece isso como verdadeiro?" Ela observou a reação interna do robô a aquela frase específica.
O Jogador (Amostragem) apenas recebeu uma pergunta e foi instruído a "escrever 10 histórias diferentes". Ele mediu o quão confuso o robô estava sobre a pergunta, não se uma resposta específica era verdadeira.

Como o teste foi configurado para verificar respostas específicas, o "Jogador" estava procurando no lugar errado. Era como tentar encontrar um erro de digitação específico em um documento pedindo ao autor para escrever o documento 10 vezes do zero, em vez de apenas ler o documento uma vez.

4. A "Linha Simples" vs. A "Máquina Complexa"

Os pesquisadores tentaram usar uma ferramenta matemática super complexa (um MLP) para encontrar as mentiras, pensando que ela poderia ser mais inteligente que uma ferramenta simples.
A Surpresa: A ferramenta complexa não foi muito melhor que a ferramenta simples. A "verdade" no cérebro do robô é, na verdade, muito direta — é quase como uma linha reta. Você não precisa de um supercomputador para encontrá-la; uma régua simples funciona muito bem.

5. A Pista da "Atenção"

Havia outro truque que funcionava bem, mas apenas quando o robô estava lendo um texto específico (como um artigo da Wikipedia).
Eles observaram a "atenção" do robô (no que ele está focando) no primeiríssimo passo.

Se o robô estava dizendo a verdade baseada no texto, sua atenção estava focada e calma.
Se o robô estava alucinando, sua atenção estava dispersa e confusa.
Isso deu uma pista muito forte (até 94% de precisão) sem precisar de matemática extra ou tempo adicional.

A Grande Conclusão

Se você quiser pegar um pequeno robô de IA comprimido mentindo sobre fatos:

Não pergunte a mesma coisa 10 vezes (isso desperdiça tempo e não funciona bem aqui).
Sim, dê uma espiada dentro do cérebro dele nas camadas intermediárias (por volta da 15ª ou 20ª camada).
Você pode usar uma verificação matemática muito simples e rápida para detectar a mentira com precisão quase perfeita.

O artigo conclui que, para esses tipos específicos de testes, olhar dentro do cérebro do robô é muito mais rápido e preciso do que pedir que ele se repita.

Resumo Técnico: Alucinação é Linearmente Decodificável de Estados Ocultos de Camadas Intermediárias em LLMs Quantizados

Declaração do Problema
As alucinações — gerações fluentes, mas factualmente não sustentadas — permanecem um modo de falha crítico para Grandes Modelos de Linguagem (LLMs) em implantações do mundo real. Detectar esses erros durante a inferência é uma necessidade prática. As abordagens de detecção existentes geralmente se dividem em duas categorias:

Métodos baseados em amostragem (sampling-based): Estes geram múltiplas continuações estocásticas para um prompt e sinalizam alucinações com base em discordância lexical, semântica ou de estado interno (ex: Self-Consistency, Semantic Entropy, INSIDE). Esses métodos são computacionalmente caros, exigindo $K \ge 5$ passagens de forward extras por prompt.
Métodos baseados em representação: Estes treinam pequenos classificadores (probes) para decodificar a veracidade diretamente dos estados ocultos intermediários do modelo. Estes exigem apenas uma única passagem de forward, mas raramente são comparados diretamente com métodos de amostragem em modelos idênticos, particularmente no regime quantizado e de recursos limitados utilizado por praticantes.

Metodologia
Os autores propõem um framework de avaliação unificado projetado para rodar de ponta a ponta em uma única GPU de consumo (8 GB VRAM) usando quantização 4-bit NF4.

Modelos: Três modelos instruídos de 7B–8B foram avaliados: Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3 e Qwen2.5-7B-Instruct.
Datasets: Quatro benchmarks foram utilizados, cada um fornecendo respostas verdadeiras (label=1) e alucinadas (label=0) pareadas para o mesmo prompt para garantir um equilíbrio de classe quase perfeito de 50:50:
- TruthfulQA: Questões de múltipla escolha com distratores plausíveis, mas incorretos.
- HaluEval-QA: QA condicionado ao conhecimento com passagens de evidência explícitas.
- FEVER: Alegações apoiadas ou refutadas por Wikipedia.
- Synthetic: Pares controlados de afirmações verdadeiras/falsas sobre fatos do mundo.
Protocolos de Detecção: Quatro métodos foram avaliados sob um protocolo de rótulo pareado, onde a resposta candidata é fornecida ao modelo em vez de ser gerada:
1. Probes Lineares e MLP (estilo SAPLMA): Classificadores treinados em estados ocultos por camada (pooling do último token) para prever a veracidade.
2. INSIDE EigenScore: Um método baseado em amostragem que mede o log-determinante da covariância dos estados ocultos através de $K=10$ conclusões estocásticas.
3. Self-Consistency: Medição de concordância entre $K=5$ conclusões via pluralidade de correspondência exata e similaridade de embedding de sentença.
4. Entropia de Atenção: Resumo da entropia de Shannon da distribuição de atenção do último token em blocos específicos do transformer.

Resultados Principais
O estudo produz três descobertas primárias sobre o desempenho e a natureza destes detectores:

Superioridade dos Probes em Configurações de Rótulo Pareado: Probes lineares em camadas médias únicas alcançam pontuações de AUROC entre 0,904 e 1,000 em todos os modelos e datasets. Em contraste, métodos baseados em amostragem (INSIDE e Self-Consistency) performam próximo ao acaso, com pontuações de AUROC nunca excedendo 0,541.
Linearidade do Sinal de Veracidade: O sinal é aproximadamente linear. Probes MLP raramente superam os probes lineares por mais de 0,01 de AUROC, sugerindo que a direção da veracidade é um subespaço linear dentro da representação do estado oculto.
Camadas de Pico de Probing Consistentes: O "sinal de veracidade" atinge o pico em uma banda consistente de camadas através das famílias de modelos:
- Llama & Mistral (32 camadas): Blocos 13–18.
- Qwen (28 camadas): Blocos 19–25.
- Em benchmarks de linguagem natural, o pico está consistentemente na segunda metade da rede.
Entropia de Atenção como um Sinal Complementar: Em configurações baseadas em conhecimento (HaluEval-QA), a entropia de atenção do primeiro bloco transformer fornece um sinal forte (AUROC 0,866–0,941) sem custo adicional de inferência. Este sinal não se generaliza para datasets que carecem de passagens de evidência explícitas.
Robustez à Quantização: O alto desempenho de detecção é mantido sob quantização 4-bit NF4, com o pico de AUROC atingindo 0,998 no HaluEval-QA e 1,000 no benchmark sintético.

Significância e Alegações
O artigo alega que a fraqueza observada dos métodos de amostragem não é uma limitação inerente a essas técnicas, mas sim um desajuste estrutural entre o protocolo de avaliação e a informação acessada:

O Desajuste: No protocolo de rótulo pareado, os probes observam a representação interna do modelo de uma resposta fornecida, permitindo detectar se o modelo distingue internamente aquela resposta como verdadeira. Por outro lado, métodos de amostragem medem a incerteza generativa do modelo sobre o prompt isolado, que possui correlação fraca com a veracidade de uma resposta candidata específica e pré-fornecida.
Implicação Prática: Para detecção de caixa-branca (white-box) dentro de um único modelo implantado, o probing de estados ocultos é tanto mais eficaz quanto significativamente menos caro (uma única passagem de forward) do que abordagens de amostragem.
Implantação: Os resultados sugerem que probes lineares podem ser implantados em hardware de consumo junto com modelos quantizados sem o overhead de desquantização ou múltiplas gerações.

Os autores concluem que, embora métodos de amostragem possam recuperar eficácia em configurações de "gerar-e-julgar" (generate-then-judge), a natureza linearmente decodificável dos sinais de alucinação nos estados ocultos de camadas médias oferece uma alternativa altamente eficiente para detectar erros factuais em LLMs instruídos e quantizados.