💬 NLP

Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models

Este estudo revela que a capacidade de modelos de linguagem autoregressivos de detectar alucinações antes da geração de tokens depende de uma transição de fase em escala (acima de ~1B de parâmetros) e é significativamente aprimorada pelo ajuste de instruções, indicando que a organização do conhecimento, e não apenas o tamanho do modelo, é crucial para codificar sinais de factualidade pré-comprometidos.

Autores originais: Dip Roy, Rajiv Misra, Sanjay Kumar Singh, Anisha Roy

Publicado 2026-04-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dip Roy, Rajiv Misra, Sanjay Kumar Singh, Anisha Roy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🧠 O Segredo antes da Primeira Palavra: Quando a IA "Sabe" que Está Mentindo?

Imagine que você está conversando com um amigo. Às vezes, antes mesmo dele abrir a boca para responder a uma pergunta difícil, você consegue "ler" a expressão dele e perceber: "Ei, ele não tem certeza disso" ou "Ele vai inventar uma história agora".

Este artigo de pesquisa tenta descobrir se os Modelos de Linguagem (como o ChatGPT) fazem algo parecido. Será que, antes de gerar a primeira palavra de uma resposta, o modelo já "decidiu" internamente se vai falar a verdade ou se vai alucinar (inventar fatos)?

Os pesquisadores descobriram que a resposta depende muito do tamanho do modelo e de como ele foi treinado.

📏 A Analogia do "Tamanho da Mente"

Para entender o estudo, imagine que os modelos de IA são como estudantes em uma sala de aula, mas com tamanhos diferentes:

1. Os Pequenos (Menos de 400 milhões de parâmetros)

A Analogia: Imagine uma criança pequena tentando responder a perguntas de um teste de física quântica.
O que acontece: Ela não tem conhecimento suficiente. Quando você pergunta algo, ela começa a pensar, tenta adivinhar, e só enquanto está falando é que percebe que está errando.
A Descoberta: Os modelos pequenos não têm um "sinal de mentira" interno. Eles não sabem que estão mentindo antes de começar. Se você tentar ler a "mente" deles (analisar os dados internos) antes da resposta, não encontrará nada confiável. É como tentar ler a intenção de alguém que nem sabe o que vai dizer.

2. Os Médios (Entre 1 bilhão e 1,5 bilhão de parâmetros)

A Analogia: Um adolescente inteligente que já leu muitos livros, mas ainda está aprendendo a organizar as ideias.
O que acontece: Aqui começa a mágica. O modelo grande o suficiente para ter um "plano". Antes de falar a primeira palavra, ele já processou a pergunta e, internamente, já decidiu: "Ok, vou responder isso".
A Descoberta: Nesses modelos, existe um sinal claro no momento exato em que o prompt (a pergunta) termina e a resposta ainda não começou. É como se o modelo dissesse internamente: "Atenção, vou falar algo que pode ser falso" antes mesmo de abrir a boca. Esse sinal é forte e detectável.

3. Os Gigantes (7 Bilhões de parâmetros) – A Grande Surpresa

A Analogia: Aqui temos dois tipos de gigantes:
- O Gigante "Bruto" (Pythia-6.9B): Um gênio que leu a internet inteira, mas nunca foi ensinado a ser útil ou a seguir regras. Ele é inteligente, mas bagunçado.
- O Gigante "Educado" (Qwen2.5-7B): O mesmo tamanho, mas que passou por um "treinamento de boas maneiras" (ajuste fino/instruction tuning), aprendendo a ser útil e preciso.
O que acontece:
- O Gigante Bruto não mostra o sinal de "antes da fala". Mesmo sendo enorme, ele não organiza o pensamento de forma que você possa detectar a mentira antes dela acontecer. Ele é como um gênio que fala sem pensar.
- O Gigante Educado mostra o sinal claramente! O treinamento para seguir instruções fez com que ele organizasse seu conhecimento de forma que ele "sabe" se vai mentir antes de começar a falar.
A Lição: Só ter um cérebro grande (muitos parâmetros) não basta. É preciso ter a educação certa (treinamento de instruções) para que o modelo desenvolva essa "consciência" interna sobre a verdade.

🚦 O Semáforo da Detecção

Os pesquisadores usaram uma técnica chamada "sonda" (probe) para ler esses sinais internos. Eles descobriram:

Para modelos pequenos: Não adianta tentar ler a mente deles antes da resposta. O sinal é fraco ou inexistente. Se você precisa de segurança, precisa de outras soluções (como buscar na internet ou ter um humano revisando).
Para modelos grandes e treinados: Você pode colocar um "semáforo" no momento exato em que a pergunta termina. Se o sinal interno indicar "perigo", o sistema pode bloquear a resposta antes que ela apareça na tela do usuário. É uma detecção preventiva.
O Problema da Correção: O estudo também descobriu uma coisa triste: mesmo que o sistema detecte que o modelo vai mentir, tentar "empurrar" o modelo para a direção da verdade (ajustando os dados internos) não funciona. É como tentar empurrar um carro que já saiu da estrada para voltar à pista; o dano já está feito na lógica interna. A solução é apenas bloquear a resposta, não corrigi-la mágicamente.

💡 Resumo em uma Frase

Este estudo nos ensina que, para modelos de IA grandes e bem treinados, a "verdade" ou a "mentira" é decidida antes da primeira palavra ser escrita, e podemos detectar isso; mas para modelos pequenos ou mal treinados, essa detecção antecipada é impossível, e eles só revelam a mentira enquanto a contam.

A lição prática: Não existe uma solução única para todos. Se você usa um modelo pequeno, não confie em detectores internos. Se usa um grande e bem treinado, você pode monitorar o momento exato antes da resposta para evitar alucinações.

Resumo Técnico: Emergência Dependente da Escala de Sinais de Alucinação em Modelos de Linguagem Autoregressivos

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) apresentam uma disparidade persistente entre a capacidade de gerar textos convincentes e sua precisão factual. Embora existam métodos para detectar alucinações (informações falsas) analisando as representações internas do modelo (probing), uma questão fundamental permanece sem resposta: quando no processo de geração o modelo decide se vai fornecer uma resposta factual ou fabricada?
A literatura atual carece de uma compreensão sobre como o momento de ativação desses sinais internos varia em função do tamanho do modelo (escala) e se esses sinais existem antes mesmo da geração do primeiro token. Além disso, não está claro se a simples escala (número de parâmetros) é suficiente para que o modelo desenvolva essa "consciência" interna de sua própria confiabilidade.

2. Metodologia

Os autores conduziram um estudo abrangente utilizando 7 modelos transformadores autoregressivos de famílias arquitetônicas distintas, variando de 117 milhões a 7 bilhões de parâmetros.

Modelos Analisados:
- Pequenos (<400M): GPT-2 Small (117M), Pythia-160M, Pythia-410M.
- Transição (1B-1.5B): Pythia-1.4B, GPT-2 XL (1.5B).
- Grande Escala (7B): Pythia-6.9B (apenas pré-treinado/base) e Qwen2.5-7B (ajustado por instruções/instruction-tuned).
Datasets: Três tarefas baseadas em fatos com 552 exemplos rotulados: TriviaQA (difícil), Simple Facts (fácil) e Biography.
Técnica de Extração: Extração de ativações do residual stream em 5 posições temporais:
- Posição 0: Após o processamento do prompt, mas antes da geração de qualquer token de saída.
- Posições 1-4: Durante a geração inicial da resposta.
Análise: Treinamento de classificadores lineares (regressão logística com PCA) para distinguir entre respostas factuais e fictícias em cada camada e posição temporal.
Métricas: Área sob a Curva ROC (AUC) para medir a detectabilidade e testes t pareados para significância estatística da diferença entre a Posição 0 e a Posição 4.

3. Principais Contribuições

O artigo oferece quatro contribuições fundamentais:

Transição Temporal Dependente da Escala: Evidência sistemática de que o perfil temporal da detecção de alucinação muda qualitativamente em torno de 1 bilhão de parâmetros.
Descoberta de Sinal Nulo: Modelos abaixo de 400M parâmetros não possuem sinais internos confiáveis de alucinação em nenhuma posição de geração (AUC próximo ao acaso).
Efeito da Metodologia de Treinamento (7B): Demonstração de que, na escala de 7B, o ajuste por instruções (instruction tuning) é um pré-requisito para a existência de um sinal de "comprometimento prévio" (pre-commitment). Modelos base (Pythia-6.9B) não exibem esse padrão, enquanto modelos ajustados (Qwen2.5-7B) sim.
Resultado Negativo de Intervenção: A "direção de alucinação" detectada é correlacional, não causal. Tentativas de corrigir alucinações através de activation steering (direcionamento de ativações) falharam em 100% dos casos, indicando que o sinal detectado é um subproduto da decisão, não o mecanismo causador.

4. Resultados Chave

Modelos Pequenos (<400M):
- Não há sinal confiável de alucinação. O AUC varia entre 0,48 e 0,67 em todas as posições.
- O pico de detecção, quando existe, ocorre tardiamente (após a geração de alguns tokens), mas com precisão insuficiente para uso prático.
- Conclusão: Monitoramento interno não é viável para modelos desta escala.
Modelos de Transição (1B - 1.5B):
- Surge um regime qualitativamente diferente: o sinal de detectabilidade atinge seu máximo na Posição 0 (antes de qualquer token ser gerado).
- Exemplo: Pythia-1.4B mostra um AUC de 0,663 na Posição 0, caindo para 0,580 na Posição 4 ( $\Delta = -0,083$ , $p=0,012$ ).
- Isso sugere que o modelo "decide" se vai alucinar ou não durante o processamento do prompt.
Modelos de Grande Escala (7B) e o Fator de Ajuste:
- Qwen2.5-7B (Instruction-Tuned): Exibe um pico significativo na Posição 0 ( $p=0,038$ ), indicando que o ajuste por instruções organiza os circuitos de conhecimento para permitir uma verificação prévia.
- Pythia-6.9B (Base-Only): Exibe um perfil plano (AUC constante, $p=0,989$ ). Apesar de ter 7B parâmetros (5x mais que o Pythia-1.4B), a falta de ajuste por instruções impede a emergência do sinal de comprometimento prévio.
- Conclusão: A escala é necessária, mas não suficiente; a organização do conhecimento via instruction tuning é crucial.
Intervenção (Steering):
- Tentar forçar o modelo a não alucinar movendo as ativações na direção oposta detectada pelo probe resultou em 0% de taxa de correção. O sinal é um marcador de estado, não um interruptor de controle.

5. Significado e Implicações

Para Segurança e Detecção:
- Modelos >1B (Ajustados): O monitoramento na Posição 0 é a estratégia ideal. Permite bloquear respostas alucinadas antes que qualquer conteúdo seja exibido ao usuário.
- Modelos <400M: Nenhuma detecção baseada em ativações é confiável. É necessário usar soluções de nível de sistema (como RAG - Retrieval-Augmented Generation ou revisão humana).
- Modelos Base >7B: Não assumir que o sinal prévio existe. A confiança da saída (output confidence) pode ser uma métrica melhor do que o probing interno para modelos base não ajustados.
Para a Teoria de IA:
- O estudo apoia a hipótese de que modelos maiores e ajustados desenvolvem circuitos modulares de conhecimento que separam a recuperação de fatos da geração de texto.
- A "alucinação" não é um processo gradual que começa com a primeira palavra, mas uma decisão interna que ocorre (em modelos maduros) antes da geração começar.
- Refuta a ideia de que a escala sozinha garante "consciência" da própria confiabilidade; o treinamento (fine-tuning) molda a estrutura interna dessa confiabilidade.

Em suma, o trabalho estabelece que a capacidade de um modelo saber se está mentindo (internamente) é uma propriedade emergente dependente da escala e, criticamente, da metodologia de treinamento, exigindo estratégias de detecção específicas para cada configuração de modelo.