💬 NLP

From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction

Este estudo valida uma taxonomia de alucinações geométricas em GPT-2, demonstrando que apenas as falhas de lacuna de cobertura (Tipo 3) apresentam separação geométrica robusta baseada na magnitude, enquanto as outras categorias não se separam e os testes em nível de token sofrem de pseudoreplicação inflacionada.

Autores originais: Matic Korun

Publicado 2026-03-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Matic Korun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô escritor (o modelo de linguagem GPT-2) que adora inventar histórias. Às vezes, ele inventa coisas que não existem. A gente chama isso de "alucinação".

Este artigo é como um detetive investigando como e por que o robô alucina, tentando encontrar uma "assinatura geométrica" (uma marca no espaço de dados) que diga exatamente qual tipo de erro ele está cometendo.

O autor propõe que existem três tipos de alucinações, como se fossem três formas diferentes de um carro sair da estrada:

Tipo 1 (Desvio do Centro): O motorista está tão confuso que não sabe para onde ir, então o carro fica andando em círculos perto do centro da cidade, sem rumo. (O robô gera coisas genéricas e sem sentido porque o contexto é fraco).
Tipo 2 (Fosso Errado): O motorista vê uma placa e acha que é para a praia, mas na verdade é para o deserto. Ele dirige com muita confiança, mas para o lugar errado. (O robô escolhe um tema que faz sentido localmente, mas está totalmente errado para a conversa).
Tipo 3 (Buraco no Mapa): O motorista pede para ir a um lugar que não existe no mapa (ex: "vamos para a cidade de Xanadu, que fica na lua"). O carro para, o GPS pisca e o motor treme porque não há estrada nenhuma. (O robô tenta combinar ideias que ele nunca viu antes e não tem como responder).

O Grande Experimento: O Teste de 20 Vezes

O pesquisador criou 15 cenários para cada um desses três tipos de erro e fez o robô escrever 20 vezes diferentes para cada um (para garantir que não foi apenas sorte). Ele mediu duas coisas:

O "Rosto" da palavra (Embedding Estático): A palavra em si, como ela está escrita no dicionário do robô.
O "Pensamento" do robô (Estado Oculto): O que o robô está "pensando" no momento exato em que escolhe a palavra.

O Que Eles Descobriram? (A Metáfora da Lupa)

Aqui está a parte mais interessante, explicada de forma simples:

1. O Tipo 3 (Buraco no Mapa) é o "Vilão" mais fácil de pegar.
Quando o robô tenta inventar algo totalmente novo (Tipo 3), ele deixa uma marca muito clara.

No "Rosto" da palavra: As palavras que ele escolhe são mais "raras" e têm uma "assinatura" de tamanho diferente. É como se o robô estivesse usando uma caneta mais grossa ou mais fina sem querer.
No "Pensamento" do robô: O robô fica menos confiante. A "força" do pensamento dele cai um pouco. É como se o motor do carro gaguejasse quando ele tenta ir para um lugar inexistente.
Conclusão: O Tipo 3 é o único que o robô consegue "sentir" que está errado, mesmo que não saiba explicar por quê.

2. Os Tipos 1 e 2 (Desvio e Fosso Errado) são "Invisíveis".
O robô não consegue distinguir quando ele está apenas confuso (Tipo 1) ou quando está confiante no lugar errado (Tipo 2).

Para o robô, essas duas situações parecem exatamente iguais. É como tentar distinguir se uma pessoa está dormindo ou apenas de olhos fechados; para o robô, é a mesma coisa.
O autor diz que, talvez, o robô seja "pequeno demais" (tem poucos "cérebros" ou parâmetros) para ver a diferença sutil entre esses dois erros.

3. A Armadilha da Estatística (O Efeito "Ilusão de Ótica")
O estudo descobriu algo crucial para quem trabalha com IA: não confie apenas em números que olham palavra por palavra.

Se você olhar cada palavra individualmente, parece que o robô está fazendo algo incrível e significativo.
Mas, quando você olha para a frase inteira (o contexto), percebe que era apenas uma ilusão. É como olhar para uma multidão e achar que todos estão gritando a mesma coisa, quando na verdade cada um está gritando uma coisa diferente, e o barulho total só parece uniforme porque você não ouviu direito.
O estudo mostrou que olhar palavra por palavra infla a importância do resultado em 4 a 16 vezes. É um erro comum que os cientistas precisam evitar.

A Lição Final

O artigo nos ensina que:

Robôs pequenos (como o GPT-2) sabem quando estão "sem ideia" (Tipo 3): Eles ficam menos confiantes e usam palavras diferentes.
Mas eles não sabem quando estão "mentindo com confiança" (Tipo 2) ou "perdidos" (Tipo 1): Para eles, esses erros são indistinguíveis.
Precisamos de ferramentas melhores: Para detectar esses erros sutis, não basta olhar a palavra final. Precisamos "desmontar" o pensamento do robô (usando técnicas matemáticas avançadas) para ver onde a lógica quebrou.

Em resumo: O robô sabe quando está tentando voar sem asas (Tipo 3), mas não percebe quando está voando para a direção errada (Tipo 2) ou apenas batendo asas no lugar (Tipo 1). E para ver isso, precisamos de óculos especiais, não apenas de uma lupa.

1. Problema e Contexto

As alucinações em Grandes Modelos de Linguagem (LLMs) representam um obstáculo central para a sua implantação confiável. Métodos existentes geralmente detectam alucinações post-hoc (após a geração) através de verificação de consistência ou validação de baixa confiança. Uma taxonomia geométrica proposta em trabalho complementar (Korun, 2026) sugere classificar falhas de geração com base em suas assinaturas no espaço de clusters de embeddings:

Tipo 1 (Deriva Central): Colapso em direção ao centróide sob contexto fraco.
Tipo 2 (Convergência para o "Poço Errado"): Coerência local, mas contextualmente errada (aderência a um cluster incorreto).
Tipo 3 (Lacunas de Cobertura): Falta de estrutura de cluster que suporte a consulta (combinações semânticas ausentes no treinamento).

O problema abordado neste artigo é validar se essas assinaturas geométricas preditas realmente ocorrem durante a geração controlada, fechando a lacuna entre a existência da geometria e a produção de assinaturas de alucinação.

2. Metodologia

O estudo utiliza uma abordagem de indução controlada no modelo GPT-2-small (124M parâmetros), escolhido por sua reprodutibilidade exata em hardware CPU e por ser o único modelo decodificador na survey original de 11 modelos.

Design Experimental:
- Condições de Prompt: 15 prompts por condição (Total N=45), projetados para disparar especificamente cada tipo de falha:
  - Tipo 1: Prompts semânticos vagos (ex: "O", "É").
  - Tipo 2: Prompts ambíguos entre domínios bem definidos (ex: "O banco anunciou...").
  - Tipo 3: Prompts com combinações técnicas composicionais inéditas (ex: "A refratometria xenoplasmática...").
- Repetições: Cada experimento foi executado 20 vezes com sementes de geração diferentes para quantificar a estabilidade dos resultados, tratando o prompt como unidade de inferência (N=15/grupo).
- Espaços de Representação: Dois experimentos independentes comparando:
  1. Embeddings Estáticos: Posição fixa no vocabulário (independente do contexto).
  2. Estados Ocultos Contextuais: O estado da última camada no momento da seleção do token (codifica o processo de geração).
- Métricas Geométricas:
  - $H(v)$ : Membro suave do cluster (similaridade cosseno média).
  - $\|v\|$ : Norma do embedding (magnitude).
  - $\text{max sim}$ : Similaridade máxima com um centróide.
- Análise Estatística: Uso de testes não paramétricos (Mann-Whitney, Kruskal-Wallis) com correção de Holm-Bonferroni. O estudo enfatiza a agregação no nível do prompt para evitar a pseudoreplicação (inflação de significância ao tratar tokens individuais como independentes).

3. Principais Contribuições

Primeiro Teste de Indução Controlada: Validação experimental ligando tipos de alucinação a assinaturas geométricas específicas, com estabilidade quantificada através de 20 execuções independentes.
Identificação da Lacuna de Cobertura (Tipo 3): Evidência de que o Tipo 3 é o modo de falha geometricamente mais distinto, impulsionado pela magnitude (norma) da representação e não pela direção.
Demonstração de Pseudoreplicação: Prova replicada de que a significância estatística no nível de tokens em geração autoregressiva infla os efeitos reais em 4x a 16x devido à autocorrelação dentro do prompt.
Hipótese Espectral: Proposta de que a não-separação entre Tipos 1 e 2 pode residir em bandas específicas do espectro de autovalores dos estados ocultos, diluídas em métricas de dimensão total.

4. Resultados Chave

A. Espaço Estático (Embeddings de Entrada)

Tipo 3 (Lacuna de Cobertura): Apresentou separação robusta. As comparações pareadas de norma (T2–T3 e T1–T3) sobreviveram à correção de Holm em 14/20 e 11/20 execuções, respectivamente, com tamanhos de efeito grandes (mediana $r \approx +0.61$ ).
Tipos 1 e 2: Não se separaram em nenhuma métrica (≤3/20 execuções significativas).
Interpretação: A separação do Tipo 3 no espaço estático reflete a seleção de vocabulário mais raro (normas mais altas) forçada pela novidade composicional.

B. Espaço Contextual (Estados Ocultos)

Direção Estável, Poder Baixo: A direção do efeito da norma do Tipo 3 foi estável (19/20 execuções mostraram normas mais baixas para o Tipo 3), mas o efeito foi subpoderado no tamanho de amostra (N=15), alcançando significância nominal apenas em 4/20 execuções.
Tipos 1 e 2: Nenhuma separação significativa em qualquer métrica.
Métricas Angulares: Métricas como $H(v)$ e similaridade máxima não foram significativas no nível do prompt, apesar de serem significativas no nível de tokens (devido à pseudoreplicação).
Regime de Micro-Sinal: Os estados ocultos do GPT-2 estão comprimidos em um espaço de similaridade quase saturado (H(v) > 0.98). A falha de geração não é uma "saída catastrófica" do manifold, mas uma micro-perturbação dentro do regime normal de operação.

C. Comparação Estática vs. Contextual

Houve uma reversão de sinal na norma: No espaço estático, o Tipo 3 tem normas mais altas (vocabulário raro); no espaço contextual, o Tipo 3 tem normas mais baixas (menor "confiança" interna).
Isso confirma que representações estáticas e contextuais codificam aspectos diferentes do processo de geração.

5. Significado e Implicações

Hierarquia de Complexidade de Falhas: O estudo estabelece uma hierarquia onde a "Lacuna de Cobertura" (Tipo 3) é geometricamente detectável, enquanto a "Deriva" (Tipo 1) e a "Convergência Errada" (Tipo 2) são indistinguíveis em modelos de 124M parâmetros. Isso sugere que falhas de roteamento de contexto (Tipos 1 e 2) podem exigir modelos maiores ou decomposição espectral para serem detectadas.
Validação de Limites: A geometria de pré-requisitos existe e é robusta, mas as assinaturas do processo de geração são "micro-sinais" que exigem pré-processamento (como branqueamento/whitening ou decomposição espectral) ou conjuntos de prompts maiores (N ≥ 30) para detecção confiável.
Aviso Estatístico: O artigo fornece um benchmark empírico crucial para pesquisadores de LLMs: testes de significância no nível de tokens em gerações autoregressivas são altamente inflados. A agregação no nível do prompt é essencial para evitar falsos positivos.
Futuro: A validação da hipótese espectral (separar componentes de baixa variância) e o uso de modelos maiores são os próximos passos necessários para distinguir os tipos de falha mais sutis.

Em suma, o trabalho confirma que a taxonomia geométrica é parcialmente válida, com o Tipo 3 sendo o único modo de falha claramente distinguível na geometria atual do GPT-2, enquanto os outros tipos permanecem ocultos devido à compressão da representação e limitações de capacidade do modelo.