Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures

Resumo Técnico: Detecção de Alucinações em LLMs via Geometria de Clusters de Embedding

1. O Problema

As Grandes Modelos de Linguagem (LLMs) frequentemente geram texto que é fluente e confiante, mas factualmente incorreto (alucinações). As abordagens atuais para detecção de alucinações operam principalmente no nível de saída (ex: verificação de autoconsistência, calibração de logits, aumento por recuperação). A limitação fundamental dessas abordagens é que elas analisam o resultado da geração, ignorando a estrutura geométrica interna do espaço de embeddings que produz essa saída. O artigo propõe que diferentes modos de falha (alucinações) deixam assinaturas geométricas distintas e mensuráveis no espaço de vetores de tokens.

2. Metodologia

O autor propõe uma taxonomia baseada na geometria dos clusters de embeddings e valida essa estrutura através de uma análise empírica em 11 modelos transformer (incluindo arquiteturas de codificador como BERT, RoBERTa, ELECTRA, e decodificador como GPT-2).

A. Pré-processamento e Extração de Estrutura:

• Filtragem de Vocabulário: Mantêm-se apenas tokens de palavras inteiras, excluindo subpalavras e tokens especiais.
• Clusterização: Aplicação do algoritmo MiniBatchKMeans com $k=40$ clusters para identificar a estrutura semântica nos espaços de embedding.
• Análise de Eixos de Polaridade: Identificação de pares de antônimos dentro dos clusters para extrair eixos de polaridade via PCA (Análise de Componentes Principais).

B. Taxonomia de Alucinações (3 Tipos):
A classificação baseia-se na relação geométrica entre o embedding de um token gerado e a estrutura de clusters circundante:

1. Tipo 1 (Deriva para o Centro - Center-drift): Ocorre sob contexto fraco. O modelo gera tokens genéricos e de alta frequência próximos ao centróide do espaço de embedding.
   • Assinatura: Baixa pertença ao cluster e baixa norma do embedding.
2. Tipo 2 (Convergência para o "Poço" Errado - Wrong-well convergence): O modelo navega para uma região de cluster específica e coerente localmente, mas contextualmente errada. É a alucinação mais perigosa (confiante e detalhada).
   • Assinatura: Alta pertença ao cluster local, mas com descontinuidades na trajetória de geração entre clusters.
3. Tipo 3 (Lacuna de Cobertura - Coverage gap): A consulta exige combinações semânticas ausentes no treinamento, aterrissando em regiões onde não há estrutura de cluster.
   • Assinatura: Baixa pertença a todos os clusters e alta variância na similaridade local.

C. Estatísticas Geométricas Propostas:
Para validar os pré-requisitos geométricos da taxonomia, o autor introduz três métricas mensuráveis:

• $\alpha$ (Acoplamento de Polaridade): Mede a força dos eixos de antônimos dentro dos clusters.
• $\beta$ (Coesão do Cluster): Mede se os tokens de um cluster estão mais próximos do seu centróide do que da média de outros clusters (validando que os clusters são reais e não artefatos).
• $\lambda_r$ (Gradiente de Informação Radial): Quantifica a relação não linear entre a norma do embedding e o conteúdo de informação (auto-informação). Testa se a informação aumenta sistematicamente com a distância da origem.

3. Resultados Principais

A análise foi realizada em 11 modelos com dimensões de embedding variando de 128 a 1024.

• Universalidade de Estrutura Angular:
  • $\alpha$ (Polaridade): Estrutura de polaridade significativa ($\alpha > 0.5$) foi encontrada em 11/11 modelos.
  • $\beta$ (Coesão): Coesão de cluster significativa ($\beta > 0$) foi encontrada em 11/11 modelos, confirmando que os espaços de embedding possuem estrutura de cluster real.
• Gradiente Radial ($\lambda_r$):
  • O gradiente de informação radial foi estatisticamente significativo ($p < 0.05$) em 9/11 modelos.
  • A maioria dos modelos (7/11) apresentou $\lambda_r$ negativo, indicando um perfil côncavo (informação aumenta com a norma, mas com taxa decrescente).
  • Anomalias Explicadas:
    • ALBERT: Falhou na significância ($p=0.126$) devido à compressão de embeddings fatorados (espaço de 128D quase cheio, tokens comprimidos em uma faixa radial estreita).
    • MiniLM: Falhou na significância ($p=0.070$) devido à isotropia induzida por destilação (estrutura angular preservada, mas estrutura radial achatada/invertida).
• Comparação Codificador vs. Decodificador:
  • Modelos GPT-2 (decodificador) mostraram um gradiente radial significativo, mas com magnitude cerca de 10 vezes menor que a dos modelos BERT, consistente com o objetivo de treinamento de previsão de próximo token.

4. Contribuições Chave

1. Taxonomia Operacional: Uma classificação de três tipos de alucinações baseada em geometria de embedding, com critérios de detecção distintos e testáveis.
2. Novas Ferramentas de Diagnóstico: Introdução e validação das estatísticas $\alpha$, $\beta$ e $\lambda_r$ como diagnósticos de espaço de embedding.
3. Descoberta de Dependência Arquitetural: Demonstra que, embora as propriedades geométricas qualitativas (existência de clusters) sejam universais, as assinaturas quantitativas dependem da arquitetura de forma explicável (ex: compressão e destilação alteram a detecção radial).
4. Previsões Testáveis: O trabalho prevê que modelos com espaços de embedding comprimidos ou isotrópicos (como ALBERT e MiniLM) serão mais vulneráveis a alucinações do Tipo 1 (deriva para o centro), pois perdem o sinal de alerta radial, enquanto mantêm a capacidade de detectar alucinações do Tipo 2 (baseadas em ângulo).

5. Arquitetura de Detecção Proposta

O artigo sugere um sistema de detecção em três níveis (tiers) com custo computacional crescente:

• Tier 1 (Triagem de Pertença): Filtra tokens com baixa pertença ao cluster e baixa norma (detecta Tipo 1).
• Tier 2 (Análise de Trajetória): Monitora saltos abruptos entre clusters na sequência de geração (detecta Tipo 2).
• Tier 3 (Análise de Densidade): Calcula densidade local via vizinhos mais próximos para identificar lacunas de cobertura (detecta Tipo 3).
• Nota: Os limiares de detecção devem ser calibrados especificamente para cada modelo devido às variações nas distribuições de norma e pertença.

6. Significado e Limitações

• Significado: Este trabalho muda o paradigma de "detectar se o modelo está mentindo" para "diagnosticar qual falha geométrica ocorreu". Isso permite criar detectores mais específicos e entender a vulnerabilidade de diferentes arquiteturas. As estatísticas não medem a verdade factual, mas sim o modo geométrico de falha.
• Limitações:
  • A análise é feita em embeddings estáticos (de entrada), não em estados ocultos contextuais dinâmicos.
  • O estudo abrange apenas 11 modelos, nenhum com mais de 1,5 bilhão de parâmetros.
  • A arquitetura de detecção proposta ainda não foi testada em benchmarks padronizados (como HaluEval).
  • O número de clusters ($k=40$) é um hiperparâmetro não explorado sistematicamente.

Em conclusão, o artigo estabelece que a geometria dos espaços de embedding contém assinaturas mensuráveis que podem ser usadas para prever e detectar diferentes tipos de alucinações, oferecendo um caminho para melhorar a confiabilidade e segurança dos LLMs através da análise estrutural interna.