Visualizing and Benchmarking LLM Factual Hallucination Tendencies via Internal State Analysis and Clustering

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) frequentemente sofrem de alucinações, gerando informações plausíveis, mas factualmente incorretas, contraditórias ou irrelevantes. Esse problema é crítico em áreas sensíveis como medicina e direito. Embora existam benchmarks existentes (como TruthfulQA e HaluEval), a maioria foca na correção factual da resposta final, deixando subexplorado o papel das citações. Especificamente, não há estudos sistemáticos sobre como citações fabricadas ou enganosas podem amplificar a tendência de um modelo a alucinar e justificar afirmações falsas com maior confiança.

2. Metodologia

2.1. Dataset: FalseCite

Os autores introduzem o FalseCite, um dataset curado contendo 82.000 afirmações falsas, projetado para benchmarkar respostas alucinadas induzidas por citações enganosas.

• Fontes de Dados: Combinação dos corpora FEVER (afirmações factuais gerais, cultura pop, política, história) e SciQ (afirmações científicas).
• Geração de Citações: As citações foram geradas usando uma estratégia de "mistura e combinação" (mix-and-match) de nomes de fontes e templates pré-definidos.
• Estratégia de Pareamento: As afirmações falsas foram pareadas com citações de duas formas:
  1. Aleatória: Sem alinhamento semântico (baseline).
  2. Semântica: Utilizando embeddings (NovaSearch/stella_en_1.5B_v5) para parear citações que tenham alta similaridade cossem com a afirmação, simulando condições mais realistas e convincentes.

2.2. Modelos Testados

O estudo avaliou três modelos com diferentes capacidades de raciocínio:

• GPT-4o-mini (modelo maior e mais robusto).
• Falcon-7B e Mistral-7B (modelos menores).

2.3. Avaliação e Rotulagem

Devido à falta de recursos para anotação humana em larga escala ou acesso a modelos RAG (Retrieval-Augmented Generation) para verificação de fontes, os autores utilizaram o GPT-4.1 como "modelo especialista" para rotular as respostas como alucinadas ou não.

• Nota: O GPT-4.1 não tem acesso à internet para verificar a autenticidade da fonte citada. Portanto, a rotulagem baseou-se na plausibilidade da afirmação em si e na coerência da resposta, instruído a ignorar a veracidade da citação externa se esta fosse o único ponto de verificação.

2.4. Análise de Estados Internos (Activation Capture)

Para entender como a alucinação ocorre internamente:

• Captura de Vetores: Extraíram vetores de estado oculto das camadas mais influentes de cada resposta alucinada.
• Método: Calcularam a correlação de Spearman entre os rótulos de alucinação (token a token) e as estatísticas de atenção (média, máximo e entropia) de cada camada.
• Clustering: Após reduzir a dimensionalidade com PCA (para 100 dimensões), aplicaram K-means clustering nos vetores de estado oculto para visualizar padrões de comportamento.

3. Resultados Principais

3.1. Impacto das Citações Falsas

A introdução de citações falsas aumentou consistentemente as taxas de alucinação em todos os modelos, comparado a afirmações sem citação:

• GPT-4o-mini: Apresentou a menor taxa de alucinação na base (sem citação), mas sofreu o maior aumento absoluto quando exposto a citações falsas (+39,65% para citações aleatórias e +37,03% para semânticas).
• Modelos Menores (Falcon-7B, Mistral-7B): Já possuíam taxas de alucinação mais altas na base. O aumento foi significativo, mas menor em magnitude absoluta comparado ao GPT-4o-mini.
• Aleatório vs. Semântico: Citações aleatórias geraram o maior aumento nas taxas de alucinação para os modelos menores. O GPT-4o-mini mostrou uma diferença menor entre citações aleatórias e semânticas, sugerindo que citações semanticamente alinhadas são eficazes para enganar até mesmo modelos mais robustos.

3.2. Análise de Estados Ocultos (Visualização)

• Forma de Chifre (Horn-like Shape): A visualização dos vetores de estado oculto, independentemente de serem alucinações ou não, revelou que eles tendem a traçar uma forma distinta de "chifre" ao longo das camadas do modelo.
• Clustering: O clustering não revelou padrões óbvios de separação binária perfeita, mas os dois clusters superiores mostraram taxas de alucinação ligeiramente mais altas, indicando que certas regiões do espaço de estados ocultos estão mais associadas a comportamentos de alucinação.

4. Contribuições Chave

1. Novo Benchmark (FalseCite): Um dataset de 82k itens focado especificamente na interação entre afirmações falsas e citações fabricadas, preenchendo uma lacuna na literatura atual.
2. Descoberta de Sensibilidade: Evidência de que citações falsas, especialmente as semanticamente alinhadas, podem "quebrar" a robustez de modelos avançados (como GPT-4o-mini), levando-os a gerar conteúdo de suporte falso com alta confiança.
3. Análise de Estados Internos: Uma abordagem inovadora para visualizar e clusterizar vetores de estado oculto, identificando padrões geométricos (forma de chifre) e correlacionando camadas específicas com a geração de alucinações.

5. Significância e Limitações

• Significância: O trabalho destaca que a confiabilidade de LLMs em domínios críticos pode ser comprometida não apenas pela falta de conhecimento, mas pela susceptibilidade a referências externas falsas. O FalseCite serve como uma base fundamental para desenvolver futuras técnicas de mitigação de alucinações.
• Limitações: A principal limitação é o uso de um modelo de linguagem (GPT-4.1) como "verdade absoluta" para rotulagem, em vez de anotação humana ou verificação via RAG. Isso pode introduzir viés, embora os autores tenham validado a precisão do GPT-4.1 em benchmarks existentes (75,2% de acurácia no HaluEval).

Em resumo, o paper demonstra que a presença de citações, mesmo que falsas, atua como um catalisador poderoso para alucinações em LLMs, e propõe novas ferramentas para analisar e mitigar esse fenômeno através da observação dos estados internos do modelo.