Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs

Título: Neurônios de Alucinação Generalizam? Evidências de Transferência Cross-Domain em LLMs

1. Problema e Motivação

O trabalho aborda um desafio crítico na implementação de Grandes Modelos de Linguagem (LLMs) em domínios de alto risco (jurídico, financeiro, médico): a detecção e mitigação de alucinações (respostas fluentes, mas factualmente incorretas).

Pesquisas recentes (Gao et al., 2025) identificaram um conjunto esparsos de "neurônios de alucinação" (H-neurônios), representando menos de 0,1% dos neurônios das redes feed-forward (FFN), cujos padrões de ativação predizem com fiabilidade quando um modelo alucina. No entanto, esses estudos foram conduzidos predominantemente em benchmarks de conhecimento geral (ex: TriviaQA).

A questão central deste artigo é: Os H-neurônios identificados em um domínio de conhecimento generalizam para outros domínios? Se a alucinação fosse um mecanismo universal com uma assinatura neural única, um classificador treinado em perguntas gerais deveria funcionar em contextos legais ou financeiros. Se, por outro lado, a alucinação envolver caminhos neurais específicos de domínio, a transferência cruzada falhará.

2. Metodologia

Os autores realizaram uma análise sistemática de transferência cruzada utilizando o seguinte protocolo:

• Modelos: 5 modelos de linguagem open-weight instruídos, variando de 3B a 8B parâmetros (Qwen2.5-3B, Nemotron-4B, Phi-3.5-mini, Mistral-7B, Llama-3.1-8B).
• Domínios: 6 domínios de conhecimento distintos:
  1. Perguntas Gerais (General QA)
  2. Jurídico (Legal)
  3. Financeiro (Financial)
  4. Ciência (Science)
  5. Raciocínio Moral (Moral Reasoning)
  6. Vulnerabilidades de Código (Code)
• Identificação de Neurônios (CETT): Utilizaram a métrica Contribution Estimation Through Token-level Traits (CETT) para quantificar a contribuição de cada neurônio FFN para a saída final. Neurônios com alta contribuição correlacionada a erros foram identificados como H-neurônios.
• Protocolo de Transferência:
  • Para cada modelo e estratégia de prompt (Direto e Chain-of-Thought), extraíram características de ativação (CETT) para 1.000 perguntas por domínio.
  • Treinaram classificadores de regressão logística com regularização L1 (para selecionar subconjuntos esparsos de neurônios) em cada domínio fonte.
  • Avaliaram cada classificador em todos os 6 domínios (incluindo o próprio), gerando uma matriz de transferência $6 \times 6$ para cada modelo (totalizando 180 pares treino-teste por modelo).
• Métrica Principal: AUROC (Área sob a Curva Característica Operacional do Receptor).

3. Contribuições Principais

1. Protocolo de Transferência Cross-Domain: Primeira análise sistemática quantificando a transferibilidade de detectores de alucinação em nível de neurônio entre domínios fundamentalmente diferentes.
2. Evidência de Especificidade de Domínio: Demonstração de que a alucinação não é um mecanismo monolítico, mas sim um conjunto de processos condicionados ao domínio, ativando populações neuronais distintas.
3. Análise de Fatores de Domínio e Modelo: Caracterização de quais pares de domínios permitem transferência parcial (ex: Jurídico e Ciência) e como a arquitetura e a escala do modelo influenciam essa especificidade.

4. Resultados Chave

• Falha na Transferência Cross-Domain:
  • Desempenho Intra-domínio: Os classificadores treinados e testados no mesmo domínio alcançaram uma média de AUROC = 0,783.
  • Desempenho Cross-Domain: Ao transferir o classificador para um domínio diferente, o desempenho caiu drasticamente para uma média de AUROC = 0,563.
  • Gap de Transferência ($\Delta$): A diferença foi de 0,220 ($p < 0,001$), consistente em todos os 5 modelos testados. Isso indica que um detector treinado em um domínio perde cerca de 28% de seu poder discriminativo ao ser aplicado em outro.
• Padrões de Transferência Parcial e Negativa:
  • Jurídico $\leftrightarrow$ Ciência: Houve uma transferência parcial significativa (AUROC ~0,70-0,87 em alguns casos), sugerindo que ambos os domínios compartilham substratos neurais de raciocínio lógico estruturado.
  • Código como Outlier: O domínio de código mostrou a maior especificidade, com transferência quase nula para outros domínios e vice-versa.
  • Transferências Abaixo do Acaso: Em vários casos (ex: Código $\to$ Moral), o classificador transferido teve AUROC < 0,5, indicando interferência ativa: os neurônios que predizem alucinação em um domínio predizem respostas corretas no outro (sinais anti-correlacionados).
• Efeito do Chain-of-Thought (CoT):
  • O uso de CoT alterou a identidade e o número de H-neurônios selecionados.
  • Em pares genuínos (onde a resposta mudou), o CoT melhorou a detecção intra-domínio em 18 casos e piorou em 6, indicando que o CoT reorganiza os sinais de alucinação em populações neuronais diferentes, e não apenas suprime o sinal.
• Escala do Modelo:
  • A especificidade de domínio não aumentou ou diminuiu monotonicamente com o tamanho do modelo (3B a 8B). O modelo Llama-8B teve o menor gap (0,160), enquanto o Phi-3.5 teve o maior (0,294), sugerindo que fatores de arquitetura e dados de treino são mais determinantes que a contagem de parâmetros nesta faixa.

5. Significado e Implicações

• Refutação do "Detector Universal": A premissa de que se pode treinar um detector de alucinação em um benchmark conveniente (como TriviaQA) e aplicá-lo universalmente é falsa. A alucinação possui assinaturas neurais distintas dependendo do tipo de conhecimento consultado.
• Necessidade de Infraestrutura Específica: Para implantação em produção, é necessário calibrar detectores de neurônios por domínio. Sistemas multi-domínio exigem mecanismos de detecção separados ou um sistema de roteamento que ative o detector apropriado.
• Intervenões Causais Específicas: Intervenções em nível de neurônio (como supressão de ativação de H-neurônios) devem ser direcionadas ao domínio. Suprimir neurônios identificados em QA geral pode não reduzir alucinações em contextos jurídicos e, devido aos resultados de transferência abaixo do acaso, pode até aumentar as alucinações em outros domínios.
• Mecanismo de Alucinação: Os resultados sugerem que a alucinação surge de falhas em circuitos de raciocínio específicos do domínio (ex: circuitos de inferência lógica para leis e ciências) ou de falhas na recuperação de conhecimento armazenado em regiões específicas do espaço de parâmetros, em vez de um "circuito de alucinação" universal.

Conclusão

O estudo estabelece que a alucinação em LLMs é uma família de processos condicionados ao domínio, e não um fenômeno único. A generalização de detectores baseados em neurônios entre domínios distintos é estatisticamente insignificante, exigindo uma mudança de paradigma na pesquisa e na engenharia de sistemas de IA confiáveis: a detecção e mitigação devem ser tratadas como problemas específicos de domínio.