💬 NLP

Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models

Este artigo investiga a correlação entre conflitos de conhecimento e alucinações em Grandes Modelos de Linguagem ao analisar representações internas através de diferentes camadas, descobrindo que, embora os dois fenômenos sejam conceitualmente relacionados, os padrões de alucinação não podem ser totalmente explicados pelas representações de conflito de conhecimento, destacando, assim, o valor de ferramentas de interpretabilidade de grão fino para compreender o comportamento de LLMs.

Autores originais: Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Publicado 2026-06-09

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine os Grandes Modelos de Linguagem (LLMs) como bibliotecários incrivelmente bem instruídos que memorizaram uma biblioteca massiva de livros. No entanto, há um porém: eles não conseguem atualizar suas prateleiras. Se um livro em sua biblioteca estiver desatualizado ou se lhes for entregue uma nota nova que contradiz o que memorizaram, eles podem ficar confusos.

Este artigo investiga duas maneiras específicas de como essa confusão pode dar errado:

A "Alucinação": O bibliotecário inventa um fato com confiança ou dá uma resposta que parece real, mas que é, na verdade, errada.
O "Conflito de Conhecimento": O bibliotecário recebe uma nota (contexto) que diz "O céu é verde", mas sua memória diz "O céu é azul". Ele tem que decidir em qual deles confiar.

A Grande Pergunta

Os pesquisadores queriam saber: Será que esses dois problemas são a mesma coisa?

Eles suspeitavam que, quando um bibliotecário "alucina", é porque ele está enfrentando internamente um "conflito de conhecimento". Em outras palavras, eles pensavam que o cérebro do bibliotecário estava zumbindo de confusão (conflito) logo antes de inventar uma mentira (alucinação). Se isso fosse verdade, poderíamos construir um sistema de alarme simples: se detectarmos o "zumbido de confusão", saberemos que uma mentira está por vir.

Como Eles Testaram Isso

Para testar isso, os pesquisadores atuaram como "scanners cerebrais" (uma técnica chamada probing). Eles não mudaram os bibliotecários; eles apenas espiaram dentro de suas cabeças em diferentes estágios de pensamento (as camadas ocultas, as camadas de atenção e as camadas de lógica) para ver se conseguiam detectar os sinais de confusão ou de mentira.

Eles usaram dois "bibliotecários" (modelos de IA) diferentes:

LLaMA-3-8B: Eles tentaram ver se os "sinais de confusão" deste bibliotecário podiam prever quando ele mentiria.
Falcon-7B: Eles tentaram ver se os "sinais de mentira" deste bibliotecário podiam prever quando ele estava confuso.

O Que Eles Descobriram

Os resultados foram um pouco surpreendentes. É como verificar um detector de fumaça e descobrir que o alarme para "fogo" não dispara quando alguém queima uma torrada, e o alarme para "queimar torrada" não dispara quando um incêndio começa.

Confusão $\neq$ Mentira: Quando observaram os sinais de "confusão" dentro do modelo, não conseguiram usá-los para prever quando o modelo alucinaria. Os padrões internos de estar confuso eram diferentes dos padrões de inventar coisas.
Mentira $\neq$ Confusão: Inversamente, os sinais que geralmente indicam que o modelo está mentindo não ajudaram a detectar quando o modelo estava enfrentando um conflito de conhecimento.

A Conclusão: Mesmo que pareça que as alucinações são causadas por conflitos de conhecimento, o artigo mostra que, dentro do "cérebro" do modelo, esses são dois processos distintos. Você não pode simplesmente procurar pelo "zumbido de confusão" para encontrar a mentira. Eles são fenômenos distintos.

Uma Boa Notícia

Embora não tenham encontrado o elo que procuravam, eles descobriram que seu "scanner cerebral" (a ferramenta de probing) funciona de forma muito consistente. Ele funciona tão bem em inglês quanto em italiano, espanhol, chinês e muitas outras línguas. Isso significa que a ferramenta em si é confiável, mesmo que a teoria específica sobre a ligação entre conflito e alucinação não tenha sido comprovada.

Em Resumo

Os pesquisadores esperavam encontrar um único "detector de fumaça" que pudesse captar tanto a confusão quanto a mentira nos modelos de IA. Eles descobriram que o cérebro da IA lida com essas duas questões de forma diferente. Embora estejam relacionadas no mundo real, dentro do código de computador, elas não parecem a mesma coisa. Isso nos diz que precisamos de ferramentas mais complexas para entender e corrigir os erros da IA, em vez de apenas procurar por uma causa simples.

Resumo Técnico: Analisando a Correlação entre Alucinações e Conflitos de Conhecimento em Grandes Modelos de Linguagem

Definição do Problema
Grandes Modelos de Linguagem (LLMs) enfrentam limitações significativas em tarefas intensivas em conhecimento, principalmente devido aos seus dados de treinamento fixos e estáticos, que não podem ser atualizados após o treinamento. Quando os modelos encontram informações fora de seu conhecimento paramétrico ou em conflito com ele, frequentemente geram "alucinações" — saídas factualmente incorretas, inconsistentes ou não verificáveis. Uma hipótese prevalecente sugere que essas alucinações derivam de conflitos de conhecimento internos, onde o conhecimento paramétrico armazenado pelo modelo entra em choque com as pistas contextuais fornecidas na entrada. No entanto, a relação específica entre as representações internas de conflitos de conhecimento e os comportamentos de alucinação permanece subexplorada. Embora trabalhos anteriores tenham desenvolvido com sucesso técnicas de sondagem (probing) para detectar conflitos de conhecimento (Zhao et al.) e alucinações (Snyder et al.) de forma independente, não está claro se esses dois fenômenos compartilham uma codificação interna comum ou se um pode ser usado para prever o outro.

Metodologia e Desenho Experimental
Este estudo emprega uma estrutura baseada em sondagem (probing-based framework) para investigar a correlação bidirecional entre conflitos de conhecimento e alucinações. Os autores hipotetizam que, se as alucinações forem causadas por conflitos de conhecimento, os padrões de ativação interna de uma saída alucinada deveriam ser detectáveis por um classificador treinado para identificar conflitos de conhecimento, e vice-versa.

O desenho experimental envolve duas direções distintas:

De Conflitos de Conhecimento para Alucinações:
- Modelo: LLaMA-3-8B.
- Treinamento: Modelos de sondagem de conflito de conhecimento ( $KC_{a,i}$ ) foram treinados usando Regressão Logística no dataset NQ-Swap (um dataset sintético de pares de QA conflitantes) para detectar sinais de conflito nas ativações de camadas ocultas, de atenção e MLP.
- Avaliação: Esses detectores de conflito treinados foram aplicados às ativações extraídas de Mu-SHROOM, HaluEval e HaluBench (datasets contendo pares de QA alucinados). O objetivo era determinar se o detector de conflito poderia prever com precisão a presença de alucinações.
De Alucinações para Conflitos de Conhecimento:
- Modelo: Falcon-7B.
- Treinamento: Modelos de sondagem de alucinação ( $H_l, H_{a,i}$ ) foram treinados usando classificadores feed-forward no dataset TriviaQA para detectar sinais de alucinação em logits de saída e ativações intermediárias (atenção e MLP).
- Avaliação: Esses detectores de alucinação foram aplicados ao dataset NQ-Swap para determinar se a presença de um conflito de conhecimento poderia ser prevista pelo detector de alucinação.

Principais Resultados
A análise empírica produziu as seguintes descobertas:

Falta de Forte Correlação: Contrariando a hipótese de que as alucinações são diretamente redutíveis aos conflitos de conhecimento, o estudo descobriu que não há correlação significativa entre as representações internas dos dois fenômenos.
- Ao sondar alucinações usando modelos de conflito de conhecimento (LLaMA-3-8B), a precisão flutuou, mas permaneceu baixa (frequentemente próxima aos níveis de acaso, com AUROC próximo a 0,5). Notavelmente, o desempenho declinou nas camadas intermediárias (15–25), onde os conflitos de conhecimento são tipicamente detectados com maior precisão de forma isolada.
- Inversamente, ao sondar conflitos de conhecimento usando modelos de alucinação (Falcon-7B), os detectores operaram em níveis de acaso (acurácia $\approx$ 0,5, AUROC $\approx$ 0,5) em todas as camadas. Isso contrasta com o estudo de referência de Snyder et al., onde a detecção de alucinação melhorou nas camadas posteriores; aqui, a tendência foi negligenciável.
Especificidade de Ativação: O estudo observou que as ativações ocultas no LLaMA-3-8B foram menos informativas para a detecção de conflito do que as ativações de atenção ou MLP. No Falcon-7B, a tendência oposta foi observada em comparação com a literatura prévia, com as ativações de atenção às vezes superando as MLPs neste contexto de tarefa cruzada específico.
Robustez entre Idiomas: Apesar da falta de correlação entre os fenômenos, a própria metodologia de sondagem provou ser robusta. Ao ser aplicada ao dataset multilíngue Mu-SHROOM (cobrindo 14 idiomas), os modelos de sondagem mantiveram um desempenho estável entre diferentes idiomas, indicando que a técnica não é fortemente enviesada para estruturas linguísticas específicas.

Significância e Contribuições
O artigo contribui para a compreensão mais ampla da interpretabilidade de LLMs ao fornecer evidência empírica sistemática de que alucinações e conflitos de conhecimento não estão fortemente alinhados ao nível das representações internas.

Desacoplamento de Fenômenos: As descobertas desafiam a suposição intuitiva de que as alucinações são geradas unicamente ou primariamente por conflitos de conhecimento internos. Isso sugere que as alucinações podem surgir de mecanismos mais complexos e ortogonais que não são totalmente capturados apenas pelos sinais de detecção de conflito.
Validação Metodológica: Embora a hipótese de correlação não tenha sido sustentada, o estudo valida a utilidade da sondagem como uma ferramenta robusta para analisar o comportamento interno do modelo através de diferentes tipos de ativação (oculta, atenção, MLP) e idiomas.
Direções Futais: Os autores enfatizam a necessidade de desacoplar esses fenômenos em pesquisas futuras para desenvolver estratégias de mitigação mais direcionadas. Eles propõem estender essas metodologias de sondagem para domínios de alto risco, como saúde digital, educação e gestão de recursos humanos, observando a importância crítica das considerações éticas relativas ao viés e à interpretação errônea dos resultados de sondagem em contextos multilíngues e sensíveis.

O código-fonte para a reprodução desses experimentos está disponível publicamente, facilitando investigações adicionais sobre a mecânica interna dos LLMs.