💬 NLP

Probabilistic distances-based hallucination detection in LLMs with RAG

Este artigo apresenta um método não supervisionado e eficiente para detectar alucinações em modelos de linguagem com RAG, baseando-se na estimativa de distâncias probabilísticas entre as distribuições de embeddings de tokens do prompt e da resposta para identificar a factualidade do texto.

Autores originais: Rodion Oblovatny, Alexandra Kuleshova, Konstantin Polev, Alexey Zaytsev

Publicado 2026-02-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rodion Oblovatny, Alexandra Kuleshova, Konstantin Polev, Alexey Zaytsev

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente de IA muito inteligente, capaz de responder a qualquer pergunta. Mas, às vezes, esse assistente é como um aluno que estudou muito, mas inventou fatos na hora da prova. Ele responde com tanta confiança que parece verdade, mas é uma "alucinação" (uma mentira fabricada).

Este artigo de pesquisa apresenta uma nova maneira de detectar quando a IA está "inventando" coisas, especialmente quando ela está usando documentos externos para ajudar a responder (o que chamamos de sistema RAG).

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O Aluno que "Decora" vs. O Aluno que "Entende"

Quando pedimos para a IA responder uma pergunta baseada em um texto que lhe fornecemos, ela deveria apenas resumir o que está ali.

Resposta Real (Grounded): A IA olha para o texto e diz exatamente o que está escrito. É como se ela estivesse lendo um livro em voz alta.
Alucinação: A IA ignora o texto e usa o que sabe de "coração" (ou inventa algo novo). É como se ela estivesse olhando para o livro, mas respondendo com uma história que ela mesma criou na cabeça.

O desafio é: como saber, em tempo real, se ela está lendo o livro ou inventando uma história, sem precisar de um humano para checar cada resposta?

2. A Solução: O "Detector de Sincronia"

Os autores descobriram algo fascinante: quando a IA está lendo o texto corretamente, a "mente" dela (os dados internos que ela usa para processar a informação) fica sincronizada com o texto. Mas, quando ela começa a alucinar, essa sincronia se quebra.

Imagine que você está dançando com um parceiro:

Resposta Correta: Você e seu parceiro estão dançando o mesmo passo, no mesmo ritmo. Tudo está alinhado.
Alucinação: Seu parceiro começa a fazer movimentos estranhos, fora de ritmo. A "distância" entre o que você faz e o que ele faz aumenta.

Os pesquisadores medem essa "distância" dentro da mente da IA. Se a distância entre o texto de entrada e a resposta for muito grande, é um sinal de alerta: "Ei, ela está inventando!"

3. A Ferramenta Mágica: O "Radar de Probabilidade" (MMD)

Para medir essa distância, eles usam uma ferramenta matemática chamada MMD (Maximum Mean Discrepancy).
Pense no MMD como um radar de radar de velocidade, mas em vez de medir carros, ele mede "padrões de pensamento".

Ele compara a "nuvem de pensamentos" do texto original com a "nuvem de pensamentos" da resposta.
Se as nuvens se sobrepõem perfeitamente, a IA está segura.
Se as nuvens estão muito longe uma da outra, a IA está alucinando.

4. O Truque Inteligente: Não é apenas "Quantidade", é "Qualidade"

A IA é feita de muitas camadas e "cérebros" menores (chamados heads ou cabeças de atenção).

Abordagem antiga: Olhar para a IA como um todo (como olhar para uma floresta inteira).
Abordagem deste artigo: Olhar para árvores específicas. Eles descobriram que certas "áreas" da IA são muito melhores em detectar mentiras do que outras. Ao focar apenas nessas áreas específicas, o detector fica muito mais preciso. É como ter um detector de mentiras que escuta apenas a voz do suspeito, ignorando o barulho do fundo.

5. O Teste de Estresse: O "Wild Bootstrap"

Às vezes, medir a distância pode ser enganoso se a resposta for muito longa ou muito curta. Para resolver isso, eles usam uma técnica chamada Wild Bootstrap.
Imagine que você quer saber se uma moeda é viciada. Você não joga uma vez; você joga 2.000 vezes para ver o padrão.
O método deles faz algo similar: ele simula milhares de cenários possíveis para garantir que a "distância" que ele mediu não foi apenas uma coincidência, mas um sinal real de mentira. Isso torna o teste muito confiável, mesmo sem ter muitos exemplos de mentiras para treinar o sistema.

6. O Grande Truque: Aprender com um Jogo Diferente

A parte mais genial é que eles conseguiram treinar esse detector usando um jogo chamado NLI (Inferência Linguística Natural), onde o objetivo é dizer se uma frase contradiz outra.
É como treinar um guarda de trânsito usando um jogo de xadrez. A lógica é a mesma: detectar contradições.

Eles treinaram o sistema para detectar contradições no jogo NLI.
Depois, usaram esse mesmo sistema para detectar alucinações em chats reais.
Resultado: Funcionou perfeitamente! Isso significa que podemos usar esse detector em qualquer lugar, mesmo sem ter milhares de exemplos de "mentiras" de IA para ensinar o sistema.

Resumo Final

Os autores criaram um sistema de segurança para IAs que:

Não precisa de um humano para checar cada resposta.
Funciona olhando para dentro da "mente" da IA (seus dados internos).
Detecta quando a IA sai do ritmo e começa a inventar fatos.
É tão inteligente que pode ser treinado em um jogo de lógica e usado para proteger bancos, hospitais e advogados de respostas falsas.

É como colocar um detector de mentiras automático dentro do cérebro da IA, garantindo que, quando ela diz "eu li isso no texto", ela realmente leu, e não apenas imaginou.

Título: Detecção de Alucinações em LLMs com RAG Baseada em Distâncias Probabilísticas

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são amplamente utilizados, mas sofrem do problema de alucinações (geração de conteúdo incorreto ou fabricado). Isso é particularmente crítico em configurações de Geração Aumentada por Recuperação (RAG), onde o modelo deve basear suas respostas em um contexto recuperado.

Limitações dos Métodos Atuais: A maioria das abordagens existentes trata a detecção de alucinações de forma isolada, sem analisar explicitamente a relação estatística entre o contexto (prompt) e a resposta gerada.
Desafio Específico: Métodos baseados em consistência exigem múltiplas gerações (custo computacional alto), e métodos baseados em incerteza (probabilidades de tokens) falham em capturar dependências complexas. Além disso, poucos métodos exploram as interações nos estados ocultos (hidden states) do modelo em relação ao contexto recuperado.

2. Metodologia Proposta

Os autores propõem uma abordagem intrínseca ao modelo que analisa a divergência estatística entre as distribuições dos estados ocultos do prompt (contexto) e da resposta gerada.

Conceito Central

A hipótese é que respostas alucinadas apresentam desvios significativos em relação ao contexto no espaço latente do modelo, enquanto respostas fundamentadas (grounded) mantêm uma conexão estrutural mais forte.

Componentes Técnicos

Distância de Máxima Discrepância de Média (MMD):
- Utiliza-se o MMD para quantificar a diferença entre duas distribuições de probabilidade (estados ocultos do prompt vs. estados ocultos da resposta).
- O MMD opera em um Espaço de Hilbert de Reprodutor de Kernel (RKHS), permitindo capturar diferenças semânticas sem assumir parâmetros paramétricos fortes sobre os dados.
- Kernel utilizado: Kernel Laplaciano com norma L1.
Wild Bootstrap para Validação Não-Assintótica:
- Para lidar com amostras de tamanho finito e dependências sequenciais (comuns em texto), o método não usa o valor "bruto" do MMD.
- Em vez disso, aplica-se um Wild Bootstrap (com pesos gerados por um processo autoregressivo AR(1)) para aproximar a distribuição nula da estatística.
- O resultado final é um valor-p, que é convertido em uma pontuação de alucinação ( $Score = 1 - p\text{-value}$ ). Isso normaliza a pontuação entre 0 e 1 e torna o teste válido para sequências de diferentes comprimentos.
Seleção de Cabeças de Atenção (Head Selection):
- Em vez de usar embeddings de camadas inteiras (que podem diluir o sinal), o método seleciona cabeças de atenção específicas que possuem maior poder discriminativo.
- Um conjunto de sondas (probe dataset) é usado para ranquear as cabeças com base na sua capacidade de separar respostas alucinadas de fundamentadas.
- A pontuação final é a média das pontuações das cabeças selecionadas (máximo de 6 cabeças).
Abordagem Não Supervisionada (Transferência de NLI):
- O método explora a similaridade entre a detecção de alucinações e a tarefa de Inferência Linguística Natural (NLI).
- Cabeças selecionadas em um dataset de NLI (ex: SNLI) podem ser transferidas para tarefas de detecção de alucinações sem necessidade de dados rotulados de alucinação, permitindo um detector totalmente não supervisionado.

3. Contribuições Principais

Análise de Divergência Probabilística: Demonstração de que respostas alucinadas exibem maiores desvios nas distribuições de estados ocultos em relação ao prompt, comparado a respostas fundamentadas.
Novo Método Intrínseco: Proposta de um detector que utiliza distâncias entre distribuições (MMD + Wild Bootstrap) para criar uma pontuação de alucinação, sem necessidade de bancos de conhecimento externos ou modelos auxiliares.
Detector Não Supervisionado: Construção de um detector que funciona via transferência de aprendizado de tarefas de NLI, mantendo alta qualidade mesmo com mudança de domínio significativa.
Desempenho de Estado da Arte (SOTA): Validação extensiva em cinco datasets e três LLMs (até 13B parâmetros), alcançando resultados competitivos ou superiores ao estado da arte.

4. Resultados Experimentais

Os experimentos foram realizados em datasets como RAGTruth, CoQA, SQuAD e XSum, utilizando modelos LLaMA-2-7B, LLaMA-2-13B e Mistral-7B.

Desempenho Geral: O método (MMD) alcançou os melhores ou segundos melhores resultados em AUC-ROC na maioria dos cenários, superando métodos baseados em consistência, incerteza e outros baseados em estados ocultos (como SAPLMA e HaloScope).
- Exemplo: No dataset SQuAD com LLaMA-2-13B, o método alcançou 0.94 ± 0.02 de AUC-ROC.
Modelos Maiores: O desempenho foi particularmente forte no modelo LLaMA-2-13B, sugerindo que modelos maiores capturam melhor o sinal de factualidade detectado pelo MMD.
Transferência NLI: Ao transferir cabeças selecionadas no dataset SNLI para detecção de alucinações, o método manteve desempenho competitivo (ex: 0.94 em SQuAD com LLaMA-2-13B), confirmando a correlação entre os dois tarefas.
Ablação (Estudos de Sensibilidade):
- Bootstrap: O uso de Wild Bootstrap superou consistentemente o uso do valor "bruto" do MMD, oferecendo estabilidade e normalização.
- Granularidade (Cabeças vs. Camadas): O uso de embeddings de cabeças individuais superou o uso de embeddings de camadas inteiras (ex: ganho de >0.2 em AUC-ROC no SQuAD para LLaMA-2-7B), provando que o sinal de factualidade é mais nítido em cabeças específicas.
- Tamanho do Conjunto de Sondas: O método é robusto e praticamente independente do tamanho do conjunto de sondas (probe set).

5. Significado e Conclusão

Este trabalho estabelece uma abordagem geométrica simples, porém poderosa, para a detecção de alucinações. Ao focar na divergência estatística das representações latentes entre contexto e resposta, e ao utilizar técnicas robustas de reamostragem (Wild Bootstrap) para lidar com a natureza sequencial do texto, os autores criaram um detector eficiente.

A principal implicação é a viabilidade de detecção não supervisionada em ambientes RAG críticos (como saúde, direito e finanças), onde dados rotulados de alucinação são escassos. O método não requer re-treinamento do LLM, não depende de múltiplas gerações (baixo custo computacional) e demonstra alta transferibilidade entre tarefas, oferecendo uma solução prática para aumentar a confiabilidade de sistemas de IA generativa.