💻 computer science

A Multi-Layer Framework for Hallucination Detection and Mitigation in Large Language Models Using Retrieval Grounding and Small Language Model Verification

Este artigo propõe uma estrutura de múltiplas camadas que aumenta a confiabilidade factual de grandes modelos de linguagem ao decompor as respostas em alegações atômicas, fundamentá-las com recuperação e verificá-las por meio de um pequeno modelo de linguagem e raciocínio neuro-simbólico, alcançando ganhos de desempenho significativos nos conjuntos de dados HotpotQA e SciFact, enquanto mantém a interpretabilidade e a eficiência computacional.

Autores originais: Md. Mahmudul Hasan, Israk Kayum Chowdhury, Md. Eliyas Akondo, Tanvir Ahammad, Khandaker Mohammad Mohi Uddin

Publicado 2026-06-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Md. Mahmudul Hasan, Israk Kayum Chowdhury, Md. Eliyas Akondo, Tanvir Ahammad, Khandaker Mohammad Mohi Uddin

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um contador de histórias muito talentoso e de fala rápida (o Large Language Model, ou LLM). Este contador de histórias pode tecer um conto que soa perfeito, flui lindamente e parece incrivelmente confiante. Mas aqui está o detalhe: às vezes, ele inventa coisas. Ele pode inventar uma data, um lugar ou um fato que parece plausível, mas que é, na verdade, falso. Isso é chamado de "alucinação."

O problema é que, como a história soa tão fluida, você pode acreditar nela sem verificar.

Este artigo propõe uma nova maneira de verificar o trabalho do contador de histórias antes de você ouvir a versão final. Em vez de apenas ouvir a história inteira e adivinhar se ela é verdadeira, os autores construíram uma fábrica de verificação de fatos de múltiplas camadas. Veja como ela funciona, passo a passo, usando analogias simples:

1. O Contador de Histórias Escreve o Rascunho

Primeiro, o LLM escreve uma resposta para a sua pergunta. Digamos que você pergunte: "Quem ganhou o Prêmio Nobel de Física em 1903?"
O LLM pode dizer: "Marie Curie ganhou o Prêmio Nobel de Física de 1903, e ela também ganhou um segundo em Química em 1911."
Nesta fase, o sistema trata esta resposta como não verificada. É apenas um rascunho.

2. Quebrando a História em Peças de Lego (Decomposição Atômica)

Em vez de verificar o parágrafo inteiro de uma só vez, o sistema o quebra em pequenas e individuais "peças de Lego" (afirmações atômicas).

Peça 1: "Marie Curie ganhou o Prêmio Nobel de Física de 1903."
Peça 2: "Ela ganhou um segundo em Química em 1911."

Por que fazer isso? Porque uma história pode ser 99% verdadeira, mas ter uma única mentirinha nela. Se você verificar a história inteira, pode deixar passar essa pequena mentira. Ao verificar cada peça, você consegue identificar exatamente onde está o erro.

3. A Busca do Bibliotecário (Fundamentação por Recuperação)

Agora, para cada "peça", o sistema envia um bibliotecário (um Sistema de Recuperação) a uma biblioteca massiva de documentos para encontrar provas.

O bibliotecário procura livros ou artigos que falem sobre Marie Curie e 1903.
Se o bibliotecário encontrar um livro que diz: "Sim, ela ganhou em 1903", essa peça recebe um carimbo de "Suportado".
Se o bibliotecário encontrar um livro que diz: "Ela ganhou em 1905", essa peça recebe um carimbo de "Contradito".
Se o bibliotecário voltar de mãos vazias ou encontrar um livro que fala apenas sobre ela, mas não sobre o ano, a peça recebe um carimbo de "Incerto".

Descoberta Principal: O artigo descobriu que, se você remover este passo do bibliotecário, todo o sistema colapsa. Sem evidências reais da biblioteca, o sistema não consegue distinguir verdade de mentira.

4. O Juiz de Verificação Rápida (Verificação por Pequeno Modelo de Linguagem)

Em seguida, o sistema traz um Pequeno Modelo de Linguagem (SLM). Pense nisso como um juiz rápido e eficiente que é muito bom em ler a "peça" e as "notas do bibliotecário" e decidir: Isso é verdadeiro, falso ou incerto?

Este juiz é menor e mais rápido que o contador de histórias original.
Ele não diz apenas "Verdadeiro" ou "Falso". Ele fornece um índice de confiança. Por exemplo, "Tenho 90% de certeza de que isso é verdade" ou "Tenho apenas 40% de certeza".
Se a evidência for fraca, o juiz diz: "Não consigo decidir ainda" (Incerto), em vez de adivinhar.

5. O Ancião Sábio (Raciocínio Neuro-Simbólico)

Às vezes, a evidência é complicada. Talvez o bibliotecário tenha encontrado dois livros que discordam, ou o juiz esteja confuso.
É aqui que entra a camada de Raciocínio Neuro-Simbólico. Pense nisso como um ancião sábio que conhece as regras da lógica.

Se o juiz estiver incerto, o ancião aplica regras estritas (como "Se a data estiver errada, toda a afirmação está errada").
O ancião também pode corrigir a afirmação. Se o LLM disse "1911", mas a evidência diz "1903", o ancião não apenas deleta a frase; ele pode reescrevê-la para dizer "1903".
Esta camada também explica por que uma decisão foi tomada, tornando o processo transparente.

6. O Relatório Final (Saída Calibrada pelo Conhecimento)

Finalmente, o sistema reconstrói a resposta usando apenas as peças que passaram pelas verificações.

Peças verdadeiras permanecem.
Peças corrigidas são retificadas.
Peças falsas são removidas.
Peças incertas são ou removidas ou sinalizadas como "não temos certeza sobre esta parte".

O sistema também fornece um "Índice de Confiança". Ele diz a você: "Tenho 85% de confiança nesta resposta". Se o índice for baixo, você sabe que deve ter cuidado.

O Que Eles Descobriram?

Os pesquisadores testaram esta fábrica em dois tipos de tarefas:

Verificação de Fatos Científicos: Verificando se afirmações científicas eram verdadeiras.
Perguntas Complexas: Respondendo a perguntas que exigem conectar várias partes de informação.

Os Resultados:

O Bibliotecário é a Chave: Quando removeram o bibliotecário (a etapa de recuperação), a capacidade do sistema de obter a resposta correta caiu drasticamente. Isso prova que você precisa de evidências reais, não apenas da memória da IA.
O Pequeno Juiz faz o Trabalho Pesado: O pequeno e rápido juiz (SLM) fez a maior parte do trabalho ao decidir se os fatos eram verdadeiros ou falsos. O "Ancião Sábio" (camada de raciocínio) não mudou muito o índice final nestes testes, mas foi muito bom em explicar o porquê e em corrigir erros.
Melhor Prevenir do que Remediar: O sistema é projetado para ser cauteloso. Ele prefere dizer "Eu não sei" (Incerto) do que adivinhar e errar. Isso significa que ele pode perder alguns fatos verdadeiros, mas raramente mente com confiança.

A Conclusão

Este artigo mostra que você não precisa de um supercomputador para verificar o trabalho de uma IA. Ao dividir as respostas em pequenas partes, verificá-las contra documentos reais, usar um "mini-IA" rápido para julgar e aplicar regras simples de lógica, você pode capturar mentiras e corrigir erros. O resultado é uma IA que não apenas soa confiante, mas é realmente confiável.

Resumo Técnico: Um Framework Multicamadas para Detecção e Mitigação de Alucinações em Grandes Modelos de Linguagem

1. Definição do Problema

Grandes Modelos de Linguagem (LLMs) geram texto fluente e coerente, mas frequentemente produzem "alucinações" — afirmações que são factualmente incorretas, não sustentadas ou incompletas. Este problema é particularmente crítico em domínios de alto risco, como saúde, educação e pesquisa científica, onde imprecisões menores podem levar a mal-entendidos significativos ou decisões falhas. Os métodos de detecção existentes sofem de diversas limitações:

Granularidade Coarse (Grosseira): Muitas abordagens avaliam a resposta inteira como uma única unidade, falhando em detectar alucinações parciais onde uma resposta é majoritariamente correta, mas contém afirmações específicas falsas.
Falta de Fundamentação Externa: Métodos de autoconsistência ou análise de estado interno dependem das próprias saídas ou estados ocultos do modelo, o que pode propagar os mesmos erros.
Custo Computacional: Métodos de debate multiagente ou amostragem repetida são frequentemente caros demais para implantação em tempo real.
Lacunas de Integração: Geração Aumentada por Recuperação (RAG), verificação de fatos e estimativa de incerteza são frequentemente tratados como processos separados, em vez de um pipeline unificado.

O artigo argumenta pela necessidade de decompor respostas em afirmações atômicas, fundamentá-las em evidências externas, verificá-las de forma eficiente e refinar casos incertos por meio de raciocínio estruturado.

2. Metodologia

Os autores propõem um Framework Multicamadas que integra fundamentação por recuperação, decomposição de afirmações atômicas, verificação por Modelo de Linguagem Pequeno (SLM) e raciocínio neuro-simbólico. O pipeline opera através das seguintes etapas:

2.1 Geração Inicial e Decomposição Atômica

Geração: Um LLM gera uma resposta inicial ( $A_0$ ) para uma consulta do usuário ( $Q$ ). Esta resposta é tratada como não verificada.
Decomposição: O framework quebra $A_0$ em um conjunto de afirmações fatuais atômicas ( $F = \{f_1, f_2, ..., f_n\}$ ). Cada afirmação é uma proposição autossuficiente e verificável (ex: separando "Marie Curie nasceu em Varsóvia" de "Marie Curie ganhou dois prêmios Nobel"). Conteúdo não verificável (opiniões, estilo) é excluído.

2.2 Camada 1: Fundamentação Semântica (Recuperação)

Para cada afirmação atômica $f_i$ , o sistema recupera evidências relevantes ( $E_i$ ) de um corpus de documentos ( $D$ ) usando busca semântica baseada em vetores.
As afirmações e os fragmentos de documentos são codificados em vetores densos, e a similaridade de cosseno é usada para identificar os top- $k$ fragmentos de evidência mais relevantes.
Esta camada fornece o contexto factual necessário para a verificação, reduzindo a dependência do conhecimento interno do LLM.

2.3 Camada 2: Portão de Incerteza e Consistência (Verificação por SLM)

Um Modelo de Linguagem Pequeno (SLM) leve, especificamente o Qwen2.5-1.5B-Instruct, atua como um verificador probabilístico.
O SLM recebe a afirmação ( $f_i$ ), a evidência recuperada ( $E_i$ ) e a consulta original ( $Q$ ).
Ele produz probabilidades para três rótulos: SUPORTADO, CONTRADITÓRIO e NÃO ESPECIFICADO.
Calibragem: O sistema calcula a incerteza (entropia normalizada) e aplica limiares de decisão ( $\tau$ ). Para minimizar falsos positivos, um limiar conservador ( $\tau \approx 0.6$ ) é usado no sistema final, embora um limiar mais baixo ( $\approx 0.40$ ) resulte em um F1 score mais alto. Afirmações com baixa confiança são sinalizadas como incertas em vez de serem forçadas a uma decisão binária.

2.4 Camada 3: Raciocínio Neuro-Simbólico

Esta camada refina as decisões para casos limítrofes ou incertos.
Ela emprega um conjunto predefinido de regras lógicas (ex: afirmações numéricas exigem evidência explícita) e um LLM de raciocínio para reavaliar afirmações onde a confiança do SLM é baixa ou a evidência é ambígua.
O output é um veredito refinado: SUPORTADO, CORRIGIDO (afirmação modificada), REJEITADO ou INSUFICIENTE, acompanhado de uma explicação em linguagem natural ( $w_i$ ).

2.5 Output Calibrado por Confiança

A resposta final ( $A^*$ ) é reconstruída usando apenas as afirmações validadas e corrigidas.
Um Score de Confiança global ( $T$ ) é calculado com base nas probabilidades de suporte e na incerteza das afirmações incluídas, fornecendo ao usuário um indicador de confiabilidade.

3. Principais Contribuições

Decomposição por Nível de Afirmação: O framework desloca a detecção de alucinação da avaliação ao nível da resposta para uma análise ao nível de afirmação atômica, permitindo a identificação de alucinações parciais dentro de respostas que são majoritariamente corretas.
Pipeline de Verificação Híbrido: Integra fundamentação por recuperação, verificação via SLM e raciocínio neuro-simbólico em uma única arquitetura. Isso combina a eficiência de modelos leves com a consistência lógica do raciocínio baseado em regras.
Design Consciente de Incerteza: Ao modelar explicitamente a incerteza e usar limiares conservadores, o sistema prioriza evitar rótulos falsos de "SUPORTADO" sobre a maximização do recall, tornando-o adequado para aplicações de alta confiança.
Interpretabilidade: O sistema gera explicações sobre por que as afirmações são aceitas, rejeitadas ou corrigidas, e fornece um score de confiança global, aumentando a transparência.

4. Resultados Experimentais

O framework foi avaliado em dois datasets: SciFact (verificação de afirmação científica) e HotpotQA (resposta a perguntas de múltiplos saltos/multi-hop).

4.1 Métricas de Desempenho

SciFact: O framework completo alcançou uma acurácia de 0.511 e um macro-F1 de 0.504.
- Observação: A variante "sem raciocinador" (no-reasoner) teve desempenho quase idêntico, sugerindo que o verificador SLM lida com a maior parte do trabalho de classificação estruturada para este dataset.
HotpotQA: O pipeline completo alcançou um F1 score ao nível de token de 0.146.
- Estudo de Ablação: Remover o componente de recuperação causou uma queda drástica no desempenho (F1 caiu para 0.034), destacando que a fundamentação por recuperação é o componente mais crítico para a qualidade da resposta.
- Remover a camada de raciocínio ou o verificador SLM teve impacto mínimo no F1 ao nível de token, mas afetou o comportamento de verificação e a interpretabilidade.

4.2 Comportamento de Verificação e Calibragem

Estratégia Conservadora: O modelo frequentemente classifica afirmações como NÃO ESPECIFICADAS (42.7% das afirmações) quando a evidência é fraca, em vez de adivinhar. Isso reduz falsos positivos, mas diminui o recall para afirmações suportadas.
Calibragem de Confiança: O ROC-AUC foi de 0.87, e a curva de calibração mostrou que scores de confiança mais altos geralmente correlacionavam-se com maior correção. O sistema distingue efetivamente entre afirmações suportadas, contraditórias e incertas.
Sensibilidade do Limiar: Embora o F1 score ideal tenha ocorrido em um limiar de $\approx 0.40$ , o sistema final utiliza um limiar mais rigoroso ( $\approx 0.6$ ) para garantir alta precisão e reduzir o risco de validar afirmações não sustentadas.

4.3 Eficiência

O pipeline completo tem uma média de 20.6 segundos por consulta.
A etapa de verificação do SLM responde pela maior parte da latência, enquanto a recuperação adiciona overhead mínimo. Isso é significativamente mais eficiente do que debates multiagentes ou amostragem repetida de modelos grandes.

5. Significância e Alegações

O artigo alega que este framework oferece um equilíbrio prático entre acurácia, confiabilidade, interpretabilidade e custo computacional. Sua significância reside em:

Mitigação de Alucinações Parciais: Ao verificar afirmações individualmente, o sistema pode corrigir erros específicos sem descartar toda a resposta.
Redução da Carga Computacional: Usar um verificador pequeno e especializado (SLM) em vez de consultar repetidamente um LLM grande torna o sistema viável para implantação no mundo real.
Calibragem de Confiança: O sistema não apenas entrega uma resposta; ele fornece um score de confiança e uma explicação, permitindo que os usuários avaliem a confiabilidade da informação.
Confiabilidade Baseada em Evidências: Os resultados demonstram que, sem a fundamentação por recuperação, o desempenho da verificação colapsa, provando que a evidência externa é essencial para a confiabilidade factual.

Os autores concluem que, embora o sistema permaneça conservador (potencialmente perdendo algumas afirmações suportadas para evitar erros), esse trade-off é necessário para aplicações de alto risco onde uma resposta confiante, porém incorreta, é mais prejudicial do que uma incerta. O trabalho futuro sugere melhorar a qualidade da recuperação, expandir as regras de raciocínio e testar o framework em contextos de domínio aberto mais amplos.