💬 NLP

KGHaluBench: A Knowledge Graph-Based Hallucination Benchmark for Evaluating the Breadth and Depth of LLM Knowledge

O artigo apresenta o KGHaluBench, um benchmark baseado em Grafos de Conhecimento que avalia a veracidade e o conhecimento de Grandes Modelos de Linguagem (LLMs) em termos de amplitude e profundidade, superando as limitações de benchmarks existentes através da geração dinâmica de perguntas e de uma pipeline de verificação automatizada para identificar diferentes tipos de alucinações.

Autores originais: Alex Robertson, Huizhi Liang, Mahbub Gani, Rohit Kumar, Srijith Rajamohan

Publicado 2026-02-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alex Robertson, Huizhi Liang, Mahbub Gani, Rohit Kumar, Srijith Rajamohan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os Grandes Modelos de Linguagem (LLMs), como o ChatGPT ou o Gemini, são como oradores extremamente talentosos e eloquentes. Eles podem falar por horas, com uma voz suave e uma gramática perfeita, contando histórias que parecem incrivelmente reais. O problema é que, às vezes, eles são como um mágico de palco: o show é espetacular, mas o que está acontecendo nos bastidores pode ser pura ilusão. Eles podem inventar fatos, confundir datas ou criar personagens que nunca existiram, tudo isso com uma confiança absoluta. Isso é chamado de "alucinação".

Até agora, testar esses oradores era como fazer um teste de múltipla escolha com perguntas antigas e fáceis. Era como perguntar: "Quem foi o primeiro presidente dos EUA?" (Todos sabem: Washington). Se o modelo acertasse, era bom. Mas isso não nos dizia se ele sabia realmente sobre a história da América ou se apenas decorou a resposta. Além disso, essas perguntas não cobriam o "quão fundo" o modelo sabia as coisas.

É aqui que entra o KGHaluBench, o novo "exame de verdade" criado pelos pesquisadores. Vamos entender como funciona usando algumas analogias simples:

1. O Grande Mapa do Tesouro (O Knowledge Graph)

Em vez de usar uma lista fixa de perguntas, os pesquisadores usaram um Mapa do Tesouro Gigante chamado Knowledge Graph (Grafo de Conhecimento). Imagine que este mapa tem milhões de ilhas (pessoas, lugares, coisas) conectadas por pontes (fatos).

Como funciona o teste: O sistema não escolhe perguntas prontas. Ele fecha os olhos, aponta para o mapa e escolhe uma ilha aleatória (pode ser uma celebridade famosa, um pintor obscuro ou uma cidade pequena).
A Pergunta: Em vez de perguntar apenas "Quem é?", o sistema cria uma pergunta complexa que exige que o modelo visite três ilhas diferentes conectadas àquela ilha inicial. É como pedir ao orador: "Fale sobre a vida de [X], onde ele nasceu, quem era seu melhor amigo e qual foi o filme mais famoso que ele fez". Isso testa se o modelo tem conhecimento amplo (sabe quem é) e profundo (sabe os detalhes específicos).

2. O Detetive de Três Camadas (A Verificação)

Quando o modelo responde, ele não é apenas julgado por "certo ou errado". Ele passa por um sistema de segurança de três camadas, como um aeroporto de alta segurança:

Camada 1: O Porteiro (Filtro de Entidade)
Antes de verificar os fatos, o sistema pergunta: "Você sabe do que está falando?". Se o modelo começar a falar sobre o ator Denzel Washington quando a pergunta era sobre o pintor Denzel Washington (ou se ele inventar um Denzel que não existe), o porteiro o para. Se ele disser "Não sei quem é esse", ele ganha pontos por honestidade (abstenção). Se ele inventar uma história, é pego aqui.
Camada 2: O Chefe de Polícia (Verificação de Fatos)
Se o modelo passou pelo porteiro, agora um detetive verifica cada frase. O sistema pega os fatos que o modelo disse e compara com o "Mapa do Tesouro" original.
- Exemplo: Se o modelo diz "Ele nasceu em 1950", o detetive olha no mapa: "Não, nasceu em 1945". Fato errado!
Camada 3: O Juiz Especialista (Decisão Final)
Às vezes, o detetive fica confuso. A frase do modelo é estranha, mas não é exatamente uma mentira. Nesse caso, um "Juiz Especialista" (uma IA mais inteligente) decide se a frase é aceitável ou não.

3. A Nova Régua de Medição (As Métricas)

O grande diferencial deste trabalho é como eles medem o resultado. Antigamente, era apenas uma nota de 0 a 100. Agora, eles usam duas novas réguas:

Precisão Ponderada (Wa): Imagine que você faz um teste de matemática. Se as perguntas forem fáceis, tirar 100 é fácil. Se as perguntas forem difíceis, tirar 80 é impressionante. O KGHaluBench calcula a "dificuldade" de cada pergunta (baseada em quão famosa é a pessoa ou quão complexos são os fatos) e ajusta a nota. Isso é justo: um modelo que acerta perguntas difíceis é melhor do que um que só acerta as fáceis.
Taxas de Alucinação (Breadth vs. Depth): Eles separam o erro em dois tipos:
1. Alucinação de Superfície (Breadth): O modelo nem sabe quem é a pessoa. É como se ele estivesse falando de um fantasma.
2. Alucinação de Profundidade (Depth): O modelo sabe quem é a pessoa, mas inventa detalhes. É como saber que o Denzel Washington é ator, mas inventar que ele ganhou um Oscar em 1995 (quando ganhou em 2002).

O Que Eles Descobriram?

Ao testar 25 modelos diferentes (desde os pequenos e gratuitos até os gigantes e pagos), eles descobriram coisas interessantes:

Modelos maiores são melhores em "saber quem é", mas ainda erram nos detalhes. Eles raramente inventam a pessoa errada, mas ainda inventam datas e nomes de filmes.
A honestidade é uma faca de dois gumes. Alguns modelos, ao perceberem que não sabem, dizem "Não sei". Isso evita erros, mas torna o modelo inútil para o usuário. Outros preferem inventar uma resposta para parecerem úteis, o que é perigoso.
A lacuna está diminuindo. Modelos de código aberto (gratuitos) estão ficando tão bons quanto os modelos pagos e proprietários em evitar alucinações.

Conclusão

O KGHaluBench é como um novo tipo de exame de direção para IAs. Em vez de apenas ver se o carro anda em linha reta em uma pista vazia (perguntas fáceis), ele joga o carro em uma estrada de montanha com neblina (perguntas complexas e aleatórias) e verifica se o motorista sabe exatamente onde está, sem inventar caminhos.

Isso ajuda os desenvolvedores a entenderem onde e por que as IAs mentem, para que possamos criar sistemas mais confiáveis, que não apenas pareçam inteligentes, mas que realmente sejam verdadeiros.

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) possuem uma capacidade notável de gerar linguagem persuasiva e coerente, mas a coerência não equivale à veracidade. Eles frequentemente produzem "alucinações" (conteúdo plausível, mas factualmente incorreto), o que compromete sua confiabilidade em domínios críticos como saúde, finanças e ciência.

Os benchmarks existentes para avaliar essas alucinações apresentam limitações significativas:

Natureza Estática: Muitas bases de dados de perguntas e respostas (QA) são estáticas, tornando-se desatualizadas rapidamente e não conseguindo avaliar fatos emergentes.
Viés de Popularidade: Benchmarks baseados em Grafos de Conhecimento (KG) muitas vezes usam amostragem aleatória que favorece entidades muito conhecidas, distorcendo a avaliação.
Profundidade Superficial: A maioria das perguntas é de múltipla escolha ou muito simples, não testando a profundidade do conhecimento do modelo ou a capacidade de gerar respostas longas e complexas.
Métricas Limitadas: Métricas tradicionais (como precisão bruta ou BLEU) não distinguem entre diferentes tipos de alucinação (falta de conhecimento básico vs. erro de detalhe específico).

2. Metodologia: KGHaluBench

O KGHaluBench é um benchmark inovador baseado em Grafos de Conhecimento (KG) projetado para avaliar a veracidade dos LLMs em relação à amplitude (breadth) e profundidade (depth) do seu conhecimento. O framework consiste em dois módulos principais:

A. Módulo de Geração de Perguntas (Dinâmico)

Seleção de Entidades: O sistema extrai entidades aleatórias do Wikidata. Para evitar viés de popularidade, as entidades são categorizadas por frequência (Muito Comum, Comum, Pouco Comum) e a amostragem prioriza entidades menos comuns para garantir uma distribuição equilibrada.
Recuperação de Atributos: Para cada entidade focal, o sistema recupera:
- Triplos do KG: Fatos e relações para construção da pergunta e verificação.
- Descrição: Do banco de dados externo (ex: Wikipedia) para verificação conceitual.
- Estatísticas: Para calcular a popularidade da entidade.
Formação da Pergunta: O sistema gera perguntas compostas e abertas (cerca de 200 palavras) que exigem que o modelo forneça uma visão geral da entidade e três fatos específicos baseados em relações do KG.
Estimativa de Dificuldade: Utilizando a Teoria de Resposta ao Item (IRT), o sistema calcula uma pontuação de dificuldade ( $Q_d$ ) baseada na popularidade da entidade e na complexidade das relações, ajustando a pontuação final para garantir justiça na avaliação.

B. Módulo de Verificação de Resposta (Pipeline Automatizado)

O pipeline verifica a resposta do LLM em três camadas:

Filtro de Nível de Entidade:
- Detecta abstenções (quando o modelo se recusa a responder).
- Verifica o alinhamento semântico entre a resposta e a descrição da entidade (usando similaridade de cosseno e interseção de tokens). Se a resposta não estiver alinhada com a entidade correta, é classificada como alucinação de nível de entidade.
Verificação de Nível de Fato:
- Para respostas alinhadas, o sistema verifica a correção de cada um dos três fatos solicitados.
- Utiliza um pipeline de três estágios:
  - Filtro de NLI (Natural Language Inference): Modelo leve para verificação rápida de implicações.
  - Filtro de Alinhamento com LLM: Um LLM atua como verificador de fatos para casos mais sutis.
  - Filtro de Decisão de Especialista: Um mecanismo de segurança final para resolver conflitos entre os filtros anteriores.

3. Contribuições Principais

Geração Dinâmica de Perguntas: Uma abordagem que utiliza a estrutura relacional do KG para criar perguntas compostas sobre entidades selecionadas dinamicamente, superando a limitação de datasets estáticos.
Framework de Verificação Automatizado: Um sistema de verificação em duas camadas (entidade e fato) que alcança alta concordância com julgamento humano (79,19% no nível de entidade e 87,74% no nível de fato).
Métricas Novas e Interpretáveis:
- $W_a$ (Precisão Ponderada): Ajusta a precisão padrão baseada na dificuldade estatística estimada da pergunta, corrigindo viés de popularidade.
- HaluBOK (Taxa de Alucinação de Amplitude): Mede falhas no reconhecimento básico da entidade (respostas que não se alinham ao tópico).
- HaluDOK (Taxa de Alucinação de Profundidade): Mede falhas na precisão dos fatos específicos, mesmo quando o tópico geral é correto.
Avaliação Abrangente: Teste de 25 modelos de ponta (open-source e proprietários) de diferentes tamanhos.

4. Resultados Experimentais

Os experimentos foram realizados com 25 modelos (15 open-source e 10 proprietários), incluindo variantes do GPT, Claude, Gemini, Llama, Qwen e DeepSeek.

Desempenho Geral: O benchmark apresentou um desafio significativo. O melhor modelo, o GPT-5, alcançou uma precisão ponderada ( $W_a$ ) de 65,60%, indicando que mesmo os modelos mais avançados ainda cometem erros frequentes em perguntas complexas e dinâmicas.
Amplitude vs. Profundidade:
- Modelos menores (8B-32B) apresentaram taxas de HaluBOK muito altas (até 60%), indicando que eles frequentemente falham em reconhecer a entidade correta ou alucinar sobre o tópico geral.
- Modelos maiores e proprietários reduziram drasticamente o HaluBOK, mas ainda apresentaram taxas significativas de HaluDOK (erros de fato específicos). Isso sugere que modelos avançados sabem sobre o que falar, mas falham em reter os detalhes precisos.
Análise de Abstenção: Modelos com taxas de abstenção mais altas (recusar-se a responder quando não sabem) tendem a ter taxas de alucinação mais baixas. No entanto, o abstenção excessiva (ex: >49% em alguns modelos) limita a utilidade prática.
Distribuição de Erros: Modelos proficientes geram menos respostas com múltiplos erros (2 ou 3 fatos errados), mas cerca de 39,74% das respostas ainda contêm exatamente um fato alucinado. Isso cria uma falsa sensação de confiabilidade, pois a resposta parece fluente e correta, exceto por um detalhe sutil.

5. Significado e Impacto

O KGHaluBench representa um avanço crucial na avaliação de LLMs ao:

Superar a Estagnação: Oferece um benchmark dinâmico que se adapta continuamente, evitando a obsolescência de datasets fixos.
Diagnóstico Granular: Ao separar alucinações em "amplitude" e "profundidade", permite que pesquisadores identifiquem se um modelo precisa de mais dados de treinamento (para ampliar o conhecimento) ou de melhorias em mecanismos de raciocínio e recuperação de fatos (para aprofundar a precisão).
Justiça na Avaliação: A métrica de precisão ponderada ( $W_a$ ) garante que a avaliação não seja distorcida pela popularidade das entidades testadas.
Direcionamento para Mitigação: Os resultados indicam que, embora os modelos estejam melhorando no reconhecimento de entidades, a precisão factual detalhada permanece um gargalo crítico. O benchmark serve como uma ferramenta vital para desenvolver estratégias de mitigação de alucinações mais eficazes.

O código e os dados do benchmark estão disponíveis publicamente para fomentar o desenvolvimento futuro na área.