💬 NLP

Improving Factuality in LLMs via Inference-Time Knowledge Graph Construction

Este artigo propõe um novo framework que melhora a precisão factual de Modelos de Linguagem de Grande Escala mediante a construção e refinamento dinâmicos de grafos de conhecimento estruturados durante a inferência, integrando o conhecimento interno do modelo com a recuperação externa para superar as limitações das abordagens baseadas em texto não estruturado.

Autores originais: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Publicado 2026-05-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma bibliotecária muito inteligente e bem lida (o Modelo de Linguagem de Grande Escala, ou LLM). Essa bibliotecária leu milhões de livros e pode dizer quase qualquer coisa a você. No entanto, como qualquer ser humano, ela tem um limite para o que consegue lembrar perfeitamente. Às vezes, ela pode confundir duas histórias semelhantes, esquecer um detalhe específico ou afirmar com confiança um fato que parece correto, mas não é. Isso é o que os pesquisadores chamam de "alucinação".

Para corrigir isso, os autores deste artigo propõem uma nova maneira de a bibliotecária trabalhar, que eles chamam de "Construção de Grafos de Conhecimento em Tempo de Inferência".

Veja como o método deles funciona, dividido em etapas simples usando uma analogia de construir um mapa para encontrar um tesouro escondido.

O Problema: A Busca "Não Estruturada"

Geralmente, quando você faz uma pergunta complicada à bibliotecária, ela pode tentar responder apenas pensando muito (como uma "Cadeia de Pensamento"). Ou, ela pode procurar algum texto na internet e lê-lo.

O Problema: Ler um parágrafo longo e bagunçado de texto é como tentar encontrar uma rua específica em uma cidade lendo um romance sobre a cidade. É fácil se perder, perder uma curva ou se distrair com detalhes irrelevantes. A bibliotecária pode pegar o fato errado porque a informação não estava organizada.

A Solução: Construir um "Mapa" (O Grafo de Conhecimento)

Em vez de apenas ler texto, os autores ensinam a bibliotecária a desenhar um mapa (um Grafo de Conhecimento) enquanto ela responde à pergunta. Este mapa conecta pontos (fatos) com linhas (relacionamentos).

Aqui está o processo deles em 4 etapas:

1. Desenhando o Mapa Inicial (Inicialização)

Quando você faz uma pergunta (por exemplo: "Em qual peça teatral as Danças Sinfônicas de Bernstein foram baseadas?"), a bibliotecária primeiro olha para sua própria memória e desenha um esboço pequeno e rústico.

Ela anota: Dag Achatz → transcreveu → Danças Sinfônicas → é de → West Side Story.
O Problema: A memória interna da bibliotecária pode estar incompleta. Ela pode parar em West Side Story e pensar: "Essa é a resposta!" Mas, na verdade, West Side Story em si foi baseada em algo mais. O mapa está faltando uma peça.

2. Expandindo o Mapa (Expansão Interna)

A bibliotecária olha para seu esboço e pergunta: "O que mais eu sei sobre esses pontos?". Ela tenta adicionar mais linhas ao mapa usando seu próprio poder mental.

Ela pode adicionar: West Side Story → composta por → Leonard Bernstein.
O Problema: Mesmo com essa expansão, a bibliotecária ainda pode estar faltando o elo crucial que conecta West Side Story de volta à peça original, Romeu e Julieta. Sua memória interna tem uma lacuna.

3. Consultando o "Guia da Cidade" (Recuperação Externa)

Esta é a etapa mágica. A bibliotecária percebe: "Não tenho certeza se tenho o quadro completo". Então, ela pausa e consulta um Guia da Cidade confiável e externo (como a Wikipedia ou uma busca no Google).

Ela procura West Side Story no guia.
O guia diz: "West Side Story foi inspirada em Romeu e Julieta."
A bibliotecária pega esse novo fato verificado e o adiciona ao seu mapa: West Side Story → inspirada em → Romeu e Julieta.
O Benefício: Se a bibliotecária tivesse cometido um erro antes (por exemplo, achando que a música era de um ano diferente), o Guia da Cidade ajuda a corrigir o mapa, não apenas a adicioná-lo.

4. Encontrando o Tesouro (Respondendo no Grafo)

Agora, com um mapa completo e corrigido que conecta Dag Achatz até Romeu e Julieta, a bibliotecária traça o caminho no mapa. Como o caminho está claro e verificado pelo Guia da Cidade, ela pode afirmar com confiança: "A resposta é Romeu e Julieta."

Por que isso é melhor?

O artigo afirma que este método é superior por três razões principais:

Estrutura sobre Caos: Em vez de se afogar em uma enxurrada de texto não estruturado, a bibliotecária trabalha com um mapa estruturado. Isso torna mais difícil se distrair com informações irrelevantes.
Autocorreção: A bibliotecária não confia apenas em sua própria memória. Ela usa o guia externo para corrigir erros em seu próprio mapa. Se a bibliotecária pensa "A leva a B", mas o guia diz "A leva a C", a bibliotecária atualiza o mapa.
Bibliotecárias Pequenas Podem Fazer Grandes Trabalhos: Os experimentos mostraram que até bibliotecárias menores e menos poderosas (modelos de IA menores) podiam performar tão bem quanto as gigantes se usassem este método de construção de mapas. O guia externo nivela o campo de jogo.

Os Resultados

Os autores testaram isso em três tipos diferentes de desafios de trivia.

O Resultado: Seu método consistentemente obteve mais respostas corretas do que as maneiras padrão de perguntar à IA.
O Impulso de "Recuperação": Eles descobriram que, ao usar o guia externo, o "mapa" que eles construíam continha os fatos corretos com muito mais frequência (um grande salto em "recuperação", ou encontrar os fatos certos) em comparação com depender apenas da memória da IA.

O Problema (Limitações)

Os autores são honestos sobre as falhas:

Lixo Entra, Lixo Sai: Se a bibliotecária desenhar a parte inicial do mapa errado, e o guia externo não pegar, a resposta final ainda estará errada.
Não é Perfeito: Ainda há uma lacuna entre ter os fatos certos no mapa e realmente escolher a resposta certa. O sistema não é 100% perfeito ainda.

Resumo

Em resumo, este artigo sugere que, em vez de pedir a uma IA para apenas "pensar" ou "ler um parágrafo", devemos pedir que ela construa um mapa visual de fatos, verifique esse mapa contra uma enciclopédia confiável, corrija quaisquer erros no mapa e, em seguida, siga o mapa até a resposta. Isso torna a IA mais precisa, menos propensa a mentir e mais fácil de entender.

Resumo Técnico: Melhorando a Factualidade em LLMs via Construção de Grafos de Conhecimento no Momento da Inferência

Declaração do Problema

Modelos de Linguagem Grandes (LLMs) frequentemente geram respostas factualmente inconsistentes devido a limitações em sua memória paramétrica. Embora os paradigmas de Geração Aumentada por Recuperação (RAG) tentem mitigar isso incorporando conhecimento externo no momento da inferência, as abordagens existentes geralmente tratam o conhecimento recuperado como texto não estruturado. Essa abordagem baseada apenas em texto sofre de menor precisão na recuperação, dificulta o raciocínio composicional e amplifica a influência de informações irrelevantes, minando finalmente a consistência factual das saídas dos LLMs. Além disso, métodos que dependem de Grafos de Conhecimento (KGs) estáticos, pré-construídos, carecem de adaptabilidade em contextos de rápida mudança e são difíceis de escalar.

Metodologia

Os autores propõem um pipeline inovador de quatro estágios que constrói e expande dinamicamente Grafos de Conhecimento durante a inferência, integrando tanto o conhecimento interno do LLM quanto o conhecimento externo recuperado. O processo é formalizado da seguinte maneira:

Inicialização do Grafo: Dada uma pergunta $Q$ , o LLM é instruído a extrair entidades e relações relevantes para formar um KG semente ( $G_0$ ). Isso captura o foco central da pergunta.
Expansão do Grafo: O KG semente é expandido iterativamente de maneira em largura, utilizando o conhecimento interno do LLM. O modelo seleciona entidades de um buffer e gera novos triplets (sujeito-relação-objeto) para estender o grafo até uma profundidade pré-definida $D$ , resultando em um KG expandido ( $G_1$ ).
Recuperação Externa: Para abordar imprecisões ou lacunas em $G_1$ $G_{1}$ , o sistema emprega um mecanismo de recuperação externa (usando Wikipedia e Google Search via BM25). O LLM seleciona entidades ou triplets específicos do grafo e escolhe entre duas ações:
- Correção: Substituindo triplets errôneos por outros factualmente precisos encontrados em fontes externas.
- Expansão: Adicionando novos triplets relacionados para preencher lacunas de conhecimento.
  Esse refinamento iterativo produz um KG fundamentado ( $G^*$ ).
Resposta no Grafo: Finalmente, o LLM gera a resposta consultando o KG refinado ( $G^*$ ). O modelo é restrito a raciocinar sobre os triplets presentes no grafo para reduzir alucinações fora do grafo e garantir que a resposta esteja fundamentada em cadeias de evidência verificáveis.

Contribuições Principais

O artigo delineia três contribuições primárias:

Construção de KG no Momento da Inferência: Um método inovador para extrair triplets diretamente do conhecimento interno de um LLM e projetar uma estratégia de expansão iterativa para estender dinamicamente KGs durante a inferência.
Integração Híbrida de Conhecimento: Um pipeline unificado que combina perfeitamente o conhecimento interno do LLM com bases de conhecimento externas. Essa abordagem híbrida compensa as lacunas inerentes a cada fonte, aprimorando o fundamento factual.
Validação Empírica: Uma avaliação extensa em três benchmarks diversos de QA Factual (Complex WebQuestions, HotpotQA e SimpleQA) demonstra melhorias consistentes e significativas na precisão das respostas e na consistência factual em diferentes conjuntos de dados e modelos base.

Resultados Experimentais

O método foi avaliado em CWQ, HotpotQA e SimpleQA usando vários modelos base (incluindo GPT-4o, Deepseek-V3, Llama-4-Scout e Qwen2.5).

Ganhos de Desempenho: A abordagem proposta alcançou resultados state-of-the-art tanto em configurações de conhecimento interno quanto externo. Sob a configuração de conhecimento externo, o método mostrou melhorias substanciais, particularmente no desafiador conjunto de dados SimpleQA, com ganhos de precisão de até 23,0% em comparação com as linhas de base.
Melhorias no Recall: A integração da recuperação externa aumentou significativamente o recall dos fatos verdadeiros que aparecem no processo de raciocínio. Por exemplo, no SimpleQA, o recall do Llama-4-Scout aumentou de 13,0% (apenas interno) para 37,5% (com recuperação externa).
Generalização: O método provou ser robusto em diferentes escalas de modelos. Notavelmente, modelos menores (por exemplo, Llama-4-Scout) equipados com este método puderam superar ou igualar modelos significativamente maiores (por exemplo, DeepSeek-V3) quando a recuperação externa foi utilizada, sugerindo que o método mitiga efetivamente as limitações da memória paramétrica interna.
Insights de Ablação: A análise revelou uma compensação onde o aumento da complexidade do raciocínio (mais saltos) leva a tamanhos de grafo maiores, mas diminui a precisão, pois o modelo luta para identificar o caminho correto entre os candidatos expandidos. No entanto, modelos maiores geralmente exibiram maior precisão e recall, com a lacuna de desempenho entre os modelos estreitando-se quando o conhecimento externo foi introduzido.

Significado

O artigo postula que a construção de KG no momento da inferência é uma direção promissora para aprimorar a factualidade dos LLMs de maneira estruturada, interpretável e escalável. Ao ir além da recuperação de texto não estruturado, o framework proposto permite que os LLMs acessem e integrem conhecimento factual sistematicamente. A capacidade de construir e refinar grafos dinamicamente permite adaptação em tempo real a lacunas de conhecimento, oferecendo uma solução plug-and-play que melhora a confiabilidade sem exigir curadoria manual extensa ou grafos pré-construídos estáticos. Os autores enfatizam que, embora limitações relacionadas à propagação de alucinações e à otimalidade da recuperação de grafos permaneçam, a abordagem representa um passo significativo em direção a uma IA mais confiável em domínios de alto risco.