💬 NLP

KGCaRe: Explainable Complex Conditional Question Answering using Automatic Knowledge Graph Construction and Context Retrieval with LLMs

O artigo apresenta o KGCaRe, um framework híbrido que aprimora a resposta a perguntas condicionais complexas ao combinar recuperação neural com construção automática de grafos de conhecimento impulsionada por LLM e travessia de grafos iterativa, demonstrando desempenho superior em relação aos baselines existentes através de múltiplos modelos e conjuntos de dados.

Autores originais: Ghanshyam Verma, Simanta Sarkar, Devishree Pillai, Hotaka Shiokawa, Yourong Xu, Fiona Veazey, Peter Hubbert, Hui Su, Paul Buitelaar

Publicado 2026-08-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ghanshyam Verma, Simanta Sarkar, Devishree Pillai, Hotaka Shiokawa, Yourong Xu, Fiona Veazey, Peter Hubbert, Hui Su, Paul Buitelaar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um mistério massivo e de múltiplas camadas, como descobrir exatamente por que um personagem em um videogame pode ou não comprar um item específico. Você tem uma enorme biblioteca de livros de regras (documentos) e um caderno gigante e bagunçado de pistas (um grafo de conhecimento). Se você apenas pedir a um robô superinteligente (uma IA) para ler toda a biblioteca e adivinhar a resposta, ele pode se confundir, perder uma regra minúscula escondida na página 400 ou inventar um motivo que soa bem, mas que não é verdadeiro. Este é o mundo do "Question Answering" (Resposta a Perguntas) para computadores. Cientistas estão tentando ensinar esses robôs a serem melhores detetives, especialmente quando as perguntas são complicadas, cheias de condições do tipo "se isso, então aquilo", e exigem conectar pontos em diferentes páginas. O artigo que você está prestes a ler aborda isso dando ao robô dois superpoderes ao mesmo tempo: a habilidade de ler o texto bagunçado como um humano e a habilidade de seguir um mapa lógico estrito de fatos como um computador.

Os pesquisadores por trás deste estudo, Ghanshyam Verma e sua equipe, perceberam que, embora a IA seja ótima em conversar, ela frequentemente tropeça quando questionada sobre questões complexas que dependem de condições específicas, como regras jurídicas ou detalhes de políticas. Para corrigir isso, eles construíram um novo sistema chamado KGCaRe. Pense no KGCaRe como um detetive que não apenas lê o arquivo do caso; ele também constrói um mapa físico das pistas conforme avança. Em vez de apenas pedir à IA para "adivinhar" a resposta a partir de um monte de texto, o KGCaRe primeiro usa a IA para transformar os documentos em um "Grafo de Conhecimento" estruturado — uma teia de fatos conectados (como "Solicitante" → "deve enviar" → "Formulário"). Em seguida, ele utiliza um segundo método para encontrar trechos de texto relevantes que podem ainda não estar no mapa.

É assim que a mágica acontece: Quando uma pergunta é feita, o KGCaRe não apenas para e responde. Ele começa a percorrer a teia de fatos, passo a passo. Se o primeiro passo não fornecer informações suficientes, a IA age como um explorador curioso, perguntando: "Ok, quem mais está envolvido? O que mais devo procurar?". Ela usa essas novas pistas para saltar para a próxima parte do mapa. Se ainda não conseguir resolver o mistério, ela busca o texto relevante nos documentos originais para preencher as lacunas. Finalmente, ela combina o caminho lógico que percorreu no mapa com o texto que encontrou para fornecer uma resposta que não é apenas correta, mas que também vem com uma explicação clara de como ela chegou a ela.

A equipe testou este sistema em dois conjuntos de dados difíceis: um com questões complexas de políticas do Reino Unido e outro com enigmas baseados na Wikipedia. Eles colocaram o KGCaRe contra outros métodos, incluindo IAs que apenas adivinham, IAs que apenas leem texto e IAs que apenas seguem um grafo. Os resultados foram claros: o KGCaRe venceu consistentemente. Quer eles usassem uma IA de código aberto menor ou uma poderosa como o GPT-4o, a abordagem híbrida de combinar o mapa e o texto levou a melhores respostas, especialmente para aquelas perguntas complicadas de "se-então". Por exemplo, no conjunto de dados de políticas do Reino Unido, o KGCaRe alcançou uma pontuação média de 57,89, superando o próximo melhor método por uma margem significativa. O artigo sugere que, ao dar à IA tanto um mapa estruturado quanto a liberdade de ler o texto bruto, podemos torná-la muito melhor na resolução de quebra-cabeças do mundo real onde perder uma única condição poderia mudar toda a resposta. E o melhor de tudo? Como o sistema mantém um registro de cada passo que deu no mapa, ele pode mostrar exatamente como chegou à sua conclusão, tornando o pensamento da IA transparente e confiável.

Resumo Técnico: KGCaRe

Declaração do Problema

Responder a perguntas condicionais complexas utilizando Grandes Modelos de Linguagem (LLMs) e Geração Aumentada por Recuperação (RAG) continua sendo um desafio significativo, particularmente em contextos de domínios específicos. LLMs de uso geral frequentemente apresentam desempenho inferior quando a entrada envolve lógica condicional ou requer raciocínio sobre conteúdo especializado. Essa queda de desempenho é atribuída à falta de ajuste fino (fine-tuning) em corpora especializados e a uma tendência de alucinação quando o contexto é insuficiente. Perguntas condicionais são unicamente sensíveis a restrições ausentes ou implícitas; o modelo deve estar ciente tanto da consulta quanto das condições específicas sob as quais uma resposta é válida. Soluções existentes, como o RAG padrão (que depende de busca por palavra-chave ou similaridade) ou abordagens puramente simbólicas de Grafos de Conhecimento (KG), frequentemente falham ao recuperar dependências lógicas críticas ou lutam com a conectividade esparsa do grafo.

Metodologia: KGCaRe

Os autores propõem o KGCaRe (Knowledge Graph Context aware Reasoning for complex Question Answering), uma abordagem híbrida que integra o raciocínio simbólico sobre Grafos de Conhecimento gerados por LLM com a recuperação neural de repositórios vetoriais (vector stores). O sistema opera através dos seguintes componentes:

1. Construção Automática de Grafo de Conhecimento

O KGCaRe constrói um KG a partir de documentos não estruturados usando uma estratégia de extração de LLM de múltiplos prompts armazenada em um banco de dados Neo4j. Este processo envolve quatro estágios progressivos:

Estágio 1 (Compreensão Contextual): Extrai entidades e relações iniciais, enfatizando construções temporais, causais, procedimentais e condicionais.
Estágio 2 (Expansão Condicional): Foca em lógica condicional, exceções e estruturas "se-então" para capturar nuances regulatórias e lógica de decisão de ramificação.
Estágio 3 (Refinamento e Expansão Lógica): Valida a completude e utiliza lógica transitiva ou implícita para inferir novas triplas (por exemplo, derivar que um Tutor pode delegar o consentimento a um Tribunal se os Pais puderem delegar ao Tribunal).
Estágio 4 (Normalização): Formata e ingere as triplas no banco de dados de grafos.

2. Indexação Vetorial Semântica

Em paralelo, os documentos são incorporados em vetores de alta dimensão usando um codificador (embedder) alimentado por LLM e armazenados em um índice FAISS. Isso permite uma busca rápida de vizinhos mais próximos aproximados para recuperar passagens de texto relevantes com base na similaridade semântica à consulta do usuário.

3. Travessia de Grafo Iterativa (Raciocínio Simbólico)

O mecanismo central de inferência é uma travessia de grafo iterativa guiada por LLM (Algoritmo 1):

Inicialização: Entidades de tópico ( $E_{topic}$ ) são extraídas da pergunta para ancorar a travessia.
Busca com Limite de Profundidade: O sistema percorre o grafo até uma profundidade máxima $D$ $D$ .
- Profundidade 1: Utiliza correspondência parcial (incluindo correspondência de subpalavras) para exploração ampla.
- Profundidades Subsequentes: Utiliza correspondência exata para raciocínio focado.
Mecanismo de Entidade de Pista (Clue Entity): Se a travessia inicial resultar em contexto insuficiente, o LLM é instruído a gerar "entidades de pista" ( $E_{clue}$ ) para guiar a travessia adicional, inspirado pela abordagem Tree-of-Traversal.
Poda (Pruning): Uma função baseada em LLM ($PruneTriples$) filtra as triplas extraídas, retendo apenas aquelas contextualmente úteis para a pergunta específica.
Terminação: O processo para se o contexto suficiente for reunido para responder à pergunta, ou se nenhuma nova pista/tripla for encontrada.

4. Geração de Resposta Fundida

A resposta final é gerada alimentando o LLM com um prompt personalizado. Este prompt sintetiza:

Contexto Simbólico: Triplas curadas e caminhos de travessia do KG.
Contexto Neural: Passagens de texto com melhor classificação do repositório vetorial.
O prompt instrui explicitamente o modelo a incorporar evidências de ambas as fontes e a declarar quaisquer condições sob as quais a resposta é válida, garantindo que a saída seja tanto precisa quanto explicável.

Principais Contribuições

Pipeline de Ponta a Ponta: Design e implementação de um pipeline automatizado para construção de KGs a partir de documentos longos e complexos usando uma abordagem de extração de triplas de múltiplos prompts de LLM.
Arquitetura Híbrida: Introdução do KGCaRe, que combina de forma única a recuperação de KG simbólico com a busca semântica baseada em vetores para abordar o QA condicional complexo.
Validação Empírica: Demonstração de que o KGCaRe supera vários basais (Vanilla LLM, Code Prompt, Text Prompt, Think-on-Graph, Vanilla RAG e HybridContextQA) através de múltiplos LLMs (Mistral, Mixtral, GPT-3.5, GPT-4o).
Reprodutibilidade: Lançamento público do software de pipeline e dos prompts associados.

Resultados Experimentais

Os autores avaliaram o KGCaRe em dois conjuntos de dados: ConditionalQA (documentos de políticas do Reino Unido com restrições condicionais complexas) e HotpotQA (perguntas de múltiplos saltos baseadas em Wikipedia).

Desempenho: O KGCaRe alcançou consistentemente os maiores escores F1 médios em todos os tipos de resposta (Sim/Não, Span, Condicional) e em todos os LLMs testados.
- No ConditionalQA com Mistral, o KGCaRe alcançou um F1 de 57.89, superando significativamente o Vanilla RAG (40.12) e o HybridContextQA (45.17).
- No HotpotQA com GPT-4o, o KGCaRe alcançou um F1 de 80.21, superando o HybridContextQA (73.37) na maioria das categorias, embora os dois métodos tenham alcançado escores F1 semelhantes na categoria Sim/Não.
Raciocínio Condicional: O método mostrou força particular na categoria "Condicional", onde o raciocínio exige passos de múltiplos saltos (multi-hop) e o tratamento de restrições implícitas.
Estudo de Ablação: Ao analisar 106 perguntas de Sim/Não com respostas definitivas únicas, o KGCaRe manteve a liderança sobre os basais em todos os modelos, incluindo modelos de alta capacidade como o GPT-4o (88.67 vs. 85.85 para Text Prompt).
Comparação com Basais: Abordagens puras de KG (Think-on-Graph) tiveram desempenho insatisfatório, frequentemente falhando em recuperar o contexto necessário de grafos esparsos. Abordagens puras de RAG foram melhores, mas careciam das capacidades de raciocínio estruturado do modelo híbrido.

Significância e Alegações

O artigo afirma que o KGCaRe valida a hipótese de que um contexto híbrido composto por representações tanto simbólicas (estruturadas) quanto neurais (não estruturadas) melhora o desempenho em tarefas de QA condicional complexas. A significância do trabalho reside em sua capacidade de:

Aumentar a Explicabilidade: Ao manter um rastro de raciocínio explícito (caminhos percorridos e triplas podadas), o sistema fornece explicações compreensíveis por humanos para suas respostas, uma característica crítica para domínios de alto risco como direito e políticas públicas.
Superar as Limitações de Grafos Esparsos: Diferente de métodos que dependem exclusivamente de conectividade densa de grafos, o KGCaRe suplementa KGs esparsos com textos recuperados semanticamente, permitindo um raciocínio robusto mesmo quando o KG está incompleto.
Generalizar entre Modelos: A abordagem demonstra melhorias consistentes independentemente da capacidade do LLM subjacente, desde modelos de código aberto (Mistral) até modelos proprietários (GPT-4o).

Os autores concluem que este framework oferece um caminho viável para sistemas de QA mais precisos e transparentes em domínios especializados onde a fidelidade da resposta e a rastreabilidade são primordiais.