iQUEST: An Iterative Question-Guided Framework for Knowledge Base Question Answering

Resumo Técnico: iQUEST

1. Problema Abordado

Os Grandes Modelos de Linguagem (LLMs) demonstram grande sucesso em tarefas de Processamento de Linguagem Natural (PLN), mas frequentemente sofrem com alucinações e inconsistências factuais em domínios intensivos em conhecimento. A integração de Recursos de Conhecimento Externos, especificamente Grafos de Conhecimento (KGs), oferece uma base transparente e atualizável para um raciocínio mais confiável.

No entanto, a Resposta a Perguntas em Base de Conhecimento (KBQA), especialmente para consultas complexas que exigem raciocínio multi-hop (múltiplos saltos), enfrenta dois desafios principais:

1. Manutenção de Trajetórias de Raciocínio Coerentes: Modelos tendem a perder o foco lógico após poucos passos em problemas interligados, sendo facilmente desviados por entidades ambíguas ou tangenciais.
2. Descarte Prematuro de Conexões Críticas: Métodos existentes frequentemente dependem apenas de relações de 1-hop (vizinhos imediatos), o que pode levar à eliminação precoce de caminhos de raciocínio valiosos que só se tornam evidentes ao analisar vizinhos de 2-hop (ex: descartar um nó intermediário que, embora pouco relevante localmente, conecta-se a uma resposta crucial no próximo salto).

2. Metodologia: O Framework iQUEST

O iQUEST é um framework guiado por perguntas que aborda esses desafios através de uma abordagem iterativa e híbrida, combinando LLMs com Redes Neurais de Grafos (GNNs). O processo é dividido em três módulos principais (ilustrados na Figura 2 do artigo):

A. Guia de Perguntas Iterativo (Iterative Question Guidance - IQG-LLM)

• Em vez de decompor a pergunta original uma única vez, o framework gera dinamicamente sub-perguntas em cada passo de raciocínio.
• O LLM (IQG-LLM) analisa o contexto atual (histórico de sub-perguntas e respostas) e a pergunta original para formular a próxima sub-pergunta mais relevante.
• Isso mantém uma trajetória de raciocínio estruturada e focada, guiando a exploração do grafo passo a passo.

B. Exploração de Entidades de Dois Saltos (Two-Hop Entity Exploration)

• Recuperação de Vizinhos: Utiliza consultas SPARQL para recuperar vizinhos de 1-hop das entidades atuais.
• Agregação com GNN: Para mitigar o descarte prematuro, o sistema recupera também vizinhos de 2-hop.
• Mecanismo de Pontuação: Um GNN (baseado em GraphSAGE) agrega informações semânticas dos vizinhos de 2-hop para atualizar as representações dos vizinhos de 1-hop.
  • As representações textuais (via BERT) dos nós são combinadas com as informações agregadas dos vizinhos de 2-hop.
  • Um classificador (MLP) pontua a relevância de cada nó em relação à sub-pergunta atual.
• Seleção: Os top-k vizinhos com maior pontuação são selecionados como evidência para o próximo passo, permitindo que o modelo "olhe à frente" e preserve caminhos críticos.

C. Extração de Resposta (Answer Extraction - AE-LLM)

• Com as entidades selecionadas, um LLM (AE-LLM) gera a resposta para a sub-pergunta atual, integrando o conhecimento recuperado do KG com seu conhecimento interno.
• O sistema verifica se o contexto acumulado é suficiente para responder à pergunta original. Se sim, sintetiza a resposta final; caso contrário, o ciclo de geração de sub-pergunta e exploração continua.

3. Contribuições Principais

1. Framework de Raciocínio Guiado por Perguntas Iterativo: Diferente de métodos que apenas decomõem a pergunta uma vez, o iQUEST permite que o LLM gere novas sub-perguntas adaptativamente em cada passo, guiando a exploração do KG de forma dinâmica.
2. Método Baseado em GNN para Exploração de 2-Hop: Introduz uma camada de GNN para agregar informações de vizinhos de 2-hop, permitindo que o modelo antecipe conexões críticas e evite o descarte prematuro de caminhos de raciocínio válidos.
3. Validação Experimental Abrangente: Demonstração de eficácia e generalização em quatro conjuntos de dados de referência (benchmarks) e quatro modelos LLM diferentes, sem a necessidade de fine-tuning pesado do LLM principal.

4. Resultados Experimentais

O iQUEST foi avaliado em quatro datasets padrão de KBQA: ComplexWebQuestions (CWQ), WebQuestionsSP (WebQSP), WebQuestions e GrailQA.

• Desempenho Geral: O iQUEST alcançou o estado da arte (SOTA) nos datasets WebQSP e WebQuestions, e ficou em segundo lugar em CWQ e GrailQA.
• Comparação com Baselines: Superou significativamente métodos como ToG e Interactive-KBQA, mesmo utilizando LLMs sem fine-tuning (como GPT-4o e DeepSeek-R1).
• Estudos de Ablação:
  • Impacto do KG: A remoção do KG causou uma queda drástica no desempenho, confirmando a necessidade de conhecimento externo estruturado.
  • Importância do GNN: A adição do módulo GNN de 2-hop melhorou consistentemente o desempenho em todos os datasets e combinações de modelos (ex: +5.43% no CWQ para GPT-4o).
  • Papel dos LLMs: O estudo mostrou que o módulo de Guia de Perguntas (IQG) é crucial para estruturar o raciocínio, enquanto o módulo de Extração de Resposta (AE) se beneficia mais de conhecimento interno forte do que apenas de capacidade de raciocínio. Modelos menores (LLaMA 3B) tiveram desempenho inferior quando integrados ao KG, sugerindo dificuldades em integrar conhecimento externo.

5. Significado e Conclusão

O iQUEST representa um avanço significativo na área de KBQA complexa ao demonstrar que a iteratividade e a visão de longo alcance (2-hop) são essenciais para o raciocínio em grafos.

• Eficiência: Ao decompor problemas complexos em sub-perguntas gerenciáveis, o framework reduz a carga cognitiva sobre o LLM, melhorando a precisão.
• Robustez: A integração de GNNs para explorar vizinhos de 2-hop resolve um problema fundamental de métodos anteriores que falhavam em manter conexões críticas em cadeias longas de raciocínio.
• Aplicabilidade: O método oferece uma solução escalável e interpretável para cenários de alto risco (como saúde e direção autônoma), onde a precisão factual e a capacidade de rastrear a origem da informação são críticas.

O código do projeto está disponível publicamente, facilitando a reprodução e o desenvolvimento futuro na área.