A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering

Resumo Técnico: Uma Arquitetura Centrada em LLM com Humano no Ciclo para Questionamento de Grafos de Conhecimento

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) se destaquem na compreensão de linguagem natural, eles enfrentam limitações significativas em domínios intensivos em conhecimento, incluindo alucinações, informações desatualizadas e falta de explicabilidade. As abordagens de Geração Aumentada de Recuperação (RAG) existentes frequentemente dependem de recuperação baseada em texto, que tem dificuldade com o raciocínio de múltiplos saltos (multi-hop) necessário para conectar entidades indiretamente relacionadas. Por outro lado, os Grafos de Conhecimento (KGs) oferecem consultas precisas e explicáveis, mas exigem perícia em linguagens de consulta como Cypher ou SPARQL. Os pipelines atuais de KG-RAG sofrem de três falhas de design específicas: (1) a linearização de triplas de grafos apaga o contexto estrutural; (2) a recuperação de caixa-preta esconde o caminho de raciocínio; e (3) a falta de controle do usuário no ciclo (user-in-the-loop) impede o refinamento iterativo de correspondências de entidades ou escopo equivocados. Trabalhos anteriores dos autores demonstraram que, embora os LLMs possam traduzir perguntas em consultas, a incapacidade de depurar ou explicar essas consultas exigia a regeneração completa em caso de falha, criando um descompasso entre a intenção do usuário e a execução.

Metodologia
Os autores propõem um framework interativo e modular onde os LLMs geram, explicam e refinam iterativamente consultas Cypher com base na entrada de linguagem natural do usuário. A arquitetia consiste em quatro componentes principais:

1. Geração de Consulta: Traduz perguntas de linguagem natural em consultas Cypher executáveis usando um prompt ciente do esquema que restringe o vocabulário a tipos de nós e arestas válidos.
2. Execução de Consulta: Conecta-se a um banco de dados Neo4j para executar a consulta gerada e retornar resultados estruturados.
3. Explicação de Consulta: Gera explicações legíveis por humanos, passo a passo, da lógica da consulta, incluindo resumos de propósito e verificações de plausibilidade (ex: sinalizando relacionamentos invertidos ou tipos de nós inválidos).
4. Emenda de Consulta: Permite que os usuários forneçam feedback em linguagem natural para atualizar iterativamente uma consulta existente sem regenerá-la do zero, permitindo correções direcionadas a filtros, tipos de entidades ou lógica de travessia.

O framework foi avaliado através de três experimentos distintos:

• Benchmark Sintético (Movie KG): Um benchmark de 90 consultas projetado para testar a capacidade do LLM de explicar consultas Cypher e detectar erros injetados (ex: relacionamentos invertidos, rótulos sem sentido, restrições contraditórias). Cinco LLMs foram testados na qualidade da explicação e detecção de falhas.
• Estudo de Caso do Mundo Real 1 (MaRDI KG): Um grafo de dados de pesquisa matemática contendo pacotes de software, autores e publicações. Quatorze LLMs foram testados em nove perguntas de linguagem natural para avaliar a precisão da geração de consultas com até duas tentativas de emenda.
• Estudo de Caso do Mundo Real 2 (Hyena KG): Um grafo biológico derivado de dados ecológicos de longo prazo sobre hienas malhadas. Os mesmos 14 LLMs foram testados em cinco perguntas formuladas por especialistas sobre parentesco e dispersão, novamente permitindo o refinamento iterativo.

Principais Contribuições

1. Framework Interativo: Um sistema que combina a expressividade do Cypher com a acessibilidade do LLM, visando explicitamente as limitações de transparência e controle dos sistemas KG-RAG existentes. Ele permite que os usuários inspecionem, expliquem e refinem consultas através de feedback conversacional.
2. Avaliação Empírica: Uma avaliação abrangente através de domínios sintéticos e do mundo real (matemática e biologia), medindo a qualidade da explicação, detecção de falhas e precisão da geração de consultas em múltiplos LLMs.
3. Insights sobre Modos de Falha: Identificação de padrões comuns de falha de LLM, como a omissão de restrições temporais em resumos e a variação significativa de desempenho entre modelos ao lidar com questões complexas de nível especialista.

Resultos

• Qualidade da Explicação: No benchmark sintético de filmes, os modelos de alto desempenho (o1-preview, deepseek-reasoner-api, o3-mini) alcançaram mais de 70% de precisão na geração de resumos de uma frase corretos. No entanto, um modo de falha recorrente em todos os modelos foi a omissão de anos específicos mencionados nas consultas. Na detecção de falhas, os modelos variaram em seu equilíbrio de sensibilidade e especificidade; o1-preview e deepseek-reasoner-api alcançaram alta detecção de defeitos (>85%) com baixas taxas de falsos positivos (<10%), enquanto outros tiveram dificuldades com tipos de perturbação específicos, como relacionamentos invertidos.
• Geração de Consulta (MaRDI): No KG matemático, o o3-mini e o GPT-5.2 resolveram todas as nove tarefas, enquanto a maioria dos outros modelos resolveu de 7 a 8. Consultas simples foram tratadas de forma confiável, mas tarefas complexas, como identificar autores compartilhados entre pacotes, mostraram-se difíceis para muitos modelos.
• Geração de Consulta (Hyena): As lacunas de desempenho ampliaram-se significamente no KG biológico. Apenas o o3 e o deepseek-reasoner-api alcançaram 100% de precisão (5/5 perguntas). Outros modelos, incluindo aqueles que tiveram bom desempenho no MaRDI, tiveram dificuldades, com vários modelos hospedados via Ollama alcançando 0/5. A eficiência variou, com alguns modelos exigindo múltiplas tentativas de emenda para atingir uma resposta correta.

Significância e Alegações
O artigo alega que sua principal contribuição é preencher a lacidade entre a linguagem natural e a consulta de grafos formal, tornando o caminho de raciocínio explícito e auditável. Os autores argumentam que, embora os LLMs possam gerar consultas funcionais, sua utilidade em cenários reais e orientados por especialistas é altamente variável e dependente do domínio e da complexidade da pergunta. O estudo demonstra que benchmarks sintéticos podem não capturar totalmente as dificuldades das perguntas de origem especializada, como evidenciado pela queda de desempenho no estudo de caso Hyena.

Os autores concluem modestamente que seu framework permite com sucesso que não especialistas interajam com KGs complexos sem aprender linguagens de consulta, desde que o sistema suporte o refinamento iterativo. Eles enfatizam que o trabalho futuro deve focar no refinamento de prompts de explicação para reter restrições temporais e no desenvolvimento de ferramentas interativas (ex: visualizações de diff) para melhorar a eficiência do processo de humano no ciclo. O trabalho não pretende resolver todos os desafios de KG-RAG, mas fornece uma abordagem estruturada de transparência e controle que reduz o risco de alucinação e aumenta a confiança nas respostas baseadas em grafos.