MARS: Multi-hop Adaptive Retrieval and SPARQL Generation for KGQA

Resumo Técnico de MARS: Multi-hop Adaptive Retrieval and SPARQL Generation for KGQA

Declaração do Problema
Grandes Modelos de Linguagem (LLMs) demonstram fortes capacidades de raciocínio, mas sofrem com alucinações e inconsistências fatuais, particularmente em tarefas intensivas em conhecimento que exigem informações atualizadas e fundamentadas. Embora a Geração Aumentada por Recuperação (RAG) mitigue esses problemas, o RAG baseado em texto tem dificuldade com o raciocínio multi-hop complexo porque as estruturas relacionais são representadas apenas implicitamente no texto. Por outro lado, as abordagens existentes de Questionamento de Grafos de Conhecimento (KGQA) enfrentam trade-offs significativos:

• Métodos de recuperação de fatos que recuperam subgrafos para o raciocínio de LLMs frequentemente excedem os limites da janela de contexto ao lidar com subgrafos grandes e relevantes.
• Modelos de Questionamento-SPARQL ajustados (fine-tuned) são limitados pela cobertura e diversidade dos dados de treinamento.
• Abordagens orientadas a agentes que dependem de LLMs para exploração iterativa de grafos são vulneráveis à propagação de erros e alucinação em cada etapa.
• Desafios de reprodutibilidade persistem, pois os conjuntos de dados de referência são frequentemente lançados sem as versões específicas do Grafo de Conhecimento (KG) utilizadas durante sua criação, ou com versões que carecem da cobertura necessária.

Metodologia: O Pipeline MARS
O MARS é uma abordagem escalável, livre de ajuste fino (fine-tuning-free), que combina recuperação de grafos baseada em padrões com conhecimento aumentado por contexto para gerar consultas SPARQL executáveis. Ele opera através de um pipeline estruturado de três estágios que refina iterativamente o contexto até que uma consulta possa ser gerada ou um limite de multi-hop seja atingido.

1. Vinculação de Entidades e Aumento de Texto:
   O sistema primeiro extrai entidades da pergunta de entrada usando um pipeline baseado em GRASP. Para suportar a travessia de grafos e consultas em outros idiomas, ele utiliza um LLM multilíngue para tradução e um LLM ajustado por instruções para gerar texto aumentado ($q_{aug}^{text}$) que incorpora rótulos de tipos de entidades previstos. Esta estratégia híbrida preserva a estrutura semântica original da consulta enquanto aproveita a tradução para a vinculação de entidades.

2. Recuperação de Padrões e Filtragem:
   Em vez de recuperar triplas brutas ou subgrafos completos, o MARS recupera padrões de triplas (predicado, entidade, placeholder).

• Definição de Padrão: Os padrões são definidos como $(s, p, \_)$ ou $(\_, p, o)$ com base nas entidades extraídas.
• Verbalização: Os padrões são convertidos em strings de linguagem natural (ex: "entidade predicado ?objeto").
• Classificação Semântica: Estes padrões verbalizados são incorporados (embedded) e classificados por similaridade semântica com a pergunta de entrada. Os top-$N$ padrões são selecionados.
• Enriquecimento: Os padrões selecionados são enriquecidos com contagens de instâncias, rótulos de instâncias (limitados a um subconjeto para reduzir custos) e informações tipológicas (restrições de domínio e alcance do esquema do KG).

3. Raciocínio Iterativo e Geração de SPARQL:
   Um LLM (atuando como um Raciocinador SPARQL) recebe a pergunta original e o contexto de padrão enriquecido.

• Loop de Decisão: O modelo determina se o contexto atual é suficiente para gerar a consulta SPARQL final ($q_{sparql}$).
• Travessia Adaptativa: Se o contexto for insuficiente, o modelo seleciona padrões específicos para expansão. O sistema extrai as entidades desses padrões, tratando-as como novos pontos de partida, e repete o processo de recuperação de padrões para reunir informações do "próximo salto" (next-hop).
• Terminação: O loop continua até que uma consulta seja gerada ou um limite de multi-hop predefinido ($m_{hop}$) seja atingido.

Principais Contribuições

1. Recuperação Baseada em Padrões: Um método que reduz o tamanho do contexto do LLM ao filtrar e classificar padrões de triplas em vez de operar em subgrafos brutos, incorporando iterativamente fatos do próximo salto ao raciocínio.
2. Configuração Multilíngue Híbrida: Um framework que combina tradução automática com texto na língua nativa e aumento de tipo de entidade, suportando 10 idiomas (incluindo quatro línguas de baixos recursos) através de três conjuntos de dados de referência.
3. Avaliação e Análise Abrangente: Um estudo de ablação detalhado sobre funcionalidades (ex: exemplos concretos, informação tipológica, verificação) e configurações, juntamente com uma análise de erro detalhada.
4. Reprodutibilidade: O lançamento do snapshot da Wikidata utilizado para avaliação, conjuntos de dados atualizados e código utilizando LLMs de pesos abertos para abordar o problema comum de deriva de versão de KG em benchmarks.

Resultados Experimentais
O MARS foi avaliado em três benchmarks: LC-QuAD2.0 (inglês de larga escala), QALD-9-plus (multilíngue) e QALD-10 (consultas complexas, multi-hop).

• Desempenho: O MARS alcançou pontuações Macro F1 competitivas ou de estado da arte em todos os datasets. Notavelmente, no benchmark altamente complexo QALD-10 (onde ~29% das consultas exigem raciocínio multi-hop), o MARS superou todas as baselines, incluindo o sistema agêntico GRASP, em todas as quatro línguas avaliadas.
• Comparação com Baselines: O MARS superou modelos ajustados (DeepPavlov, UniQ-Gen, MST5) e a baseline agêntica GRASP em 8 de 14 comparações diretas. Os resultados sugerem que um pipeline de planejamento fixo é mais eficaz do que agentes de seleção de ferramentas dinâmicos para perguntas multi-hop.
• Insights de Ablação:
  • Exemplos Concretos: Fornecer exemplos de instâncias concretas dos padrões recuperados melhorou significamente o desempenho.
  • Verificação: Uma segunda passagem para verificar e atualizar a consulta SPARQL gerada trouxe ganhos substanciais.
  • Configuração: A configuração ideal utilizou GPT-OSS com um top-$N$ de 20 padrões e um limite de multi-hop de 10, equilibrando custo de inferência e precisão.

Significância e Limitações
O artigo afirma que o MARS demonstra que loops de abstração determinísticos e guiados por padrões podem superar abordagens totalmente agênticas em KGQA multi-hop ao reduzir riscos de alucinação e fornecer profundidades de recuperação mais previsíveis. A abordagem alcança alto desempenho sem ajuste fino específico para o dataset, baseando-se no raciocínio de LLMs de pesos abertos guiados por recuperação estruturada.

Os autores reconhecem limitações específicas:

• Restrições Técnicas: Erros derivam principalmente de truncamento de resultados (limite de 1.000 resultados), projeções booleanas/agregadas ausentes (ASK, COUNT) e geração de literais excessivamente cautelosa.
• Escalabilidade: A recuperação de padrões em nós de alto grau em KGs de larga escala (como Wikidata) requer lojas de triplas especializadas (ex: Tentris) para junções eficientes.
• Cobertura de Benchmark: A avaliação foi restrita a benchmarks baseados em Wikidata; estender para Freebase ou DBpedia é um trabalho futuro.
• Padrões de Reprodutibilidade: O artigo destaca que as pontuações F1 não são diretamente comparáveis entre diferentes artigos devido às variações nas definições de denominador (conjuntos previstos vs. correspondência exata vs. componentes), necessitando da reavaliação de todas as baselines sob um protocolo unificado.

O trabalho conclui que, embora o MARS não seja uma solução perfeita, ele oferece uma alternativa robusta, reprodutível e eficiente aos sistemas atuais de KGQA ajustados e agênticos, particularmente para tarefas de raciocínio multi-hop complexas.