Resumo Técnico: Reduzindo Alucinações em Geração de Consultas SPARQL Baseadas em Modelos de Linguagem Usando Recuperação de Memória Pós-Geração

Declaração do Problema

Gerar consultas SPARQL a partir de perguntas em linguagem natural é essencial para recuperar dados estruturados de Grafos de Conhecimento (KGs). Embora os Grandes Modelos de Linguagem (LLMs) tenham sido adotados para esta tarefa, eles enfrentam problemas significativos de confiabilidade. Especificamente, os LLMs frequentemente alucinam Uniform Resource Identifiers (URIs) ao gerar elementos do KG. Como os KGs modernos (por exemplo, Wikidata) utilizam identificadores opacos e não semânticos (por exemplo, "Q937" para Albert Einstein) em vez de strings semânticas, os LLMs devem depender exclusivamente de sua memória paramétrica interna para mapear conceitos a esses IDs. Essa dependência leva à geração de URIs que parecem plausíveis, mas são inexistentes, comprometendo a precisão e a segurança dos sistemas de recuperação de informações.

Soluções existentes como a Geração Aumentada por Recuperação (RAG) tentam mitigar isso fornecendo contexto antes da geração. No entanto, o RAG frequentemente falha em eliminar alucinações porque o LLM não é estritamente restringido ao contexto recuperado e ainda pode gerar identificadores incorretos com base em seu conhecimento interno. Além disso, muitas abordagens de geração de SPARQL existentes exigem dados de treinamento "etiquetados" (onde os URIs estão pré-vinculados às perguntas), o que é trabalhoso e impraticável para implantações no mundo real.

Metodologia: PGMR (Post-Generation Memory Retrieval)

Os autores propõem o PGMR, um framework modular que desacopla a geração da estrutura da consulta SPARQL da resolução de identificadores específicos do KG. A inovação central é o reposicionamento temporal da fase de recuperação: em vez de recuperar o contexto antes da geração (como no RAG), o PGMR recupera identificadores após a formação da estrutura da consulta.

1. Geração de Consulta Intermediária

O LLM é treinado ou instruído para gerar uma consulta SPARQL-PGMR intermediária. Neste formato:

• A estrutura sintática da consulta SPARQL é preservada.
• Todos os URIs específicos (entidades e relações) são substituídos por placeholders de linguagem natural.
• Um bloco de mapeamento acompanha a consulta, definindo cada placeholder com um rótulo canônico e uma descrição desambiguadora (ex: entity0 = [ENT] Hamburgo [/ENT] cidade e estado no norte da Alemanha).

Este design permite que o LLM foque na correção sintática e na estrutura lógica sem a necessidade de recordar IDs opacos específicos de sua memória paramétrica.

2. Recuperação Pós-Geração

Um módulo de memória não paramétrica, consistindo em dicionários para entidades e relações, armazena embeddings de rótulos e descrições de URIs pareados com os URIs reais.

• Processo de Recuperação: Após o LLM gerar a consulta intermediária, um recuperador (usando BGE como codificador e FAISS para busca de similaridade) processa os placeholders de linguagem natural.
• Resolução: O recuperador combina o rótulo e a descrição do placeholder com a memória para encontrar o URI mais similar.
• Saída Final: Os URIs recuperados substituem os placeholders, resultando em uma consulta SPARQL final e executável.

3. Mecanismo de Segurança

O PGMR incorpora um limiar de confiança de recuperação. Se a pontuação de similaridade do URI recuperado de primeiro ranking para qualquer placeholder cair abaixo de um limiar definido, o sistema é projetado para recusar a consulta em vez de alucinar um ID incorreto. Este mecanismo permite que o sistema sinalize incerteza quando o conhecimento está ausente.

Principais Contribuições

1. Arquitetura Inovadora: O PGMR separa explicitamente a geração da sintaxe da consulta (LLM) da fundamentação de identificadores (recuperador não paramétrico), abordando a causa raiz das alucinações de URI.
2. Transformação de Dados de Treinamento: Os autores introduzem um processo sistemático para converter pares padrão pergunta-SPARQL para o formato intermediário PGMR, permitindo o treinamento sem a necessidade de dados de URI pré-etiquetados nas perguntas de entrada.
3. Eliminação Quase Completa de Alucinações: O framework alcança uma taxa quase nula de alucinações de URI em vários modelos e conjuntos de dados.
4. Robustez e Segurança: O sistema demonstra a capacidade de recusar corretamente consultas sem resposta via limiares de confiança e mantém o desempenho mesmo quando o tamanho da memória é expandido com entidades irrelevantes e distratoras.

Resultados Experimentais

Os autores avaliaram o PGMR no LCQUAD 2.0 (tanto no split original quanto no de "URI desconhecido") e no QALD-10, usando modelos que variam de T5-Small a Llama 3.1 8B e GPT-4o.

• Correção de Consulta (SQM): O PGMR superou consistentemente tanto a geração direta quanto os baselines de RAG. No LCQUAD 2.0 (split original), melhorou o Semantic Query Match (SQM) em aproximadamente 61% sobre a geração direta e 16% sobre o RAG, em média.
• Redução de Alucinações: Enquanto a geração direta alucinou URIs em ~75% dos casos e o RAG reduziu isso para ~8,7%, o PGMR alcançou uma eliminação quase completa de alucinações de URI (0,0% a 0,01% na maioria das configurações).
• Robustez Fora da Distribuição: No split de "URI desconhecido" (onde as consultas de teste contêm URIs não vistos durante o treinamento), o PGMR manteve alto desempenho, melhorando o SQM em 73% em relação à geração direta.
• Escalabilidade de Memória: Quando a memória de entidades foi aumentada em 9x com distratores irrelevantes, o PGMR exibiu degradação mínima de desempenho (queda de apenas ~4% no SQM), demonstrando a resilição do recuperador ao ruído.
• Precisão de Recusa: Ao ajustar o limiar de confiança, o modelo pôde efetivamente recusar responder a consultas carentes de suporte na memória, equilibrando o trade-off entre precisão de recusa e capacidade de resposta.

Significância e Alegações

O artigo afirma que o PGMR oferece uma solução robusta para a crise de confiabilidade no KGQA baseado em LLM. Ao adiar a fundamentação de identificadores para uma etapa de recuperação pós-geração, o framework garante que todos os URIs gerados estejam estritamente alinhados com os elementos existentes no grafo de conhecimento.

Os autores enfatizam que esta abordagem:

• Aumenta a Segurança: A capacidade de recusar consultas baseadas na confiança de recuperação evita que o sistema fabrique respostas em aplicações críticas.
• Melhora a Generalização: Desempenha-se bem mesmo com dados não etiquetados e URIs fora da distribuição, tornando-o mais prático para implantação no mundo real do que métodos que exigem etiquetagem extensiva.
• Mantém a Eficiência: O overhead computacional da etapa de recuperação é negligenciável em comparação com o tempo de geração base, pois o processo de recuperação é altamente eficiente.

Os autores observam modestamente que, embora o PGMR resolva o problema de alucinação de URI, o desempenho geral ainda é limitado pela capacidade do LLM de construir estruturas de consulta SPARQL precisas, particularmente para consultas altamente complexas encontradas em conjuntos de dados como o QALD-10. Eles sugerem que trabalhos futuros poderiam envolver a combinação do PGMR com LLMs mais poderosos ou a integração de etapas de recuperação tanto antes quanto depois da geração.