Résumé Technique : Réduction des Hallucinations dans la Génération de Requêtes SPARQL basée sur les Modèles de Langage via la Récupération de Mémoire Post-Génération

Problématique

La génération de requêtes SPARQL à partir de questions en langage naturel est essentielle pour l'extraction de données structurées à partir de Graphes de Connaissance (KG). Bien que les Grands Modèles de Langage (LLM) aient été adoptés pour cette tâche, ils font face à des problèmes de fiabilité importants. Plus précisément, les LLM hallucinent souvent des Identifiants Uniformes de Ressources (URI) lors de la génération d'éléments du KG. Comme les KG modernes (par exemple, Wikidata) utilisent des identifiants opaques et non sémantiques (par exemple, « Q937 » pour Albert Einstein) plutôt que des chaînes sémantiques, les LLM doivent compter uniquement sur leur mémoire paramétrique interne pour mapper les concepts à ces identifiants. Cette dépendance conduit à la génération d'URI qui semblent plausibles mais sont inexistants, compromettant la précision et la sécurité des systèmes de récupération d'informations.

Les solutions existantes comme la Génération Augmentée par Récupération (RAG) tentent d'atténuer ce problème en fournissant du contexte avant la génération. Cependant, le RAG échoue souvent à éliminer les hallucinations car le LLM n'est pas strictement contraint par le contexte récupéré et peut encore générer des identifiants incorrects basés sur sa propre connaissance interne. De plus, de nombreuses approches de génération de SPARQL existantes nécessitent des données d'entraînement « étiquetées » (où les URI sont pré-liés aux questions), ce qui est laborieux et peu pratique pour un déploiement en conditions réelles.

Méthodologie : PGMR (Post-Generation Memory Retrieval)

Les auteurs proposent PGMR, un cadre modulaire qui découple la génération de la structure de la requête SPARQL de la résolution des identifiants spécifiques du KG. L'innovation centrale est le repositionnement temporel de la phase de récupération : au lieu de récupérer le contexte avant la génération (comme dans le RAG), PGMR récupère les identifiants après la formation de la structure de la requête.

1. Génération de Requête Intermédiaire

Le LLM est entraîné ou incité à générer une requête SPARQL-PGMR intermédiaire. Dans ce format :

• La structure syntaxique de la requête SPARQL est préservée.
• Tous les URI spécifiques (entités et relations) sont remplacés par des espaces réservés (placeholders) en langage naturel.
• Un bloc de mapping accompagne la requête, définissant chaque espace réservé par un label canonique et une description de désambiguïsation (par exemple, entity0 = [ENT] Hambourg [/ENT] ville et État dans le nord de l'Allemagne).

Cette conception permet au LLM de se concentrer sur la correction syntaxique et la structure logique sans avoir besoin de se rappeler des identifiants opaques spécifiques depuis sa mémoire paramétrique.

2. Récupération Post-Génération

Un module de mémoire non paramétrique, composé de dictionnaires pour les entités et les relations, stocke les plongements (embeddings) des labels et des descriptions d'URI associés aux URI réels.

• Processus de Récupération : Après que le LLM a généré la requête intermédiaire, un récupérateur (utilisant l'encodeur BGE et FAISS pour la recherche de similarité) traite les espaces réservés en langage naturel.
• Résolution : Le récupérateur fait correspondre le label et la description de l'espace réservé avec la mémoire pour trouver l'URI le plus similaire.
• Sortie Finale : Les URI récupérés remplacent les espaces réservés, produisant une requête SPARQL finale exécutable.

3. Mécanisme de Sécurité

PGMR intègre un seuil de confiance de récupération. Si le score de similarité de l'URI récupéré le mieux classé pour un espace réservé tombe en dessous d'un seuil défini, le système est conçu pour refuser la requête plutôt que d'halluciner un identifiant incorrect. Ce mécanisme permet au système de signaler son incertitude lorsque la connaissance est manquante.

Contributions Clés

1. Architecture Novatrice : PGMR sépare explicitement la génération de la syntaxe de requête (LLM) de l'ancrage des identifiants (récupérateur non paramétrique), traitant la cause racine des hallucinations d'URI.
2. Transformation des Données d'Entraînement : Les auteurs introduisent un processus systématique pour convertir les paires question-SPARQL standards en format intermédiaire PGMR, permettant l'entraînement sans nécessiter de données pré-étiquetées avec des URI dans les questions d'entrée.
3. Élimination Quasi-Totale des Hallucinations : Le cadre atteint un taux quasi nul d'hallucinations d'URI sur divers modèles et jeux de données.
4. Robustesse et Sécurité : Le système démontre sa capacité à refuser correctement les requêtes sans réponse via les seuils de confiance et maintient ses performances même lorsque la taille de la mémoire est augmentée avec des entités non pertinentes et distrayantes.

Résultats Expérimentaux

Les auteurs ont évalué PGMR sur LCQUAD 2.0 (divisions originale et « URI inconnus ») et QALD-10, en utilisant des modèles allant de T5-Small à Llama 3.1 8B et GPT-4o.

• Exactitude de la Requête (SQM) : PGMR a systématiquement surpassé les approches de génération directe et les lignes de base RAG. Sur LCQUAD 2.0 (division originale), il a amélioré le Semantic Query Match (SQM) d'environ 61 % par rapport à la génération directe et de 16 % par rapport au RAG en moyenne.
• Réduction des Hallucinations : Alors que la génération directe hallucinait des URI dans environ 75 % des cas et que le RAG réduisait ce chiffre à environ 8,7 %, PGMR a atteint une élimination quasi totale des hallucinations d'URI (0,0 % à 0,01 % sur la plupart des configurations).
• Robustesse Hors-Distribution : Dans la division « URI inconnus » (où les requêtes de test contiennent des URI non vus pendant l'entraînement), PGMR a maintenu des performances élevées, améliorant le SQM de 73 % par rapport à la génération directe.
• Mise à l'Échelle de la Mémoire : Lorsque la mémoire des entités a été augmentée de 9 fois avec des distracteurs non pertinents, PGMR a présenté une dégradation minimale de performance (seulement ~4 % de baisse de SQM), démontant la résilience du récupérateur face au bruit.
• Précision du Refus : En ajustant le seuil de confiance, le modèle pouvait effectivement refuser de répondre aux requêtes manquant de support dans la mémoire, équilibrant le compromis entre la précision du refus et la capacité de réponse.

Signification et Revendications

L'article affirme que PGMR offre une solution robuste à la crise de fiabilité des LLM dans le domaine du KGQA. En différant l'ancrage des identifiants à une étape de récupération post-génération, le cadre garantit que tous les URI générés sont strictement alignés avec les éléments existants du graphe de connaissance.

Les auteurs soulignent que cette approche :

• Renforce la Sécurité : La capacité de refuser des requêtes basées sur la confiance de récupération empêche le système de fabriquer des réponses dans des applications critiques.
• Améliore la Généralisation : Elle performe bien même avec des données non étiquetées et des URI hors-distribution, ce qui la rend plus pratique pour un déploiement réel que les méthodes nécessitant un étiquetage extensif.
• Maintient l'Efficacité : La surcharge de calcul de l'étape de récupération est négligeable par rapport au temps de génération de base, car le processus de récupération est hautement efficace.

Les auteurs notent modestement que si PGMR résout le problème de l'hallucination d'URI, la performance globale reste limitée par la capacité du LLM à construire des structures de requêtes SPARQL précises, particulièrement pour les requêtes très complexes présentes dans des jeux de données comme QALD-10. Ils suggèrent que les travaux futurs pourraient consister à combiner PGMR avec des LLM plus puissants ou à intégrer des étapes de récupération à la fois avant et après la génération.