A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering

Résumé Technique : Une architecture centrée sur les LLM avec intervention humaine pour le questionnement de graphes de connaissances

Énoncé du problème
Bien que les modèles de langage de grande taille (LLM) excellent dans la compréhension du langage naturel, ils font face à des limitations significatives dans les domaines nécessitant une grande intensité de connaissances, notamment les hallucinations, l'obsolescence de l'information et un manque d'explicabilité. Les approches existantes de génération augmentée par récupération (RAG) reposent souvent sur la récupération textuelle, ce qui peine à gérer le raisonnement multi-étapes requis pour connecter des entités indirectement liées. À l'inverse, les graphes de connaissances (KG) offrent des requêtes précises et explicables, mais nécessitent une expertise en langages de requête tels que Cypher ou SPARQL. Les pipelines KG-RAG actuels souffrent de trois défauts de conception spécifiques : (1) la linéarisation des triplets de graphes efface le contexte structurel ; (2) la récupération de type "boîte noire" masque le chemin de raisonnement ; et (3) l'absence de contrôle par l'utilisateur empêche l'affinement itératif des erreurs de correspondance d'entités ou de portée. Les travaux précédents des auteurs ont démontré que, bien que les LLM puissent traduire des questions en requêtes, l'incapacité à déboguer ou à expliquer ces requêtes imposait une régénération complète en cas d'échec, créant un décalage entre l'intention de l'utilisateur et l'exécution.

Méthodologie
Les auteurs proposent un cadre interactif et modulaire où les LLM génèrent, expliquent et affinent de manière itérative des requêtes Cypher basées sur des entrées en langage naturel de l'utilisateur. L'architecture se compose de quatre composantes fondamentales :

1. Génération de requêtes : Traduit les questions en langage naturel en requêtes Cypher exécutables en utilisant un prompt sensible au schéma qui contraint le vocabulaire aux types de nœuds et de relations valides.
2. Exécution de requêtes : Se connecte à une base de données Neo4j pour exécuter la requête générée et retourner des résultats structurés.
3. Explication de requêtes : Génère des explications lisibles par l'humain, étape par étape, de la logique de la requête, incluant des résumés d'intention et des vérifications de plausibilité (par exemple, signaler des relations inversées ou des types de nœuds invalides).
4. Amendement de requêtes : Permet aux utilisateurs de fournir un retour en langage naturel pour mettre à jour de manière itérative une requête existante sans la régénérer de zéro, permettant des corrections ciblées sur les filtres, les types d'entités ou la logique de parcours.

Le cadre a été évalué via trois expériences distinctes :

• Benchmark synthétique (Movie KG) : Un benchmark de 90 requêtes conçu pour tester la capacité du LLM à expliquer les requêtes Cypher et à détecter les erreurs injectées (ex: relations inversées, étiquettes absurdes, contraintes contradictoires). Cinq LLM ont été testés sur la qualité de l'explication et la détection de fautes.
• Étude de cas réelle 1 (MaRDI KG) : Un graphe de données de recherche mathématique contenant des packages logiciels, des auteurs et des publications. Quatorze LLM ont été testés sur neuf questions en langage naturel pour évaluer la précision de la génération de requêtes avec jusqu'à deux tentatives d'amendement.
• Étude de cas réelle 2 (Hyena KG) : Un graphe biologique dérivé de données écologiques à long terme sur les hyènes tachetées. Les mêmes 14 LLM ont été testés sur cinq questions formulées par des experts concernant la parenté et la dispersion, permettant à nouveau un raffinement itératif.

Contributions clés

1. Cadre interactif : Un système qui combine l'expressivité de Cypher avec l'accessibilité des LLM, ciblant explicitement les limites de transparence et de contrôle des systèmes KG-RAG existants. Il permet aux utilisateurs d'inspecter, d'expliquer et d'affiner les requêtes via un feedback conversationnel.
2. Évaluation empirique : Une évaluation complète à travers des domaines synthétiques et réels (mathématiques et biologie), mesurant la qualité de l'explication, la détection de fautes et la précision de la génération de requêtes à travers plusieurs LLM.
3. Aperçus sur les modes de défaillance : Identification de schémas de défaillance courants des LLM, tels que l'omission de contraintes temporelles dans les résumés et une variabilité significative de performance entre les modèles lors de la gestion de questions complexes de niveau expert.

Résultats

• Qualité de l'explication : Sur le benchmark synthétique de films, les modèles les plus performants (o1-preview, deepseek-reasoner-api, o3-mini) ont atteint plus de 70 % de précision dans la génération de résumés d'une phrase corrects. Cependant, un mode de défaillance récurrent chez tous les modèles était l'omission d'années spécifiques mentionnées dans les requêtes. Dans la détection de fautes, les modèles ont varié dans leur équilibre entre sensibilité et spécificité ; o1-preview et deepseek-reasoner-api ont atteint une haute détection de défauts (>85 %) avec de faibles taux de faux positifs (<10 %), tandis que d'autres ont peiné avec des types de perturbations spécifiques comme les relations inversées.
• Génération de requêtes (MaRDI) : Sur le KG mathématique, o3-mini et GPT-5.2 ont résolu l'intégralité des neuf tâches, tandis que la plupart des autres modèles en ont résolu 7 à 8. Les requêtes simples ont été gérées de manière fiable, mais les tâches complexes comme l'identification d'auteurs partagés entre des packages se sont révélées difficiles pour de nombreux modèles.
• Génération de requêtes (Hyena) : Les écarts de performance se sont considérablement accentués sur le KG biologique. Seuls o3 et deepseek-reasoner-api ont atteint 100 % de précision (5/5 questions). D'autres modèles, y compris ceux qui performaient bien sur MaRDI, ont échoué, plusieurs modèles hébergés via Ollama atteignant 0/5. L'efficacité variait, certains modèles nécessitant plusieurs tentatives d'amendement pour parvenir à une réponse correcte.

Signification et affirmations
L'article affirme que sa principale contribution est de combler le fossé entre le langage naturel et le requêtage formel de graphes en rendant le chemin de raisonnement explicite et auditable. Les auteurs soutiennent que si les LLM peuvent générer des requêtes exploitables, leur utilité dans des scénarios réels pilotés par des experts est hautement variable et dépend du domaine et de la complexité de la question. L'étude démontre que les benchmarks synthétiques peuvent ne pas capturer pleinement les difficultés des questions sourcées auprès d'experts, comme en témoigne la chute de performance dans l'étude de cas Hyena.

Les auteurs concluent modestement que leur cadre permet avec succès aux non-experts d'interagir avec des KG complexes sans apprendre les langages de requête, à condition que le système supporte le raffinement itératif. Ils soulignent que les travaux futurs devraient se concentrer sur l'amélioration des prompts d'explication pour conserver les contraintes temporelles et sur le développement d'outils interactifs (ex: vues de différence/diff views) pour améliorer l'efficacité du processus d'intervention humaine. Le travail ne prétend pas résoudre tous les défis du KG-RAG, mais propose une approche structurée de transparence et de contrôle qui réduit le risque d'hallucination et améliore la confiance dans les réponses basées sur les graphes.