A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering

Technische Samenvatting: Een Human-in-the-Loop, LLM-gecentreerde Architectuur voor Knowledge-Graph Question Answering

Probleemstelling
Hoewel Large Language Models (LLMs) uitblinken in natuurlijke taalbegrip, kampen ze met significante beperkingen in kennisintensieve domeinen, waaronder hallucinaties, verouderde informatie en een gebrek aan verklaarbaarheid. Bestaande Retrieval-Augmented Generation (RAG)-benaderingen vertrouwen vaak op tekstgebaseerde retrieval, wat moeite heeft met de multi-hop redenering die nodig is om indirect gerelateerde entiteiten te verbinden. Knowledge Graphs (KGs) bieden daarentegen precieze, verklaarbare queries, maar vereisen expertise in querytalen zoals Cypher of SPARQL. Huidige KG-gebaseerde RAG-pipelines lijden vaak onder drie specifieke ontwerpgebreken: (1) het lineariseren van graph-triples wist de structurele context; (2) black-box retrieval verbergt het redeneerpad; en (3) het gebrek aan controle door de gebruiker (user-in-the-loop) verhindert iteratieve verfijning van foutieve entiteitsmatches of de scope. Voorgaand werk van de auteurs toonde aan dat, hoewel LLMs vragen naar queries kunnen vertalen, het onvermogen om deze queries te debuggen of te verklaren volledige regeneratie bij falen noodzakelijk maakte, wat een disconnect creëerde tussen de intentie van de gebruiker en de uitvoering.

Methodologie
De auteurs stellen een interactief, modulair framework voor waarbij LLMs Cypher-queries genereren, verklaren en iteratief verfijnen op basis van natuurlijke taalinput van de gebruiker. De architectuur bestaat uit vier kerncomponenten:

1. Query Generatie: Vertaalt natuurlijke taalvragen naar uitvoerbare Cypher-queries met behulp van een schema-bewuste prompt die de vocabulaire beperkt tot geldige node- en edge-types.
2. Query Executie: Maakt verbinding met een Neo4j-database om de gegenereerde query uit te voeren en gestructureerde resultaten terug te geven.
3. Query Verklaring: Genereert menselijk leesbare, stapsgewijze verklaringen van de query-logica, inclusclusief samenvattingen van het doel en plausibiliteitscontroles (bijv. het signaleren van omgekeerde relaties of ongeldige node-types).
4. Query Aanpassing: Stelt gebruikers in staat om natuurlijke taalfeedback te geven om een bestaande query iteratief bij te werken zonder deze volledig opnieuw te genereren, wat gerichte correcties op filters, entiteitstypes of traversallogica mogelijk maakt.

Het framework werd geëvalueerd via drie verschillende experimenten:

• Synthetische Benchmark (Movie KG): Een benchmark van 90 queries ontworpen om het vermogen van de LLM te testen om Cypher-queries te verklaren en geïnjecteerde fouten te detecteren (bijv. omgedraaide relaties, betekenisloze labels, tegenstrijdige constraints). Vijf LLMs werden getest op de kwaliteit van de verklaring en foutdetectie.
• Real-World Case Study 1 (MaRDI KG): Een grafiek van wiskundige onderzoekdata met softwarepakketten, auteurs en publicaties. Veertien LLMs werden getest op negen natuurlijke taalvragen om de nauwkeurigheid van de querygeneratie te beoordelen met maximaal twee aanpassingspogingen.
• Real-World Case Study 2 (Hyena KG): Een biologische grafiek afgeleid van langetermijnecologische gegevens over hyena's. Dezelfde 14 LLMs werden getest op vijf door experts geformuleerde vragen over verwantschap en dispersie, waarbij wederom iteratieve verfijning mogelijk was.

Belangrijkste Bijdragen

1. Interactief Framework: Een systeem dat de expressiviteit van Cypher combineert met LLM-toegankelijkheid, en expliciet gericht is op de transparantie- en controlebeperkingen van bestaande KG-RAG-systemen. Het stelt gebruikers in staat om queries te inspecteren, te verklaren en te verfijnen via conversationele feedback.
2. Empirische Evaluatie: Een uitgebreide beoordeling over synthetische en real-world domeinen (wiskunde en biologie), waarbij de kwaliteit van de verklaring, foutdetectie en de nauwkeurigheid van de querygeneratie over meerdere LLMs zijn gemeten.
3. Inzichten in Foutmodi: Identificatie van veelvoorkomende LLM-foutpatronen, zoals het weglaten van temporele constraints in samenvattingen en significante variabiliteit in prestaties tussen modellen bij het afhandelen van complexe, expert-niveau vragen.

Resultaten

• Verklaringskwaliteit: Op de synthetische movie-benchmark behaalden de best presterende modellen (o1-preview, deepseek-reasoner-api, o3-mini) meer dan 70% nauwkeurigheid in het genereren van correcte een-zinige samenvattingen. Een terugkerende foutmodus bij alle modellen was echter het weglaten van specifieke jaren die in de queries werden genoemd. Bij foutdetectie varieerden de modellen in hun balans tussen sensitiviteit en specificiteit; o1-preview en deepseek-reasoner-api behaalden een hoge defectdetectie (>85%) met een laag aantal fout-positieven (<10%), terwijl anderen moeite hadden met specifieke perturbatietypes zoals omgedraaide relaties.
• Query Generatie (MaRDI): Op de wiskundige KG losten o3-mini en GPT-5.2 alle negen taken op, terwijl de meeste andere modellen 7–8 oplosten. Eenvoudige queries werden betrouwbaar afgehandeld, maar complexe taken zoals het identificeren van gedeelde auteurs over pakketten heen bleken moeilijk voor veel modellen.
• Query Generatie (Hyena): De prestatiekloof werd aanzienlijk groter op de biologische KG. Alleen o3 en deepseek-reasoner-api behaalden 100% nauwkeurigheid (5/5 vragen). Andere modellen, inclusief die goed presteerden op MaRDI, hadden moeite; verschillende via Ollama gehoste modellen behaalden 0/5. De efficiëntie varieerde, waarbij sommige modellen meerdere aanpassingspogingen nodig hadden om een correct antwoord te bereiken.

Significantie en Claims
Het artikel claimt dat de primaire bijdrage het overbruggen van de kloof tussen natuurlijke taal en formele grafische querying is door het redeneerpad expliciet en auditeerbaar te maken. De auteurs stellen dat, hoewel LLMs in staat zijn bruikbare queries te genereren, hun nut in real-world, expert-gestuurde scenario's zeer variabel is en afhankelijk is van het domein en de complexiteit van de vraag. De studie toont aan dat synthetische benchmarks de moeilijkheden van expert-bron vragen mogelijk niet volledig vatten, zoals blijkt uit de daling in prestaties in de Hyena case study.

De auteurs concluderen bescheiden dat hun framework er succesvol in is geslaagd om niet-experts in staat te stellen om met complexe KGs te interageren zonder een querytaal te leren, mits het systeem iteratieve verfijning ondersteunt. Ze benadrukken dat toekomstig werk zich moet richten op het verfijnen van explanation prompts om temporele constraints te behouden en het ontwikkelen van interactieve tooling (bijv. diff-views) om de efficiëntie van het human-in-the-loop proces te verbeteren. Het werk claimt niet alle KG-RAG-uitdagingen op te lossen, maar biedt een gestructureerde aanpak voor transparantie en controle die het risico op hallucinaties vermindert en het vertrouwen in grafische antwoorden vergroot.