Technische Samenvatting: Verminderen van Hallucinaties in Taalmodel-gebaseerde SPARQL-querygeneratie door middel van Post-Generatie Geheugenretrieve

Probleemstelling

Het genereren van SPARQL-queries vanuit natuurlijke taalvragen is essentieel voor het ophalen van gestructureerde gegevens uit Knowledge Graphs (KGs). Hoewel Large Language Models (LLMs) hiervoor zijn ingezet, kampen ze met aanzienlijke betrouwbaarheidsproblemen. Specifiek hallucineren LLMs vaak Uniform Resource Identifiers (URIs) bij het genereren van KG-elementen. Omdat moderne KGs (bijv. Wikidata) gebruikmaken van opaak, niet-semantische identifiers (bijv. "Q937" voor Albert Einstein) in plaats van semantische strings, moeten LLMs uitsluitend vertrouwen op hun interne parametrische geheugen om concepten naar deze ID's te mappen. Deze afhankelijkheid leidt tot de generatie van plausibel ogende maar niet-bestaande URIs, wat de nauwkeurigheid en veiligheid van informatievergarendheidssystemen in gevaar brengt.

Bestaande oplossingen zoals Retrieval-Augmented Generation (RAG) proberen dit te mitigeren door context te bieden vóór de generatie. Echter, RAG slaagt er vaak niet in om hallucinaties te elimineren omdat de LLM niet strikt beperkt is tot de opgehaalde context en nog steeds incorrecte identifiers kan genereren op basis van zijn interne kennis. Bovendien vereisen veel bestaande SPARQL-generatiebenaderingen "getagde" trainingsdata (waarbij URIs vooraf aan vragen zijn gekoppeld), wat arbeidsintensief en onpraktisch is voor implementatie in de echte wereld.

Methodologie: PGMR (Post-Generation Memory Retrieval)

De auteurs stellen PGMR voor, een modulair framework dat de generatie van de SPARQL-querystructuur ontkoppelt van de resolutie van specifieke KG-identifiers. De kerninnovatie is de temporele herpositionering van de retrieval-fase: in plaats van context te ophalen vóór de generatie (zoals bij RAG), haalt PGMR identifiers op nadat de querystructuur is gevormd.

1. Intermediaire Querygeneratie

De LLM wordt getraind of geprompt om een intermediaire SPARQL-PGMR query te genereren. In dit formaat:

• Wordt de syntactische structuur van de SPARQL-query behouden.
• Worden alle specifieke URIs (entiteiten en relaties) vervangen door natuurlijke taal-placeholders.
• Wordt een mapping-blok vergezeld die elke placeholder definieert met een canonieke label en een disambiguerende beschrijving (bijv. entity0 = [ENT] Hamburg [/ENT] stad en staat in het noorden van Duitsland).

Dit ontwerp stelt de LLM in staat zich te concentreren op syntactische correctheid en logische structuur zonder de noodzaak om specifieke opaak-ID's uit zijn parametrische geheugen op te roepen.

2. Post-Generatie Retrieval

Een non-parametrische geheugenmodule, bestaande uit woordenboeken voor entiteiten en relaties, slaat embeddings van URI-labels en hun beschrijvingen samen met de werkelijke URIs op.

• Retrieval Proces: Nadat de LLM de intermediaire query heeft gegenereerd, verwerkt een retriever (met behulp van BGE als encoder en FAISS voor gelijkeniszoekopdrachten) de natuurlijke taal-placeholders.
• Resolutie: De retriever koppelt de label en beschrijving van de placeholder aan het geheugen om de meest gelijknis-rijke URI te vinden.
• Finale Output: De opgehaalde URIs vervangen de placeholders, wat resulteert in een finale, uitvoerbare SPARQL-query.

3. Veiligheidsmechanisme

PGMR bevat een retrieval confidence threshold (betrouwbaarheidsdrempel). Als de gelijkenis-score van de hoogst gerangschikte opgehaalde URI voor een placeholder onder een ingestelde drempelwaarde valt, is het systeem ontworpen om de query te weigeren in plaats van een incorrect ID te hallucineren. Dit mechanisme stelt het systeem in staat om onzekerheid te signaleren wanneer kennis ontbreekt.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: PGMR scheidt expliciet de SPARQL-syntaxgeneratie (LLM) van de identifier grounding (non-parametrische retriever), waarmee de grondoorzaak van URI-hallucinaties wordt aangepakt.
2. Transformatie van Trainingsdata: De auteurs introduceren een systematisch proces om standaard vraag-SPARQL paren om te zetten naar het PGMR intermediaire formaat, wat training mogelijk maakt zonder de noodzaak van vooraf getagde URI-data in de inputvragen.
3. Bijna Volledige Eliminatie van Hallucinaties: Het framework bereikt een bijna nulpercentage URI-hallucinaties over verschillende modellen en datasets.
4. Robuustheid en Veiligheid: Het systeem demonstreert het vermogen om onbeantwoordbare queries correct te weigeren via betrouwbaarheidsdrempels en behoudt de prestaties, zelfs wanneer de geheugengrootte wordt uitgebreid met irrelevante, afleidende entiteiten.

Experimentele Resultaten

De auteurs evalueerden PGMR op LCQUAD 2.0 (zowel originele als "unknown URI" splits) en QALD-10, gebruikmakend van modellen variërend van T5-Small tot Llama 3.1 8B en GPT-4o.

• Query Correctheid (SQM): PGMR presteerde consequent beter dan zowel directe generatie als RAG-baselines. Op LCQUAD 2.0 (originele split) verbeterde het de Semantic Query Match (SQM) met ongeveer 61% ten opzjen van directe generatie en met 16% ten opzjen van RAG gemiddeld.
• Reductie van Hallucinaties: Terwijl directe generatie in ~75% van de gevallen URIs hallucineerde en RAG dit terugbracht naar ~8,7%, bereikte PGMR een bijna volledige eliminatie van URI-hallucinaties (0,0% tot 0,01% over de meeste configuraties).
• Out-of-Distribution Robuustheid: In de "unknown URI" split (waar test-queries URIs bevatten die niet tijdens de training zijn gezien), behield PGMR een hoge prestatie en verbeterde de SQM met 73% ten opzjen van directe generatie.
• Geheugen Schaling: Wanneer het entiteitsgeheugen 9x werd vergroot met irrelevante distractoren, vertoonde PGMR minimale prestatiedegeneratie (slechts ~4% daling in SQM), wat de veerkracht van de retriever tegen ruis aantoont.
• Weigeringsnauwkeurigheid: Door de betrouwbaarheidsdrempel aan te passen, kon het model effectief weigeren om antwoorden te geven die onvoldoende ondersteund worden in het geheugen, waarbij de balans tussen weigeringsnauwkeurigheid en beantwoordbaarheid werd bewaard.

Betekenis en Claims

Het artikel claimt dat PGMR een robuuste oplossing biedt voor de betrouwbaarheidscrisis in LLM-gebaseerde KGQA. Door de identifier grounding uit te stellen naar een post-generatie retrieval-stap, zorgt het framework ervoor dat alle gegenereerde URIs strikt in lijn zijn met bestaande elementen in de knowledge graph.

De auteurs benadrukken dat deze aanpak:

• De Veiligheid Verhoogt: Het vermogen om queries te weigeren op basis van retrieval-betrouwbaarheid voorkomt dat het systeem antwoorden verzint in kritieke toepassingen.
• Generalisatie Verbetert: Het presteert goed, zelfs met ongetagde data en out-of-distribution URIs, wat het praktischer maakt voor implementatie in de echte wereld dan methoden die uitgebreide tagging vereisen.
• Efficiëntie Handhaaft: De computationele overhead van de retrieval-stap is verwaarloosbaar vergeleken met de basisgeneratietijd, aangezien het retrieval-proces zeer efficiënt is.

De auteurs merken bescheiden op dat hoewel PGMR het URI-hallucinatieprobleem oplost, de algehele prestatie nog steeds wordt begrensd door het vermogen van de LLM om accurate SPARQL-querystructuren te construeren, met name voor zeer complexe queries zoals gevonden in datasets zoals QALD-10. Zij suggereren dat toekomstig werk de integratie van PGMR met krachtigere LLM's of het integreren van retrieval-stappen zowel vóór als na de generatie zou kunnen omvatten.