💬 NLP

MARS: Multi-hop Adaptive Retrieval and SPARQL Generation for KGQA

Het artikel introduceert MARS, een schaalbaar, fine-tuning-vrij framework voor Knowledge Graph Question Answering dat Large Language Models combineert met een gestructureerd, multi-hop adaptief retrievalproces om nauwkeurige SPARQL-queries te genereren, terwijl hallucinaties worden geminimaliseerd en efficiëntie behouden blijft.

Oorspronkelijke auteurs: Nikit Srivastava, Daniel Vollmers, René Speck, Nikolaos Karalis, Hamada M. Zahera, Axel-Cyrille Ngonga Ngomo

Gepubliceerd 2026-07-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nikit Srivastava, Daniel Vollmers, René Speck, Nikolaos Karalis, Hamada M. Zahera, Axel-Cyrille Ngonga Ngomo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, gelaagde mysteries probeert op te lossen, maar in plaats van één enkele detective heb je een briljant, supersnel brein dat soms dingen verzint wanneer het het antwoord niet weet. Dit is de wereld van Large Language Models (LLM's): ze zijn ongelooflijk slim in het begrijpen van taal en redeneren, maar ze hebben een vervelende gewoonte om te "hallucineren", of vol vertrouwen feiten te beweren die niet waar zijn. Om dit op te lossen, koppelen wetenschappers deze breinen vaak aan een "Knowledge Graph" (KG). Denk aan een KG niet als een rommelige stapel boeken, maar als een gigantisch, perfect georganiseerd web van feiten waar elk stukje informatie met andere verbonden is door duidelijke, logische lijnen, zoals een metromap van de volledige wereldwijde kennis. De uitdaging is om het superbrein dit landkaart correct te laten lezen zonder dat het verdwaalt of haltes verzint die niet bestaan. Dit is de kern van de puzzel van Knowledge Graph Question Answering (KGQA): hoe stellen we een complexe vraag en krijgen we een perfect accuraat antwoord uit dit web, vooral wanneer het antwoord vereist dat men van het ene feit naar het andere springt, zoals het volgen van een spoor van aanwijzingen?

Maak kennis met MARS, een nieuwe aanpak die fungeert als een zeer gedisciplineerde, stapsgewijze detective in plaats van een wilde, vrij ronddwalende ontdekkingsreiziger. De onderzoekers achter MARS, onder leiding van Nikit Srivastava en collega's, wilden het probleem oplossen van het stellen van complexe vragen die "multi-hop" redeneren vereisen—vragen waarbij je niet zomaar één feit kunt opzoeken; je moet eerst een persoon vinden, dan vinden waar diegene woont, dan vinden wat er in de buurt van diens huis ligt, enzovoort. Eerdere methoden probeerden de AI door de kennisgrafiek te laten dwalen als een agent met een kaart, maar dit leidde vaak tot verwarring en verzonnen feiten. MARS kiest een ander pad. In plaats van de AI de hele route in één keer te laten raden, breekt MARS de reis af. Het begint met het vinden van het specifieke "station" (entiteit) dat in de vraag wordt genoemd, en kijkt vervolgens zorgvuldig naar de directe "sporen" (patronen) die aan dat station verbonden zijn. Het vraagt de AI: "Hebben we op basis van deze sporen genoeg informatie om het puzzel op te lossen, of moeten we naar het volgende station springen?" Als het antwoord "nog niet" is, springt MARS naar de volgende set feiten, verrijkt de context en probeert het opnieuw. Het herhaalt deze gestructureerde lus totdat er genoeg bewijs is verzameld om een nauwkeurige, uitvoerbare instructie (een SPARQL-query) te schrijven die de computer kan draaien om het exacte antwoord te krijgen.

Het artikel stelt vast dat deze gestructureerde "stop-en-denk"-aanpak opmerkelijk goed werkt. Wanneer het werd getest op drie verschillende sets moeilijke vragen (waaronder enkele waarbij meer dan 29% meerdere stappen vereiste), presteerde MARS even goed als, of zelfs beter dan, de meest geavanceerde systemen die beschikbaar zijn, zelfs zonder dat het specifiek op bepaalde data hoefde te worden hertraind. Het toonde een bijzondere kracht in het afhandelen van complexe, meerstaps vragen en werkte in tien verschillende talen, inclusief sommige die zelden worden gebruikt in de technologie. De onderzoekers ontdekten ook dat hoewel het een AI-agent toestaan om vrij rond te dwalen krachtig kan zijn, een geleide pijplijn die de AI dwingt om zijn pad bij elke stap te verifiëren, betrouwbaarder is en minder geneigd is om dingen te verzinnen. Ze merkten ook op dat sommige eerdere benchmarks problemen hadden met ontbrekende gegevens, dus zij hebben hun eigen schone, bijgewerkte versies van de testdata uitgebracht om ervoor te zorgen dat iedereen op een eerlijk speelveld staat. Uiteindelijk suggereert MARS dat voor complexe redeneertaken een methodische, op patronen gebaseerde gids vaak een betere partner is dan een vrij ronddwalende agent, wat een manier biedt om nauwkeurige, gegronde antwoorden te krijgen zonder het risico op hallucinatie.

Technische Samenvatting van MARS: Multi-hop Adaptive Retrieval en SPARQL-generatie voor KGQA

Probleemstelling
Large Language Models (LLM's) vertonen sterke redeneervermogens, maar lijden aan hallucinaties en feitelijke inconsistenties, met name bij kennisintensieve taken die actuele, gegronde informatie vereisen. Hoewel Retrieval-Augmented Generation (RAG) deze problemen verzacht, heeft tekstgebaseerde RAG moeite met complexe multi-hop redeneringen omdat relationele structuren er slechts impliciet in worden gerepresenteerd. Daartegenover staan bestaande Knowledge Graph Question Answering (KGQA)-benaderingen die te maken hebben met significante afruilverschillen:

Feitenretrie-methoden die subgrafen ophalen voor LLM-redenering overschrijden vaak de contextvensterlimieten wanneer ze te maken krijgen met grote, relevante subgrafen.
Fine-tuned Question-SPARQL modellen worden beperkt door de dekking en diversiteit van trainingsdata.
Agent-georiënteerde benaderingen die vertrouwen op LLM's voor iteratieve graafexploratie zijn kwetsbaar voor foutpropagatie en hallucinatie bij elke stap.
Reproduceerbaarheidsproblemen blijven bestaan omdat benchmark-datasets vaak worden vrijgegeven zonder de specifieke versies van de Knowledge Graph (KG) die tijdens hun creatie zijn gebruikt, of met versies die een gebrek aan noodzakelijke dekking vertonen.

Methodologie: De MARS-pipeline
MARS is een schaalbare, fine-tuning-vrije benadering die patroongebaseerde graafretrie combineert met context-geaugmenteerde kennis om uitvoerbare SPARQL-queries te genereren. Het werkt via een gestructureerde, driefasige pipeline die de context iteratief verfijnt totdat een query kan worden gegenereerd of een multi-hop limiet wordt bereikt.

Entiteitskoppeling en Tekstaugmentatie:
Het systeem extraheert eerst entiteiten uit de invoervraag met behulp van een pipeline gebaseerd op GRASP. Om graafdoorloop en niet-Engelse queries te ondersteunen, maakt het gebruik van een meertalige LLM voor vertaling en een instructie-getunede LLM om geaugmenteerde tekst ( $q_{aug}^{text}$ ) te genereren die voorspelde entiteitstype-labels bevat. Deze hybride strategie behoudt de semantische structuur van de oorspronkelijke query terwijl vertaling wordt ingezet voor entiteitskoppeling.
Patroonretrie en Filtering:
In plaats van ruwe triples of volledige subgrafen op te halen, haalt MARS triple-patronen op (predicaat, entiteit, placeholder).

Patroondefinitie: Patronen worden gedefinieerd als $(s, p, \_)$ of $(\_, p, o)$ op basis van de geëxtraheerde entiteiten.
Verbalisatie: Patronen worden omgezet in natuurlijke taalstrings (bijv. "entiteit predicaat ?object").
Semantische Rangschikking: Deze geverbaliseerde patronen worden ingebed en gerangschikt op basis van semantische gelijkenis met de invoervraag. De top- $N$ patronen worden geselecteerd.
Verrijking: De geselecteerde patronen worden verrijkt met instantie-aantallen, instantie-labels (beperkt tot een subset om kosten te reduceren) en typologische informatie (domein- en bereikrestricties uit de KG-schema).

Iteratieve Redenering en SPARQL-generatie:
Een LLM (die fungeert als een SPARQL Reasoner) ontvangt de oorspronkelijke vraag en de verrijkte patrooncontext.

Beslissingslus: Het model bepaalt of de huidige context voldoende is om de uiteindelijke SPARQL-query ( $q_{sparql}$ ) te genereren.
Adaptieve Doorloop: Als de context onvoldoende is, selecteert het model specifieke patronen om uit te breiden. Het systeem extraheert de entiteiten uit deze patronen, behandelt deze als nieuwe startpunten, en herhaalt het patroonretrie-proces om "next-hop" informatie te verzamelen.
Terminatie: De lus gaat door totdat een query wordt gegenereerd of een vooraf ingestelde multi-hop limiet ( $m_{hop}$ ) is bereikt.

Belangrijkste Bijdragen

Patroongebaseerde Retrie: Een methode die de contextgrootte van de LLM beperkt door het filteren en rangschikken van triple-patronen in plaats van te opereren op ruwe subgrafen, waarbij next-hop feiten iteratief in de redenering worden opgenomen.
Hybride Meertalige Setup: Een framework dat machinevertaling combineert met native-taal tekst en entiteitstype-augmentatie, waardoor 10 talen (inclusief vier minderheidstalen) over drie benchmark-datasets worden ondersteund.
Uitgebreide Evaluatie en Analyse: Een diepgaande ablatie-studie naar functies (bijv. concrete voorbeelden, typologische info, verificatie) en configuraties, naast een gedetailleerde foutanalyse.
Reproduceerbaarheid: De release van de onderliggende Wikidata-snapshot die gebruikt is voor evaluatie, bijgewerkte datasets, en code met open-weight LLM's om het veelvoorkomende probleem van KG-versie-drift in benchmarks aan te pakken.

Experimentele Resultaten
MARS werd geëvalueerd op drie benchmarks: LC-QuAD2.0 (grootschalig Engels), QALD-9-plus (meertalig), en QALD-10 (complex, multi-hop queries).

Prestaties: MARS behaalde competitieve of state-of-the-art Macro F1-scores over alle datasets. Met name op de zeer complexe QALD-10 benchmark (waar ~29% van de queries multi-hop redenering vereist), presteerde MARS beter dan alle baselines, inclusief het agentic systeem GRASP, over alle vier de geëvalueerde talen.
Vergelijking met Baselines: MARS presteerde beter dan fine-tuned modellen (DeepPavlov, UniQ-Gen, MST5) en de agentic baseline GRASP in 8 van de 14 head-to-head vergelijkingen. De resultaten suggerieën dat een vaste, planningsgeoriënteerde pipeline effectiever is dan dynamische tool-selectie agents voor multi-hop vragen.
Inzichten uit Ablatie:
- Concrete Voorbeelden: Het verstrekken van concrete instantie-voorbeelden uit de opgehaalde patronen verbeterde de prestaties aanzienlijk.
- Verificatie: Een tweede pass om de gegenereerde SPARQL-query te verifiëren en bij te werken, leverde substantiële winst op.
- Configuratie: De optimale configuratie gebruikte GPT-OSS met een top- $N$ van 20 patronen en een multi-hop limiet van 10, wat een balans vond tussen inferentiekosten en nauwkeurigheid.

Betekenis en Beperkingen
Het artikel beweert dat MARS aantoont dat deterministische, patroongestuurde abstractielussen de overhand kunnen hebben op volledig agentic benaderingen in multi-hop KGQA door het risico op hallucinaties te verminderen en meer voorspelbare retrieval-dieptes te bieden. De benadering bereikt hoge prestaties zonder dataset-specifieke fine-tuning, door te vertrouwen op de redeneervermogens van open-weight LLM's geleid door gestructureerde retrieval.

De auteurs erkennen specifieke beperkingen:

Technische Beperkingen: Fouten komen primair voort uit resultaat-truncatie (beperkt tot 1.000 resultaten), ontbrekende boolean/aggregate projecties (ASK, COUNT), en overdreven voorzichtige literal-generatie.
Schaalbaarheid: Patroonretrie op hoog-graad nodes in grootschalige KGs (zoals Wikidata) vereist gespecialiseerde triple stores (bijv. Tentris) voor efficiënte joins.
Benchmark Dekking: Evaluatie was beperkt tot Wikidata-gebaseerde benchmarks; uitbreiding naar Freebase of DBpedia is toekomstig werk.
Reproduceerbaarheidsstandaarden: Het paper benadrukt dat F1-scores niet direct vergelijkbaar zijn tussen verschillende papers vanwege variërende noemer-definities (voorspelde sets vs. exact match vs. componenten), wat de noodzaak tot her-evaluatie van alle baselines onder een uniform protocol onderstreept.

Het werk concludeert dat hoewel MARS geen perfecte oplossing is, het een robuust, reproduceerbaar en efficiënt alternatief biedt voor huidige fine-tuned en agentic KGQA-systemen, met name voor complexe, multi-hop redeneertaken.

Technische Samenvatting van MARS: Multi-hop Adaptive Retrieval en SPARQL-generatie voor KGQA

Meer zoals dit