Agentic SPARQL: Evaluating SPARQL-MCP-powered Intelligent Agents on the Federated KGQA Benchmark

Dit artikel onderzoekt de potentie van SPARQL-MCP-gebaseerde intelligente agenten voor federatieve kennisgrafiekvraagbeantwoording door een bestaand benchmark uit te breiden en verschillende architecturale opties te evalueren voor de integratie van SPARQL-federatie met LLM-agenten.

De kern

🕵️‍♂️ De Digitale Detectives: Hoe AI Agents de Wereld van Gegevens Verkennen

Stel je voor dat je een superintelligente detective hebt (een AI-agent) die een lastige vraag moet beantwoorden, bijvoorbeeld: "Welke boeken van Tim Berners-Lee zijn ook vermeld in de grote Wikipedia-lijst van wetenschappelijke artikelen?"

In het verleden moest deze detective één grote bibliotheek bezoeken. Maar vandaag de dag is kennis verspreid over duizenden kleine bibliotheken (data-bronnen) over de hele wereld. Sommige zijn open, sommige gesloten, en ze hebben allemaal een ander systeem.

Dit onderzoek gaat over hoe we deze detective kunnen uitrusten met een magische sleutelbundel (MCP) en een nieuwe strategie om al die verspreide bibliotheken tegelijkertijd te doorzoeken.

1. Het Probleem: De "Verloren in de Stad"-Situatie

Vroeger waren AI's als een persoon die in een stad staat zonder kaart. Ze konden wel vragen stellen, maar ze wisten niet:

• Welke bibliotheek het juiste boek heeft.
• Hoe ze de vraag moeten formuleren in de taal van die specifieke bibliotheek.
• Of de bibliotheek überhaupt open is (soms zijn servers traag of gesloten).

De auteurs van dit paper noemen dit de "Agentic SPARQL" uitdaging. Ze willen dat de AI niet alleen een vraag stelt, maar ook zelf de weg vindt, de juiste bibliotheken kiest en de vragen combineert.

2. De Oplossing: De Magische Sleutelbundel (MCP)

De onderzoekers gebruiken een nieuwe standaard genaamd MCP (Model Context Protocol).

• De Analogie: Denk aan MCP als een universele telefoon-app op de smartphone van de detective.
• Met deze app kan de detective niet alleen praten, maar ook direct bellen met bibliotheken, hun catalogus inzien en vragen stellen.
• Het maakt het mogelijk voor de AI om te "plannen": "Eerst bel ik bibliotheek A, dan bibliotheek B, en dan combineer ik de antwoorden."

3. De Uitdagingen: Waarom is dit moeilijk?

Het is alsof je probeert een puzzel te maken met stukjes van 100 verschillende puzzels die allemaal een andere vorm hebben:

1. Verschillende Talen: Sommige bibliotheken spreken alleen "RDF", andere "SPARQL". De AI moet dit vertalen.
2. Onbetrouwbare Bibliotheken: Soms is een bibliotheek gesloten of erg traag. De AI moet weten welke ze wel kunnen bereiken.
3. De "Triviale" Fout: Een slome detective zou zeggen: "Ik bel gewoon ALLE bibliotheken tegelijk!" Dit werkt, maar het is inefficiënt en kost enorm veel tijd en geld. Een slimme detective zoekt alleen de bibliotheken waar het antwoord waarschijnlijk zit.

4. Het Experiment: De Grote Test

Om te testen of dit werkt, hebben de onderzoekers een gigantische proefopstelling gemaakt (het FKGQA-benchmark).

• Ze hebben 19 grote datasets opgeknipt in stukjes en verspreid over 118 verschillende "virtuele bibliotheken".
• Ze gaven twee soorten detectives een opdracht:
  • De Super-Detective (GPT-5.2): Een zeer krachtige AI.
  • De Starter-Detective (Qwen3-8B): Een kleinere, lichtere AI.

De regels van het spel:
De detectives moesten zelf de juiste bibliotheken vinden, de vragen opstellen en het antwoord geven, zonder dat de onderzoekers hen vertelden welke bibliotheken ze moesten bezoeken.

5. De Resultaten: Wie wint de wedstrijd?

• De Super-Detective (GPT-5.2):

  • Succes: Deze AI was verrassend goed! Ze haalde een score van ongeveer 45%. Dat is net zo goed als de beste systemen die we tot nu toe hadden, maar dan zonder dat mensen de weg moesten wijzen.
  • Gedrag: Ze was slim. Ze zocht eerst een beetje rond, belde de juiste bibliotheken en vermijdde het bellen van alle bibliotheken tegelijk.
  • Tip: Het bleek dat een korte, simpele beschrijving van een bibliotheek ("Hier staan auto's") beter werkte dan een enorme, technische handleiding.

• De Starter-Detective (Qwen3-8B):

  • Succes: Deze AI had het veel moeilijker. Ze haalde slechts 13% correcte antwoorden.
  • Gedrag: Ze maakte veel taalkundige fouten in de vragen die ze stelde. In plaats van slim te zoeken, belde ze vaak alle bibliotheken tegelijk (de "triviale" fout). Ze probeerde alles te doen in één keer, wat leidde tot chaos.

6. Wat betekent dit voor de toekomst?

Dit onderzoek toont aan dat:

1. AI Agents klaar zijn voor de echte wereld: Met de juiste tools (zoals MCP) kunnen AI's zelfstandig complexe vragen beantwoorden door data uit verschillende bronnen te halen.
2. Kracht is nodig: Je hebt een "slimme" AI nodig (zoals de Super-Detective) om dit goed te doen. Kleinere modellen maken nog te veel fouten.
3. Eenvoud is beter: Voor AI's is het vaak beter om een korte, menselijke beschrijving van een bron te krijgen dan een complexe technische lijst.

Kortom: We hebben een nieuwe manier gevonden om AI's te leren werken als echte onderzoekers die de hele wereld van gegevens kunnen verkennen, in plaats van alleen maar in één bibliotheek te zoeken. Maar we moeten nog wel zorgen dat de "jongere" AI's slimmer worden voordat ze volledig op hun eigen benen kunnen staan.

Technische samenvatting

Titel

Agentic SPARQL: Evaluatie van door SPARQL-MCP aangedreven intelligente agenten op de Federated KGQA Benchmark

1. Probleemstelling

Grote Taalmodellen (LLMs) hebben de potentie om complexe taken op te lossen door externe tools en databronnen te benutten, vaak gerealiseerd via het Model Context Protocol (MCP). Hoewel er veel onderzoek is gedaan naar het koppelen van LLMs aan databases (bijv. Text-to-SQL of Text-to-SPARQL), blijft de integratie van federatieve SPARQL-querying (het combineren van data van meerdere, verspreide endpoints) een uitdaging.

De auteurs identificeren vijf specifieke uitdagingen bij het toepassen van "Agentic SPARQL":

1. Interface-heterogeniteit: Endpoints variëren van ruwe RDF-dumps tot volledige SPARQL 1.1-endpoints met verschillende ondersteunde functies.
2. Ongelijke SPARQL 1.1-ondersteuning: Zelfs standaardconforme endpoints ondersteunen niet altijd dezelfde functies (zoals SERVICE, aggregaties of VALUES), wat complexe strategieën vereist.
3. Metadata-heterogeniteit: Er ontbreekt een gestandaardiseerde manier om endpoint-metadaten (schema's, statistieken) te vinden, wat efficiënte bronselectie bemoeilijkt.
4. Latentie en beschikbaarheid: Endpoints kunnen traag zijn, time-outs genereren of tijdelijk onbereikbaar zijn, wat de planning van queries beïnvloedt.
5. Vraagformulering: Het vertalen van natuurlijke taal naar correcte, federatieve SPARQL-query's is moeilijk, vooral omdat agenten de juiste endpoints en schema's niet van tevoren kennen.

Bestaande benchmarks en tools focussen vaak op enkele endpoints of vereisen handmatige query-opbouw, waardoor ze niet geschikt zijn voor autonome, agent-gebaseerde federatieve zoekopdrachten.

2. Methodologie

De auteurs presenteren een nieuwe aanpak die LLM-agenten combineert met federatieve SPARQL-querying via MCP. De methodologie bestaat uit drie pijlers:

A. SPARQL-MCP Server

De auteurs hebben een SPARQL-MCP-server ontwikkeld die LLM-agenten in staat stelt om federatieve queries uit te voeren.

• Architectuur: De server fungeert als tussenlaag die communicatie met externe SPARQL-endpoints regelt.
• Tools: De server biedt drie kernfuncties aan de agent:
  1. run_sparql_query: Voert queries uit. Als een query meerdere SERVICE-operatoren bevat, worden deze door een lokale federatie-engine (proxy) opgesplitst en naar de juiste remote endpoints gestuurd.
  2. get_void_descriptions: Haalt VoID (Vocabulary of Interlinked Datasets) metadata op om schema's en statistieken te exploreren. Dit gebeurt via een stapsgewijze aanpak (cache check, directe ophaal, of reconstructie via self-descriptive queries).
  3. Endpoint Discovery: Agents moeten zelf relevante endpoints vinden en selecteren op basis van de vraag.
• Proxy-mechanisme: Om blokkering van SERVICE-calls door grote endpoints (zoals Wikidata) te voorkomen, worden multi-endpoint queries omgeleid naar een federatie-engine die de query optimaliseert en deelt.

B. FKGQA Benchmark (Federated Knowledge Graph Question Answering)

Er bestaat geen bestaande benchmark voor federatieve KGQA. De auteurs hebben de bestaande Spider4SPARQL-benchmark uitgebreid tot een federatieve versie:

• Data-partitionering: De 19 RDF-datasets uit Spider4SPARQL zijn opgesplitst in 118 shards (endpoints) met behulp van drie strategieën:
  • Class Sharding: Gebaseerd op het type van het onderwerp.
  • Predicate (Vertical) Sharding: Gebaseerd op de eigenschap (predicate).
  • Horizontal Sharding: Gebaseerd op een hash van het onderwerp binnen een klasse.
• Doel: Elke query vereist nu federatie (het combineren van data uit meerdere shards) om het juiste antwoord te krijgen. De benchmark bevat 1.034 natuurlijke taalvragen die nu moeten worden opgelost door een agent die zelf de juiste endpoints moet ontdekken en de query moet samenstellen.

C. Evaluatie-Setup

De auteurs hebben een evaluatie uitgevoerd met een ReAct-stijl agent (Reason + Act) die wisselt tussen LLM-calls en tool-calls.

• Modellen: Vergelijking tussen een krachtig model (GPT-5.2) en een compact, open-source model (Qwen3-8B).
• Scenario's:
  1. Baseline: Agent kent alleen de URL's en heeft toegang tot de query-tool.
  2. High-level: Agent krijgt URL's + korte, natuurlijke taal-beschrijvingen van de endpoints.
  3. VoID-tool: Agent heeft toegang tot gedetailleerde schema-metadaten (VoID).
• Metingen: Syntactische validiteit van queries, nauwkeurigheid van het eindresultaat, endpoint-selectie (worden de juiste bronnen geraadpleegd?) en gedragspatronen (exploratie vs. brute force).

3. Belangrijkste Bijdragen

1. Concept "Agentic SPARQL": Definitie en implementatie van een kader waarin LLM-agenten autonoom federatieve SPARQL-query's kunnen ontdekken, formuleren en uitvoeren via MCP.
2. SPARQL-MCP Server: Een nieuwe open-source server die federatie, endpoint-discovery en schema-exploratie mogelijk maakt voor LLM-agenten.
3. FKGQA Benchmark: De eerste uitgebreide benchmark voor het evalueren van agenten in een federatieve omgeving, gebaseerd op een geavanceerde partitionering van bestaande datasets.
4. Gedetailleerde Evaluatie: Een omvangrijke studie met bijna 6.000 agent-runnen die inzicht geeft in de prestaties van verschillende LLM-groottes en architecturale keuzes.

4. Resultaten

De evaluatie leverde de volgende inzichten op:

• Prestaties per Model:

  • GPT-5.2: Bereikte een nauwkeurigheid van 42,1% - 45,4%. Dit is vergelijkbaar met de state-of-the-art resultaten (45%) op de originele, niet-federatieve Spider4SPARQL-benchmark. Dit bewijst dat federatie haalbaar is voor krachtige modellen.
  • Qwen3-8B: Bereikte een veel lagere nauwkeurigheid van 13,1% - 13,8% en had een hoge syntactische foutenrate (41,5% - 61,1% van de queries waren ongeldig). Dit toont aan dat kleinere modellen nog niet klaar zijn voor productie in deze complexe omgeving.

• Impact van Metadata:

  • High-level beschrijvingen (korte zinnen over wat een endpoint bevat) bleken effectiever dan gedetailleerde VoID-metadaten voor het sturen van de bronselectie.
  • Voor GPT-5.2 verminderde het gebruik van high-level beschrijvingen het aantal "triviale queries" (waarbij alle endpoints onnodig worden geraadpleegd) van 90,2% naar 11,0%, terwijl de nauwkeurigheid steeg.

• Gedragspatronen:

  • GPT-5.2 toonde een exploratieve strategie: het wisselde vaak van endpoints en leerde geleidelijk welke bronnen relevant waren.
  • Qwen3-8B toonde geen exploratie: het raadpleegde vaak alle endpoints simultaan (brute force), wat inefficiënt is en leidt tot meer fouten.

• Syntactische Validiteit:

  • GPT-5.2 genereerde bijna altijd syntactisch correcte SPARQL-query's (97-98%), terwijl Qwen3-8B veelvuldig faalde in het correct opbouwen van prefixes, haakjes en SERVICE-clausules.

5. Betekenis en Conclusie

Dit artikel is een belangrijke stap in de richting van autonome data-integratie. Het bewijst dat:

1. Federatieve querying met LLM-agenten haalbaar is, mits er gebruik wordt gemaakt van voldoende krachtige modellen.
2. MCP een effectief protocol is om complexe data-taken (zoals federatie) te abstraheren voor LLMs.
3. Kwaliteit van metadata belangrijk is, maar dat simpelere beschrijvingen soms beter werken dan complexe technische schema's voor agenten.
4. Er nog een grote kloof bestaat tussen grote en kleine modellen; voor praktische toepassing zijn modellen nodig die specifiek getraind zijn op SPARQL of zeer grote contextvensters hebben.

De auteurs concluderen dat toekomstig werk zich moet richten op het verbeteren van SPARQL-specifieke fine-tuning voor kleinere modellen, het optimaliseren van metadata-presentatie voor agenten, en het opzetten van betrouwbare registers voor endpoint-beschikbaarheid en kwaliteit.