Agentic SPARQL: Evaluating SPARQL-MCP-powered Intelligent Agents on the Federated KGQA Benchmark

Diese Arbeit untersucht die Fähigkeit von SPARQL-MCP-basierten intelligenten Agenten, durch die Erweiterung eines bestehenden Benchmark-Datensatzes und den Vergleich verschiedener Architekturen federiertes Abfragen über verteilte Wissensgraphen zu ermöglichen.

Das Wesentliche

🕵️‍♂️ Die Reise der digitalen Detektive: Wie KI-Agenten das große Daten-Netzwerk durchsuchen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber manchmal etwas verwirrten Assistenten (eine KI oder einen Agenten). Dieser Assistent ist super darin, Fragen zu beantworten und Pläne zu schmieden. Aber er hat ein Problem: Er kennt die Welt nur aus seinem eigenen Gedächtnis und kann nicht selbstständig in Bibliotheken, Archiven oder Datenbanken nachschauen.

Das Ziel dieses Papers ist es, diesem Assistenten einen Schlüsselbund zu geben, damit er nicht nur wissen, sondern auch suchen kann.

1. Das Problem: Der verschlossene Schrank (Die Daten)

Die Welt ist voller Daten, die in riesigen, verteilten Schränken liegen. Diese Schränke sind die SPARQL-Endpunkte (Datenbanken für vernetzte Informationen).

• Das Problem: Jeder Schrank hat eine andere Art, den Schlüssel zu drehen (unterschiedliche Schnittstellen). Manche sind offen, manche verschlossen, manche antworten nur langsam oder gar nicht.
• Die Herausforderung: Wenn Sie eine Frage haben, die Informationen aus mehreren dieser Schränke gleichzeitig braucht (z. B. "Zeig mir alle Bücher von Autor X, die auch in Datenbank Y gelistet sind"), muss der Assistent wissen:
  1. Welche Schränke gibt es?
  2. Welcher Schlüssel passt wohin?
  3. Wie fragt man sie so, dass sie nicht zusammenbrechen?

2. Die Lösung: Der "MCP"-Schlüsselbund

Die Forscher haben ein neues Werkzeug namens MCP (Model Context Protocol) entwickelt.

• Die Analogie: Stellen Sie sich MCP wie einen universellen Schlüsselbund vor, den der KI-Assistent trägt. Mit diesem Schlüsselbund kann der Assistent nicht nur reden, sondern auch Türen öffnen, Werkzeuge benutzen und Daten aus den Schränken holen.
• Die "Agente"-KI: Der Assistent ist jetzt "agentic". Das bedeutet, er denkt nach: "Ich brauche Daten von Schrank A und Schrank B. Ich hole erst die Liste der Schränke, prüfe, was sie enthalten, und stelle dann eine Frage, die beide verbindet."

3. Der neue Test: Das große Rätsel-Spiel (FKGQA Benchmark)

Um zu testen, ob dieser Assistent wirklich klug ist, haben die Forscher ein neues Rätsel-Spiel entwickelt.

• Das alte Spiel: Bisher mussten die Assistenten nur in einem Schrank suchen. Das war wie ein einfaches Kreuzworträtsel.
• Das neue Spiel (FKGQA): Jetzt müssen die Assistenten in vielen Schränken gleichzeitig suchen und die Puzzleteile zusammenfügen.
• Die Besonderheit: Die Assistenten wissen am Anfang nicht, welche Schränke existieren. Sie müssen selbst herausfinden, wo die relevanten Daten liegen (Endpunkt-Entdeckung) und was in ihnen steht (Schema-Erkundung).

4. Was passiert, wenn man die Assistenten testet?

Die Forscher haben zwei Arten von Assistenten getestet:

1. Der Super-Assistent (GPT-5.2): Ein sehr großes, mächtiges KI-Modell.
2. Der Kleine-Assistent (Qwen3-8B): Ein kleineres, kompakteres Modell.

Die Ergebnisse:

• Der Super-Assistent war erstaunlich gut! Er fand fast so oft die richtige Antwort wie die besten menschlichen Experten (ca. 45% Erfolg). Er verhielt sich wie ein erfahrener Detektiv: Er ging von Schrank zu Schrank, prüfte vorsichtig, was drin war, und stellte gezielte Fragen. Er verschwendete keine Zeit.
• Der Kleine-Assistent hatte große Schwierigkeiten. Er verstand die Sprache der Schränke oft nicht (falsche Schlüssel), stellte die Fragen falsch und war oft verwirrt. Er verhielt sich wie ein Paniker, der alle Schränke gleichzeitig auf einmal aufschüttelte, statt gezielt zu suchen.

5. Die überraschende Erkenntnis: Weniger ist mehr

Ein interessanter Fund war, wie die Assistenten die Schränke beschrieben bekamen:

• Option A: Eine riesige, technische Liste mit allen Details (wie ein 50-seitiges Handbuch).
• Option B: Ein einfacher, einzeiliger Hinweis (z. B. "Hier sind Daten über Autos").

Das Ergebnis? Option B war besser! Der Super-Assistent verstand den einfachen Hinweis sofort und suchte gezielt. Die riesige technische Liste verwirrte ihn eher oder führte dazu, dass er unnötig viele Schränke abklapperte.

🎯 Das Fazit in einem Satz

Dieses Papier zeigt, dass wir KI-Assistenten bald so programmieren können, dass sie wie echte Detektive durch das riesige, verteilte Internet der Daten reisen, um komplexe Fragen zu beantworten – aber dafür brauchen wir sehr intelligente Assistenten und klare, einfache Hinweise, keine technischen Handbücher.

Was bedeutet das für die Zukunft?
Es ist ein großer Schritt Richtung einer KI, die nicht nur "halluziniert" (Dinge erfindet), sondern tatsächlich Fakten aus der realen Welt in Echtzeit findet und verbindet. Aber wir müssen noch daran arbeiten, dass auch die kleineren, günstigeren KIs diesen Job gut erledigen können.

Technische Zusammenfassung

1. Problemstellung und Motivation

Das Paper adressiert die Herausforderung, Large Language Models (LLMs) effektiv mit verteilten, federierten Wissensgraphen zu verbinden. Während LLMs durch Protokolle wie den Model Context Protocol (MCP) zunehmend in der Lage sind, externe Tools und Datenquellen zu nutzen, fehlen bisher robuste Ansätze für die agente Federated Knowledge Graph Question Answering (FKGQA).

Die spezifischen Probleme, die gelöst werden sollen, umfassen:

• Heterogenität der Schnittstellen: SPARQL-Endpunkte variieren stark in ihrer Unterstützung von SPARQL 1.1-Features (z. B. SERVICE, VALUES, Aggregationen) und bieten oft nur eingeschränkte Schnittstellen (z. B. reine RDF-Dumps).
• Fehlende Metadaten und Entdeckung: Es gibt keine standardisierten Kataloge für Endpunkt-Entdeckung und Schema-Exploration. Dies führt zu ineffizienter Quellenauswahl und langen Laufzeiten.
• Latenz und Verfügbarkeit: Endpunkte können blockiert sein, hohe Latenzen aufweisen oder timeouts verursachen, was traditionelle „Plan-and-Execute"-Ansätze stört.
• Query-Formulierung: Die Umwandlung natürlicher Sprache in korrekte, federierte SPARQL-Abfragen ist schwierig, da Agenten weder die relevanten Endpunkt-URLs noch die Schemata im Voraus kennen.
• Fehlende Benchmarks: Bisherige Benchmarks für KGQA (Knowledge Graph Question Answering) decken keine federierten Szenarien ab, in denen Agenten Endpunkte selbst entdecken und Abfragen über mehrere Quellen hinweg zusammenstellen müssen.

2. Methodik und Architektur

Die Autoren schlagen einen ganzheitlichen Ansatz vor, der Agentic AI mit SPARQL-Federation über das MCP kombiniert.

A. SPARQL-MCP Server

Es wurde ein neuer SPARQL-MCP-Server entwickelt, der als Schnittstelle zwischen dem LLM-Agenten und den SPARQL-Endpunkten dient. Dieser Server bietet folgende Werkzeuge (Tools):

• run_sparql_query: Führt SPARQL-Abfragen aus. Bei Abfragen mit mehreren SERVICE-Operatoren leitet der Server diese an einen lokalen Federation-Engine-Proxy weiter, der die Abfrage dekomponiert und an die Remote-Endpunkte verteilt. Dies umgeht Blockierungen, die Endpunkte oft bei direkten SERVICE-Aufrufen verhängen.
• get_void_descriptions: Ein Tool zur dynamischen Schema-Exploration. Es versucht, VoID (Vocabulary for Interlinking Datasets)-Beschreibungen der Endpunkte zu laden oder diese bei Bedarf durch selbstbeschreibende SPARQL-Abfragen (nach dem SPORTAL-Ansatz) zu generieren.
• Schema-Exploration: Der Agent kann über diese Tools die Struktur der Endpunkte erkunden, bevor er eine finale Abfrage formuliert.

B. FKGQA Benchmark (Federated KGQA)

Da kein existierender Benchmark für dieses Szenario verfügbar war, wurde dieser erweitert:

• Basis: Erweiterung des Spider4SPARQL-Benchmarks (19 RDF-Datensätze, 1.034 Fragen).
• Partitionierung: Die Datensätze wurden in Shards aufgeteilt, um echte Föderation zu erzwingen. Es wurden drei Strategien angewendet:
  1. Vertikal (Predicate-based): Trennung nach Prädikaten.
  2. Semantisch (Class-based): Trennung nach Klassen (Typen).
  3. Horizontal (Subject-based): Trennung nach Instanzen (z. B. per Hash).
• Ergebnis: 118 Endpunkte wurden erstellt. Die Partitionierung ist so gewählt, dass jede Abfrage theoretisch mehrere Endpunkte kontaktieren muss, um das vollständige Ergebnis zu erhalten.
• Aufgabe: Der Agent muss relevante Endpunkte selbst entdecken, das Schema erkunden und eine korrekte, federierte SPARQL-Abfrage generieren.

C. Evaluierungs-Setup

• Agenten-Architektur: Ein ReAct-style Agent (Reason + Act), der LLM-Aufrufe mit Tool-Aufrufen abwechseln kann.
• Modelle: Vergleich eines leistungsstarken Frontier-Modells (GPT-5.2) und eines kompakten Open-Weight-Modells (Qwen3-8B).
• Szenarien:
  1. Baseline: Nur Endpunkt-URLs bekannt, Tool zum Ausführen von Abfragen.
  2. High-Level: URLs + kurze natürliche Sprachbeschreibungen der Endpunkte.
  3. VoID-Tool: Vollzugriff auf Schema-Exploration und VoID-Metadaten.

3. Wichtige Beiträge

1. Konzept „Agentic SPARQL": Definition und Implementierung eines Rahmens, der LLM-Agenten den Zugriff auf das „Web of Data" via federierter SPARQL-Endpunkte ermöglicht.
2. SPARQL-MCP Server: Eine modulare Implementierung, die Federation, Schema-Exploration und Endpunkt-Entdeckung über MCP standardisiert.
3. FKGQA Benchmark: Der erste Benchmark, der Endpunkt-Entdeckung, Schema-Exploration und Query-Formulierung in einem federierten Setting bewertet.
4. Umfassende Evaluation: Eine Studie mit über 5.800 Agenten-Läufen, die verschiedene Architekturen, Modelle und Informationsgrade vergleicht.

4. Ergebnisse

Die Evaluierung ergab folgende Schlüsselerkenntnisse:

• Modell-Leistung:
  • GPT-5.2 erreichte eine Genauigkeit von 42,1% – 45,4%. Dies ist vergleichbar mit dem State-of-the-Art auf dem ursprünglichen (nicht-federierten) Spider4SPARQL-Benchmark (~45%), trotz der zusätzlichen Komplexität der Federation.
  • Qwen3-8B zeigte deutlich schwächere Leistungen (13,1% – 13,8%), was auf die Notwendigkeit größerer Modelle oder spezifischer Feinabstimmung für SPARQL hinweist.
• Syntax-Korrektheit:
  • GPT-5.2 generierte fast fehlerfreie Abfragen (97–98% syntaktisch korrekt).
  • Qwen3-8B hatte hohe Fehlerquoten (41–61% korrekt), oft aufgrund von Prefix-Problemen oder falscher SERVICE-Syntax.
• Einfluss von Metadaten:
  • Überraschenderweise waren kurze, natürliche Sprachbeschreibungen der Endpunkte effektiver als detaillierte VoID-Metadaten.
  • Bei GPT-5.2 reduzierte die Nutzung von High-Level-Beschreibungen die Anzahl der „trivialen Abfragen" (die unnötig alle Endpunkte abfragen) drastisch von 90,2% auf 11,0% und verbesserte die Genauigkeit.
  • Der Zugriff auf VoID-Tools führte nicht zu einer signifikanten Verbesserung der Genauigkeit, sondern erhöhte oft nur die Token-Kosten und Laufzeit.
• Verhaltensmuster:
  • GPT-5.2 zeigte eine explorative Strategie: Es wechselte häufig Endpunkte, minimierte Redundanz und fand effizientere Pfade.
  • Qwen3-8B tendierte dazu, alle Endpunkte gleichzeitig abzufragen (hohe Redundanz), ohne echte Exploration zu betreiben.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass agente SPARQL-Abfragen für leistungsfähige LLMs eine realistische und effektive Methode zur Beantwortung komplexer Fragen über verteilte Wissensgraphen sind.

• Praktische Relevanz: Die Kombination von MCP mit SPARQL-Federation ermöglicht es Agenten, dynamisch auf das „Web of Data" zuzugreifen, ohne dass eine manuelle Integration aller Datenquellen nötig ist.
• Herausforderungen: Die Ergebnisse zeigen, dass kleinere Modelle noch nicht bereit für den produktiven Einsatz in diesem komplexen Szenario sind (Probleme bei Syntax und Planung). Zudem sind traditionelle Optimierungsstrategien (Kostenbewusstsein) in LLMs noch nicht ausreichend ausgeprägt.
• Zukunftsausblick:
  • Notwendigkeit von SPARQL-spezifischem Fine-Tuning für kleinere Modelle.
  • Entwicklung besserer Metadaten-Kataloge (SPARQL-Registries), die Verfügbarkeit und Latenz von Endpunkten vorhersagen.
  • Optimierung der Schema-Exploration, da detaillierte technische Metadaten (VoID) für Agenten möglicherweise weniger hilfreich sind als kontextuelle Beschreibungen.

Zusammenfassend legt dieses Werk den Grundstein für eine neue Generation von KI-Agenten, die nicht nur Text verarbeiten, sondern aktiv und autonom strukturierte Daten im Web abfragen und integrieren können.