Technisches Resümee: Reduzierung von Halluzinationen bei der LLM-basierten SPARQL-Abfragegenerierung durch Post-Generation Memory Retrieval

Problemstellung

Die Generierung von SPARQL-Abfragen aus natürlichen Sprachfragen ist essenziell für den Abruf strukturierter Daten aus Wissensgraphen (Knowledge Graphs, KGs). Obwohl Large Language Models (LLMs) für diese Aufgabe eingesetzt werden, stehen sie vor erheblichen Zuverlässigkeitsproblemen. Insbesondere halluzinieren LLMs häufig Uniform Resource Identifiers (URIs), wenn sie KG-Elemente generieren. Da moderne KGs (z. B. Wikidata) opake, nicht-semantische Identifikatoren verwenden (z. B. „Q937“ für Albert Einstein) statt semantischer Strings, müssen LLMs sich rein auf ihr internes parametrisches Gedächtnis verlassen, um Konzepte auf diese IDs abzubilden. Diese Abhängigkeit führt zur Generierung plausibel erscheinender, aber nicht existenter URIs, was die Genauigkeit und Sicherheit von Informationsabrufsystemen gefährdet.

Bestehende Lösungen wie Retrieval-Augmented Generation (RAG) versuchen dies zu mildern, indem sie Kontext vor der Generierung bereitstellen. RAG kann Halluzinationen jedoch oft nicht eliminieren, da das LLM nicht strikt an den abgerufenen Kontext gebunden ist und dennoch fälschlicherweise Identifikatoren basierend auf seinem internen Wissen generieren kann. Darüber hinaus erfordern viele bestehende SPARQL-Generierungsansätze „getaggte“ Trainingsdaten (bei denen URIs vorab mit Fragen verknüpft sind), was arbeitsintensiv und für den realen Einsatz unpraktisch ist.

Methodik: PGMR (Post-Generation Memory Retrieval)

Die Autoren schlagen PGMR vor, ein modulares Framework, das die Generierung der SPARQL-Abfragestruktur von der Auflösung spezifischer KG-Identifikatoren entkoppelt. Die zentrale Innovation ist die zeitliche Neupositionierung der Retrieval-Phase: Anstatt den Kontext vor der Generierung abzurufen (wie bei RAG), ruft PGMR Identifikatoren erst nachdem die Abfragestruktur gebildet wurde, ab.

1. Generierung der intermediären Abfrage

Das LLM wird darauf trainiert oder angewiesen, eine intermediäre SPARQL-PGMR-Abfrage zu generieren. In diesem Format:

• Wird die syntaktische Struktur der SPARQL-Abfrage beibehalten.
• Werden alle spezifischen URIs (Entitäten und Relationen) durch Platzhalter in natürlicher Sprache ersetzt.
• Begleitet eine Mapping-Block die Abfrage, der jeden Platzhalter mit einem kanonischen Label und einer disambiguierenden Beschreibung definiert (z. B. entity0 = [ENT] Hamburg [/ENT] Stadt und Bundesstaat im Norden Deutschlands).

Dieses Design ermöglicht es dem LLM, sich auf die syntaktische Korrektheit und die logische Struktur zu konzentrieren, ohne die spezifischen opaken IDs aus seinem parametrischen Gedächtnis abrufen zu müssen.

2. Post-Generation Retrieval

Ein nicht-parametrisches Gedächtnismodul, bestehend aus Wörterbüchern für Entitäten und Relationen, speichert Embeddings von URI-Labels und deren Beschreibungen gepaart mit den tatsächlichen URIs.

• Retrieval-Prozess: Nachdem das LLM die intermediäre Abfrage generiert hat, verarbeitet ein Retriever (unter Verwendung von BGE als Encoder und FAISS für die Ähnlichkeitssuche) die Platzhalter in natürlicher Sprache.
• Auflösung: Der Retriever gleicht das Label und die Beschreibung des Platzhalters mit dem Gedächtnis ab, um die ähnlichste URI zu finden.
• Finaler Output: Die abgerufenen URIs ersetzen die Platzhalter, was zu einer finalen, ausführbaren SPARQL-Abfrage führt.

3. Sicherheitsmechanismus

PGMR beinhaltet einen Retrieval-Konfidenzschwellenwert. Wenn der Ähnlichkeitswert der am höchsten bewerteten abgerufenen URI für einen Platzhalter unter einen festgelegten Schwellenwert fällt, ist das System so konzipiert, dass es die Abfrage ablehnt, anstatt eine falsche ID zu halluzinieren. Dieser Mechanismus ermöglicht es dem System, Unsicherheit zu signalisieren, wenn Wissen fehlt.

Zentrale Beiträge

1. Neuartige Architektur: PGMR trennt explizit die Generierung der SPARQL-Syntax (LLM) von der Identifikator-Verankerung (nicht-parametrischer Retriever) und adresst damit die Ursache von URI-Halluzinationen.
2. Transformation von Trainingsdaten: Die Autoren führen einen systematischen Prozess ein, um Standard-Frage-SPARQL-Paare in das PGMR-Intermediärformat zu konvertieren, was ein Training ohne die Notwendigkeit von vorab getaggten URI-Daten in den Eingabefragen ermöglicht.
3. Nahezu vollständige Eliminierung von Halluzinationen: Das Framework erreicht eine nahezu Nullrate an URI-Halluzinationen über verschiedene Modelle und Datensätze hinweg.
4. Robustheit und Sicherheit: Das System demonstriert die Fähigkeit, unbeantwortbare Abfragen über Konfidenzschwellenwerte korrekt abzulehnen, und behält die Leistung auch bei der Erweiterung des Gedächtnisses um irrelevante, ablenkende Entitäten bei.

Experimentelle Ergebnisse

Die Autoren evaluierten PGMR auf LCQUAD 2.0 (sowohl Original als auch „Unknown URI“-Splits) und QALD-10, unter Verwendung von Modellen von T5-Small bis Llama 3.1 8B und GPT-4o.

• Abfragerekorrektheit (SQM): PGMR übertraf sowohl die direkte Generierung als auch die RAG-Baselines konsistent. Auf LCQUAD 2.0 (Original-Split) verbesserte es die Semantic Query Match (SQM) im Durchschnitt um etwa 61 % gegenüber der direkten Generierung und um 16 % gegenüber RAG.
• Reduzierung von Halluzinationen: Während die direkte Generierung in ~75 % der Fälle URIs halluzinierte und RAG dies auf ~8,7 % reduzierte, erreichte PGMR eine nahezu vollständige Eliminierung von URI-Halluzinationen (0,0 % bis 0,01 % in den meisten Konfigurationen).
• Out-of-Distribution Robustheit: Im „Unknown URI“-Split (in dem Testabfragen URIs enthalten, die während des Trainings nicht gesehen wurden) behielt PGMR eine hohe Leistung bei und verbesserte die SQM um 73 % gegenüber der direkten Generierung.
• Skalierung des Gedächtnisses: Als das Entitätengedächtnis um das 9-fache mit irrelevanten Distraktoren erweitert wurde, zeigte PGMR nur eine minimale Leistungsminderung (nur ~4 % Abfall in der SQM), was die Resilienz des Retrievers gegenüber Rauschen beweist.
• Ableistungsgenauigkeit (Refusal Accuracy): Durch Anpassung des Konfidenzschwellenwerts konnte das Modell effektiv die Antwort auf Abfragen verweigern, denen es im Gedächtnis an Unterstützung mangelte, wodurch der Trade-off zwischen Ableistungsgenauigkeit und Beantwortbarkeit ausbalanciert wurde.

Bedeutung und Ansprüche

Das Paper behauptet, dass PGMR eine robuste Lösung für die Zuverlässigkeitskrise in der LLM-basierten KGQA bietet. Durch die Verschiebung der Identifikator-Verankerung auf einen Post-Generation-Retrieval-Schritt stellt das Framework sicher, dass alle generierten URIs strikt mit den vorhandenen Elementen des Wissensgraphen übereinstimmen.

Die Autoren betonen, dass dieser Ansatz:

• Die Sicherheit erhöht: Die Fähigkeit, Abfragen basierend auf der Retrieval-Konfidenz abzulehnen, verhindert, dass das System Antworten in kritischen Anwendungen fabriziert.
• Die Generalisierung verbessert: Es funktioniert selbst mit ungetaggten Daten und Out-of-Distribution-URIs, was es praktikabler für den realen Einsatz macht als Methoden, die umfangreiches Tagging erfordern.
• Effizienz beibehält: Der Rechenaufwand für den Retrieval-Schritt ist im Vergleich zur Basis-Generationszeit vernachlässigbar, da der Retrieval-Prozess hocheffizient ist.

Die Autoren merken bescheiden an, dass während PGMR das URI-Halluzinationsproblem löst, die Gesamtleistung immer noch durch die Fähigkeit des LLMs begrenzt ist, korrekte SPARQL-Abfragestrukturen zu konstruieren, insbesondere bei hochkomplexen Abfragen wie in Datensätzen wie QALD-10. Sie schlagen vor, dass zukünftige Arbeiten eine Kombination von PGMR mit leistungsfähigeren LLMs oder die Integration von Retrieval-Schritten sowohl vor als auch nach der Generierung beinhalten könnten.