💬 NLP

Detecting Hallucinations for Large Language Model-based Knowledge Graph Reasoning

Dieses Paper stellt LUCID vor, eine neuartige Methode zur Halluzinationserkennung für das auf Large Language Models basierende Knowledge-Graph-Reasoning, die durch die gemeinsame Nutzung von LLM-Attention-Scores, semantischen Ähnlichkeiten und strukturellen Graphinformationen mittels eines Graph Neural Networks eine State-of-the-Art-Leistung erzielt.

Ursprüngliche Autoren: Xinyan Zhu, Yaoqi Liu, Yue Gao, Huadong Ma, Cheng Yang, Chuan Shi

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinyan Zhu, Yaoqi Liu, Yue Gao, Huadong Ma, Cheng Yang, Chuan Shi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen sehr intelligenten, belesenen Assistenten (das Large Language Model oder LLM) ein, um eine komplexe Frage zu beantworten. Um sicherzustellen, dass Ihr Assistent nicht einfach Dinge erfindet, geben Sie ihm einen massiven, organisierten Aktenschrank voller Fakten namens Knowledge Graph (KG). Sie sagen dem Assistenten: „Schau in diese spezifischen Ordner und sag mir, was du findest.“

Das Problem? Selbst wenn der Aktenschrank direkt vor ihm steht, lässt sich Ihr Assistent manchmal ablenken, tagträumt oder erfindet selbstbewusst einen Fakt, der nicht in den Ordnern steht. Das nennt man eine Halluzination. In der realen Welt, wenn Ihr Assistent einem Arzt oder Anwalt hilft, kann das Erfinden eines Fakts katastrophale Folgen haben.

Das von Ihnen bereitgestellte Paper stellt ein neues Werkzeug namens LUCID vor (was für halLUcination deteCtIon method for LLM-based knowleDge graph reasoning steht). Betrachten Sie LUCID als einen extrem aufmerksamen Sicherheitswachmann, der Ihren Assistenten bei der Arbeit beobachtet.

So funktioniert LUCID, aufgeschlüsselt in einfache Analogien:

1. Das Problem: Der „tagträumende“ Assistent

Die Autoren fanden heraus, dass die Assistenten selbst dann, wenn sie die korrekten Fakten vor sich haben, in etwa 29,65 % der Fälle Antworten erfinden.

Das Beispiel: Stellen Sie sich vor, im Aktenschrank steht deutlich: „PLS Inc. sponsert 'MarketMakers'“. Der Assistent sieht jedoch einen Ordner namens „Dealmakers Expo“ (der ähnlich klingt) und sagt selbstbewusst: „PLS Inc. sponsert Dealmakers Expo.“ Der Assistent halluziniert, weil er ein Wort gewählt hat, das zwar richtig klang, aber nicht das war, was tatsächlich dort stand.

2. Die Lösung: Der Sicherheitswachmann mit drei Augen (LUCID)

Frühere Sicherheitswachmänner haben nur zwei Dinge geprüft:

Der „Interner Zustand“-Wächter: Wirkte der Assistent nervös oder unsicher? (Dies übersieht die Tatsache, dass der Assistent auch selbstbewusst falsch liegen kann).
Der „Textabgleich“-Wächter: Passte die Antwort zu den Wörtern im Aktenschrank? (Dies übersieht die Struktur der Fakten).

LUCID ist anders. Es fungiert wie ein Sicherheitswachmann mit drei Augen, der drei spezifische Dinge gleichzeitig prüft:

Auge 1: Der „Fokus“-Tracker (LLM Attention)
Stellen Sie sich vor, der Assistent hat einen Laserpointer. LUCID beobachtet, wohin der Laserpointer leuchtet, während der Assist die Antwort schreibt.
- Der Trick: Wenn der Assistent über „PLS Inc.“ spricht, sein Laserpointer aber über dem falschen Ordner („Dealmakers“) statt über dem richtigen („MarketMakers“) schwebt, weiß LUCID, dass etwas nicht stimmt. Es misst exakt, auf welche Teile des Aktenschranks der Assistent tatsächlich „schaut“.
Auge 2: Der „Bedeutungs“-Prüfer (KG Semantics)
Dieses Auge prüft, ob die Wörter, die der Assistent verwendet, im Kontext der Frage Sinn ergeben. Es ist wie ein Übersetzer, der prüft, ob die Beziehung zwischen zwei Fakten logisch ist.
Auge 3: Der „Karten“-Leser (KG Structure)
Dies ist der wichtigste Teil. Der Aktenschrank ist nicht nur eine Liste; er ist ein Geflecht von Verbindungen. LUCID betrachtet die Form dieser Verbindungen.
- Die Analogie: Wenn die Fakten wie ein Spinnennetz miteinander verbunden sind, prüft LUCID, ob der Assistent dem Netz korrekt folgt. Wenn der Assistent zu einem Schluss kommt, der das Muster des Netzes bricht, bemerkt LUCend dies sofort.

3. Wie es lernt (Das Training)

LUCID rät nicht einfach; es wurde auf einem Graph Neural Network (GNN) trainiert.

Denken Sie an einen Detektiv, der tausende von Fällen studiert hat, in denen der Assistent es richtig gemacht hat, und tausende, in denen er es falsch gemacht hat.
Der Detektiv hat gelernt, das spezifische „Muster“ einer Halluzination zu erkennen: Wenn der Laserpointer auf dem falschen Ordner liegt, die Bedeutung leicht abweicht und das Geflecht der Fakten unterbrochen ist.
Einmal trainiert, kann LUCID auf eine neue Antwort schauen und sagen: „Es besteht eine 80-prozentige Wahrscheinlichkeit, dass dies eine Halluzination ist.“

4. Die Ergebnisse: Der Wachmann funktioniert

Die Autoren haben LUCID gegen 15 andere Sicherheitswachmänner (bestehende Methoden) unter Verwendung von neun verschiedenen Datensätzen (verschiedene Arten von Aktenschränken und Fragen) getestet.

Die Punktzahl: LUCID hat jedes Mal gewonnen und alle anderen Methoden geschlagen. Es war am genauesten darin, das „Tagträumen“ zu entlarven.
Der praktische Gewinn: Das Paper zeigt einen cleveren Trick, wie man mit LUCID Geld spart.
- Stellen Sie sich vor, Sie haben einen günstigen, schnellen Assistenten (Qwen2.5-7B) und einen teuren, superintelligenten Assistenten (Qwen3-235B).
- Sie lassen den günstigen Assistenten die gesamte Arbeit erledigen.
- LUCID beobachtet den günstigen Assistenten. Wenn LUCID sagt: „Hey, diese Antwort sieht nach einer Halluzination aus!“, senden Sie nur diese spezifische Frage an den teuren Assistenten, um ihn zur Doppelprüfung zu nutzen.
- Das Ergebnis: Sie erhalten fast die gleiche Genauigkeit, als hätten Sie den teuren Assistenten für alles eingesetzt, aber Sie sparen 55 % der Kosten, weil Sie nur für die teuren Kontrollen bezahlen, wenn sie tatsächlich notwendig sind.

Zusammenfassung

Kurz gesagt: Dieses Paper besagt: „LLMs sind großartig darin, Wissensgraphen zu nutzen, aber sie lügen manchmal trotzdem. Wir haben LUCID entwickelt, ein Werkzeug, das beobachtet, wie die KI auf die Fakten schaut, was diese Fakten bedeuten und wie sie miteinander verbunden sind. Durch die Kombination dieser drei Ansichten kann LUCID Lügen besser entlarven als jedes andere Werkzeug, das wir haben, und es kann uns sogar helfen, Geld zu sparen, indem wir die ‚Experten‘ nur dann rufen, wenn die ‚Laien‘ kurz davor sind, einen Fehler zu machen.“

Technisches Resümee: LUCID – Erkennung von Halluzinationen bei LLM-basiertem Knowledge Graph Reasoning

1. Problemstellung

Obwohl Large Language Models (LLMs), die in Knowledge Graphs (KGs) integriert sind, fortgeschrittene Reasoning-Aufgaben wie die Beantwortung von Fragen (QA) und Entscheidungsunterstützung vorantreiben, bleiben sie anfällig für Halluzinationen. Selbst wenn relevante KG-Tripel abgerufen und in Prompts integriert werden, können LLMs faktisch falsche Antworten generieren, die den abgerufenen Belegen widersprechen.

Bestehende Methoden zur Halluzinationserkennung stehen in diesem spezifischen Bereich vor erheblichen Einschränkungen:

Allgemeine Methoden (z. B. EigenScore, Perplexity) konzentrieren sich auf interne LLM-Zustände, ignorieren jedoch den externen KG-Kontext.
RAG-spezifische Methoden (z. B. RAGAs, Trulens) verifizieren die Konsistenz zwischen Antworten und abgerufenem Text, vernachlässigen aber die der KGs inhärente strukturelle Information.
Lücke: Es gibt bisher keine Methode, die LLM-interne Aufmerksamkeit, KG-Semantik und die strukturelle Topologie eines KGs gemeinsam nutzt, um Halluzinationen in LLM-KG-Reasoning-Frameworks zu erkennen.

Die Autoren quantifizieren dieses Problem durch die manuelle Annotation von Antworten aus drei Frameworks (Readi, ToG, StructGPT) über drei Datensätze (GrailQA, WebQSP, QALD-10) hinweg, wobei eine durchschnittliche Halluzinationsrate von 29,65 % ermittelt wurde.

2. Methodik: LUCID

Das Paper schlägt LUCID (halLUcination deteCtIon method for LLM-based knowleDge graph reasoning) vor, die erste Methode, die speziell für dieses Szenario entwickelt wurde. LUCID arbeitet durch die Fusion von drei unterschiedlichen Informationsquellen in ein Graph Neural Network (GNN), um die Wahrscheinlichkeit einer Halluzination vorherzusagen.

2.1 Merkmalsextraktion

Die Methode verarbeitet die Interaktion zwischen dem LLM und dem abgerufenen KG-Subgraphen ( $G = (V, E)$ ) durch drei Stufen:

Interne LLM-Zustandsinformationen (Attention Scores):
- Das Modell extrahiert Attention Scores aus der Multi-Layer-Multi-Head-Architektur des LLMs während der Antwortgenerierung.
- Es berechnet den durchschnittlichen Attention Score für jedes Antwort-Token über alle Token hinweg, die zu KG-Knoten (Entitäten) und Kanten (Relationen) gehören.
- Diese werden zu zwei mittleren Attention-Matrizen aggregiert: $M_e$ (für Knoten) und $M_r$ (für Kanten) über alle Layer und Heads hinweg.
KG-Semantische Information:
- Um aufgabenrelevante von aufgabenirrelevanten Kanten zu unterscheiden, berechnet die Methode die semantische Ähnlichkeit zwischen der Anfrage (Query) und den Relationen (Kanten) im KG.
- Unter Verwendung eines vortrainierten Sprachmodells (all-MiniLM-L6-v2) werden Embeddings für die Query und die Relationen generiert.
- Die Cosinus-Ähnlichkeitswerte $s(r, Q)$ werden berechnet. Hinweis: Die semantische Relevanz wird für Relationen berechnet, nicht für Entitäten, da die Oberflächenformen von Entitäten oft mehrdeutig sind.
Merkmalskonstruktion:
- Knotenmerkmale ( $x_e$ ): Gebildet durch das Flattening der Knoten-Attention-Matrix $M_e$ .
- Kantenmerkmale ( $x_r$ ): Gebildet durch die Konkatenierung der geflatteten Kanten-Attention-Matrix $M_r$ mit dem semantischen Ähnlichkeitswert $s(r, Q)$ .

2.2 Detektionsmodell (GNN)

Der angereicherte Subgraph, ausgestattet mit den konstruierten Knoten- und Kantenmerkmalen, wird in ein Graph Isomorphism Network mit Edge-Features (GINE) eingespeist.
GINE wurde gegenüber dem Standard-GIN gewählt, da es Kantenmerkmale explizit in den Message-Passing-Mechanismus integriert, wodurch es die reichen strukturellen und semantischen Attribute des KG nutzen kann.
Das GNN aggregiert Graphinformationen durch $K$ Layer von Message Passing. Eine Graph-Repräsentation wird durch die Summation der Knotenmerkmale erhalten, die dann durch einen Klassifikator (MLP + Sigmoid) geleitet wird, um die Wahrscheinlichkeit einer Halluzination auszugeben.
Der Detektionsschwellenwert wird durch Maximierung des geometrischen Mittels von Sensitivität und Spezifität auf der ROC-Kurve bestimmt.

3. Kernbeiträge

Problemidentifikation & Benchmarking: Die Autoren sind die Ersten, die Halluzinationen in LLM-basierten KG-Reasoning-Frameworks systematisch identifiziert und quantifiziert haben. Sie konstruierten manuell annotierte Benchmark-Datensätze über drei Frameworks und drei QA-Datensätze hinweg und etablierten eine Baseline-Halluzinationsrate von 29,65 %.
Neuartige Methode (LUCID): Sie schlagen LUCID vor, ein Detektions-Framework, das einzigartig integriert:
- Den internen Zustand des LLM (Attention-Mechanismen).
- KG-semantische Informationen (Relations-Query-Ähnlichkeit).
- KG-strukturelle Informationen (Graph-Topologie).
State-of-the-Art Performance: Umfangreiche Experimente zeigen, dass LUCID 15 Baselines (einschließlich allgemeiner Detektionsmethoden und RAG-spezifischer Tools) über alle getesteten Frameworks und Datensätze hinweg übertrifft.
Praktischer Nutzen: Das Paper zeigt, dass die Halluzinationswahrscheinlichkeiten von LUCID genutzt werden können, um QA-Strategien zu verfeinern, was die Inferenzkosten signifikant senkt und gleichzeitig eine hohe Genauigkeit beibehält.

4. Experimentelle Ergebnisse

Die Experimente wurden auf GrailQA, WebQSP und QALD-10 unter Verwendung von drei Reasoning-Frameworks durchgeführt: Readi, ToG und StructGPT.

Performance: LUCID erreichte auf allen Datensätzen eine State-of-the-Art (SOTA) Performance.
- Im Durchschnitt übertraf es die beste Baseline (SelfCheckGPT) um 6,76 % und REDEEP (chunk) um 5,48 % in Bezug auf die durchschnittliche Metrik (AVG von ACC, AUC, PCC).
- Die signifikantesten Gewinne zeigten sich beim Readi-Framework (+2,81 % durchschnittlicher Gewinn), was auf die dichteren KG-Subgraphen von Readi zurückzuführen ist, die besser zu LUCIDs Message-Passing-Mechanismus passen.
- Auf WebQSP erzielte LUCID einen durchschnittlichen Gewinn von +2,57 %, indem es effektiv mit relationszentrierten Fragen umging, bei denen Halluzinationen oft aus einer fehlerhaften Relationswahl resultieren.
Kosteneffizienz-Anwendung: Eine „Mixed“-Strategie wurde getestet, bei der Qwen2.5-7B initiale Antworten generiert und LUCID Halluzinationen mit hoher Wahrscheinlichkeit für eine Regeneration durch ein größeres Modell (Qwen3-235B) markiert.
- Dieser Ansatz erreichte eine Genauigkeit, die vergleichbar mit der ausschließlichen Nutzung des großen Modells für alle Abfragen ist (Differenz von nur 1,18 %).
- Er reduzierte die monetären Kosten im Vergleich zur exklusiven Nutzung des großen Modells um durchschnittlich 55,4 %.
Ablationsstudien:
- Merkmale: Das Entfernen der semantischen Ähnlichkeit oder das Ersetzen der Attention-Matrizen durch zufällige/Hidden-Layer-Scores verschlechterte die Performance erheblich, was die Notwendigkeit sowohl der Attention- als auch der semantischen Signale bestätigt.
- Modellarchitektur: GINE übertraf GCN, GAT und MLP, was die Bedeutung der expliziten Modellierung von Kantenmerkmalen und der Graph-Topologie validiert.
- Hyperparameter: Die optimale Performance wurde mit 2 GINE-Layern, 512 Hidden Channels und einer Lernrate von $1 \times 10^{-3}$ erreicht.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass LUCID eine kritische Lücke in der Zuverlässigkeit von LLM-basiertem KG-Reasoning schließt. Indem es über oberflächliche Konsistenzprüfungen hinausgeht und die strukturelle und semantische Ausrichtung zwischen der Aufmerksamkeit des LLM und dem KG analysiert, bietet LUCID einen robusteren Mechanismus zur Erkennung von Fehlinformationen.

Die Autoren positionieren LUCID nicht nur als Detektionswerkzeug, sondern als eine fundamentale Komponente zur Verbesserung nachgelagerter Anwendungen. Die Fähigkeit, Halluzinationen zu filtern, ermöglicht:

Zuverlässigere Entscheidungsunterstützung und automatisierte Wissensentdeckung.
Kosteneffiziente Deployment-Strategien (Einsatz kleinerer Modelle mit selektiver Verfeinerung).
Eine notwendige Basis für zukünftige Verbesserungen der LLM-KG-Integration.

Das Werk schließt mit dem Hinweis, dass LUCID zwar effektiv ist, sich die zukünftige Arbeit jedoch auf die feingranulare Halluzinationsattribution für eine bessere Interpretierbarkeit sowie auf die Erweiterung der Evaluierung auf mehrsprachige und domänenübergreifende Umgebungen konzentrieren wird.