💬 NLP

Improving Factuality in LLMs via Inference-Time Knowledge Graph Construction

Dieser Beitrag stellt ein neuartiges Framework vor, das die faktische Genauigkeit von Large Language Models verbessert, indem es während der Inferenz strukturierte Wissensgraphen dynamisch konstruiert und verfeinert, wodurch internes Modellwissen mit externer Retrieval-Funktionalität integriert wird, um die Grenzen unstrukturierter textbasierter Ansätze zu überwinden.

Ursprüngliche Autoren: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr kluge, gut informierte Bibliothekarin (das Large Language Model, oder LLM). Diese Bibliothekarin hat Millionen von Büchern gelesen und kann Ihnen fast alles erzählen. Wie jeder Mensch hat sie jedoch eine Grenze dessen, was sie perfekt im Gedächtnis behalten kann. Manchmal verwechselt sie zwei ähnliche Geschichten, vergisst ein bestimmtes Detail oder erfindet selbstbewusst eine Tatsache, die richtig klingt, aber falsch ist. Dies bezeichnen Forscher als „Halluzination".

Um dies zu beheben, schlagen die Autoren dieses Papiers eine neue Arbeitsweise für die Bibliothekarin vor, die sie „Inference-Time Knowledge Graph Construction" (Wissensgraph-Konstruktion zur Inferenzzeit) nennen.

So funktioniert ihre Methode, aufgeschlüsselt in einfache Schritte unter Verwendung einer Analogie zum Erstellen einer Karte, um einen versteckten Schatz zu finden.

Das Problem: Die „unstrukturierte" Suche

Normalerweise versucht die Bibliothekarin, wenn Sie eine knifflige Frage stellen, die Antwort einfach durch intensives Nachdenken zu finden (wie eine „Chain of Thought"). Oder sie sucht einen Text im Internet auf und liest ihn durch.

Das Problem: Einen langen, chaotischen Textabsatz zu lesen, ist wie der Versuch, eine bestimmte Straße in einer Stadt zu finden, indem man einen Roman über die Stadt liest. Es ist leicht, sich zu verirren, eine Abzweigung zu verpassen oder von irrelevanten Details abgelenkt zu werden. Die Bibliothekarin könnte den falschen Fakt herausgreifen, weil die Informationen nicht organisiert waren.

Die Lösung: Erstellen einer „Karte" (Der Wissensgraph)

Anstatt nur Text zu lesen, bringen die Autoren der Bibliothekarin bei, während sie die Frage beantwortet, eine Karte (einen Wissensgraphen) zu zeichnen. Diese Karte verbindet Punkte (Fakten) mit Linien (Beziehungen).

Hier ist ihr 4-Schritte-Prozess:

1. Zeichnen der Samen-Karte (Initialisierung)

Wenn Sie eine Frage stellen (z. B.: „Auf welchem Theaterstück basierte Bernsteins Symphonische Tänze?"), betrachtet die Bibliothekarin zuerst ihr eigenes Gedächtnis und zeichnet eine kleine, grobe Skizze.

Sie schreibt auf: Dag Achatz → transkribiert → Symphonic Dances → stammt aus → West Side Story.
Das Problem: Das interne Gedächtnis der Bibliothekarin könnte unvollständig sein. Sie könnte bei West Side Story stehen bleiben und denken: „Das ist die Antwort!" Tatsächlich basierte West Side Story jedoch selbst auf etwas anderem. Der Karte fehlt ein Stück.

2. Erweitern der Karte (Interne Erweiterung)

Die Bibliothekarin betrachtet ihre Skizze und fragt: „Was weiß ich sonst noch über diese Punkte?" Sie versucht, mit ihrer eigenen Denkkraft weitere Linien zur Karte hinzuzufügen.

Sie könnte hinzufügen: West Side Story → komponiert von → Leonard Bernstein.
Das Problem: Selbst mit dieser Erweiterung fehlt der Bibliothekarin möglicherweise noch der entscheidende Link, der West Side Story zurück zum ursprünglichen Theaterstück Romeo und Julia verbindet. Ihr internes Gedächtnis hat eine Lücke.

3. Konsultieren des „Stadt-Führers" (Externe Abrufung)

Dies ist der magische Schritt. Die Bibliothekarin erkennt: „Ich bin mir nicht sicher, ob ich das vollständige Bild habe." Also pausiert sie und konsultiert einen vertrauenswürdigen, externen Stadt-Führer (wie Wikipedia oder eine Google-Suche).

Sie schlägt West Side Story im Führer nach.
Der Führer sagt: „West Side Story wurde von Romeo und Julia inspiriert."
Die Bibliothekarin nimmt diese neue, verifizierte Tatsache und fügt sie ihrer Karte hinzu: West Side Story → inspiriert von → Romeo und Julia.
Der Vorteil: Wenn die Bibliothekarin früher einen Fehler gemacht hätte (z. B. annähme, die Musik stamme aus einem anderen Jahr), hilft ihr der Stadt-Führer, die Karte zu korrigieren, nicht nur zu erweitern.

4. Finden des Schatzes (Beantworten auf dem Graphen)

Jetzt, mit einer vollständigen, korrigierten Karte, die Dag Achatz bis hin zu Romeo und Julia verbindet, verfolgt die Bibliothekarin den Pfad auf der Karte. Da der Pfad klar ist und vom Stadt-Führer verifiziert wurde, kann sie selbstbewusst sagen: „Die Antwort ist Romeo und Julia."

Warum ist dies besser?

Das Papier behauptet, diese Methode sei aus drei Hauptgründen überlegen:

Struktur statt Chaos: Anstatt durch eine Flut unstrukturierter Texte zu waten, arbeitet die Bibliothekarin mit einer strukturierten Karte. Dies macht es schwieriger, durch irrelevante Informationen abgelenkt zu werden.
Selbstkorrektur: Die Bibliothekarin vertraut nicht nur ihrem eigenen Gedächtnis. Sie nutzt den externen Führer, um Fehler in ihrer eigenen Karte zu beheben. Wenn die Bibliothekarin denkt „A führt zu B", der Führer aber sagt „A führt zu C", aktualisiert die Bibliothekarin die Karte.
Kleine Bibliothekarinnen können große Aufgaben bewältigen: Die Experimente zeigten, dass selbst kleinere, weniger leistungsfähige „Bibliothekarinnen" (kleinere KI-Modelle) genauso gut abschneiden konnten wie riesige, wenn sie diese Karten-Methode anwendeten. Der externe Führer ebnnt das Spielfeld.

Die Ergebnisse

Die Autoren testeten dies an drei verschiedenen Arten von Quiz-Herausforderungen.

Das Ergebnis: Ihre Methode erzielte konsistent mehr richtige Antworten als die Standardmethoden, um die KI zu befragen.
Der „Recall"-Boost: Sie stellten fest, dass durch die Nutzung des externen Führers die von ihnen erstellte „Karte" viel häufiger die richtigen Fakten enthielt (ein enormer Anstieg des „Recall", also des Findens der richtigen Fakten) im Vergleich zum bloßen Verlassen auf das Gedächtnis der KI.

Der Haken (Einschränkungen)

Die Autoren sind ehrlich bezüglich der Mängel:

Müll rein, Müll raus: Wenn die Bibliothekarin den anfänglichen Teil der Karte falsch zeichnet und der externe Führer dies nicht auffängt, wird die endgültige Antwort trotzdem falsch sein.
Nicht perfekt: Es besteht immer noch eine Lücke zwischen dem Vorhandensein der richtigen Fakten auf der Karte und dem tatsächlichen Treffen der richtigen Antwort. Das System ist noch nicht zu 100 % perfekt.

Zusammenfassung

Kurz gesagt schlägt dieses Papier vor, dass wir eine KI nicht nur bitten sollten zu „denken" oder „einen Absatz zu lesen", sondern sie bitten sollten, eine visuelle Karte von Fakten zu erstellen, diese Karte gegen eine vertrauenswürdige Enzyklopädie zu prüfen, etwaige Fehler auf der Karte zu beheben und dann der Karte zur Antwort zu folgen. Dies macht die KI genauer, weniger anfällig für Lügen und leichter verständlich.

Technische Zusammenfassung: Verbesserung der Faktizität von LLMs durch Wissensgraph-Konstruktion zur Inferenzzeit

Problemstellung

Large Language Models (LLMs) erzeugen häufig faktisch inkonsistente Antworten aufgrund von Einschränkungen in ihrem parametrischen Gedächtnis. Obwohl Retrieval-Augmented Generation (RAG)-Paradigmen versuchen, dies zu mildern, indem sie externes Wissen zur Inferenzzeit einbeziehen, behandeln bestehende Ansätze abgerufenes Wissen typischerweise als unstrukturierten Text. Dieser textbasierte Ansatz leidet unter geringerer Abrufgenauigkeit, behindert zusammengesetztes Schlussfolgern und verstärkt den Einfluss irrelevanter Informationen, was letztendlich die faktische Konsistenz von LLM-Ausgaben untergräbt. Darüber hinaus fehlt Methoden, die auf statischen, vorab konstruierten Wissensgraphen (KGs) basieren, die Anpassungsfähigkeit in sich schnell wandelnden Kontexten, und sie sind schwer skalierbar.

Methodik

Die Autoren schlagen eine neuartige, vierstufige Pipeline vor, die während der Inferenz dynamisch Wissensgraphen konstruiert und erweitert, indem sie sowohl internes LLM-Wissen als auch externes abgerufenes Wissen integriert. Der Prozess wird wie folgt formalisiert:

Graph-Initialisierung: Gegeben eine Frage $Q$ , wird das LLM aufgefordert, relevante Entitäten und Relationen zu extrahieren, um einen Seed-KG ( $G_0$ ) zu bilden. Dies erfasst den Kernfokus der Frage.
Graph-Erweiterung: Der Seed-KG wird iterativ in einer Breitensuche unter Verwendung des internen Wissens des LLM erweitert. Das Modell wählt Entitäten aus einem Puffer aus und generiert neue Triplets (Subjekt-Relation-Objekt), um den Graphen bis zu einer vordefinierten Tiefe $D$ zu erweitern, was zu einem erweiterten KG ( $G_1$ ) führt.
Externer Abruf: Um Ungenauigkeiten oder Lücken in $G_1$ $G_{1}$ zu beheben, setzt das System einen externen Abrufmechanismus ein (unter Verwendung von Wikipedia und Google Search via BM25). Das LLM wählt spezifische Entitäten oder Triplets aus dem Graphen aus und entscheidet zwischen zwei Aktionen:
- Korrektur: Ersetzen fehlerhafter Triplets durch faktisch korrekte, die in externen Quellen gefunden wurden.
- Erweiterung: Hinzufügen neuer verwandter Triplets, um Wissenslücken zu schließen.
  Diese iterative Verfeinerung erzeugt einen fundierten KG ( $G^*$ ).
Beantwortung auf Graph: Schließlich generiert das LLM die Antwort durch Abfrage des verfeinerten KGs ( $G^*$ ). Das Modell ist darauf beschränkt, über die im Graphen vorhandenen Triplets zu schlussfolgern, um Halluzinationen außerhalb des Graphen zu reduzieren und sicherzustellen, dass die Antwort auf überprüfbaren Beweis Ketten basiert.

Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

Konstruktion von KGs zur Inferenzzeit: Eine neuartige Methode zur Extraktion von Triplets direkt aus dem internen Wissen eines LLM und zur Entwicklung einer iterativen Erweiterungsstrategie, um KGs während der Inferenz dynamisch zu erweitern.
Hybride Wissensintegration: Eine einheitliche Pipeline, die nahtlos internes LLM-Wissen mit externen Wissensbasen kombiniert. Dieser hybride Ansatz kompensiert die in jeder Quelle inhärenten Lücken und verbessert die faktische Fundierung.
Empirische Validierung: Eine umfassende Evaluierung an drei diversen Factual-QA-Benchmarks (Complex WebQuestions, HotpotQA und SimpleQA) zeigt konsistente und signifikante Verbesserungen der Antwortgenauigkeit und faktischen Konsistenz über verschiedene Datensätze und Backbone-Modelle hinweg.

Experimentelle Ergebnisse

Die Methode wurde an CWQ, HotpotQA und SimpleQA unter Verwendung verschiedener Backbone-Modelle (einschließlich GPT-4o, Deepseek-V3, Llama-4-Scout und Qwen2.5) evaluiert.

Leistungssteigerungen: Der vorgeschlagene Ansatz erzielte state-of-the-art-Ergebnisse sowohl in internen als auch in externen Wissensszenarien. Unter der Einstellung für externes Wissen zeigte die Methode erhebliche Verbesserungen, insbesondere auf dem herausfordernden SimpleQA-Datensatz, mit Genauigkeitsgewinnen von bis zu 23,0 % im Vergleich zu Baselines.
Recall-Verbesserungen: Die Integration des externen Abrufs erhöhte den Recall von Ground-Truth-Fakten, die im Schlussfolgerungsprozess auftreten, signifikant. Beispielsweise stieg der Recall von Llama-4-Scout bei SimpleQA von 13,0 % (nur intern) auf 37,5 % (mit externem Abruf).
Generalisierung: Die Methode erwies sich über verschiedene Modellskalen hinweg als robust. Bemerkenswerterweise konnten kleinere Modelle (z. B. Llama-4-Scout), die mit dieser Methode ausgestattet waren, deutlich größere Modelle (z. B. DeepSeek-V3) übertreffen oder mit ihnen gleichziehen, wenn externer Abruf genutzt wurde, was darauf hindeutet, dass die Methode die Einschränkungen des internen parametrischen Gedächtnisses effektiv mindert.
Ablations-Erkenntnisse: Die Analyse offenbarte einen Trade-off, bei dem eine erhöhte Schlussfolgerungskomplexität (mehr Hops) zu größeren Graphengrößen, aber zu geringerer Genauigkeit führt, da das Modell Schwierigkeiten hat, den korrekten Pfad unter den erweiterten Kandidaten zu identifizieren. Größere Modelle zeigten jedoch allgemein eine höhere Genauigkeit und einen höheren Recall, wobei sich die Leistungslücke zwischen den Modellen verringerte, wenn externes Wissen eingeführt wurde.

Bedeutung

Die Arbeit vertritt die Auffassung, dass die Konstruktion von KGs zur Inferenzzeit eine vielversprechende Richtung zur Verbesserung der Faktizität von LLMs auf strukturierte, interpretierbare und skalierbare Weise darstellt. Durch die Überwindung des Abrufs unstrukturierten Textes ermöglicht das vorgeschlagene Framework LLMs, systematisch auf faktisches Wissen zuzugreifen und dieses zu integrieren. Die Fähigkeit, Graphen dynamisch zu konstruieren und zu verfeinern, erlaubt eine Echtzeit-Anpassung an Wissenslücken und bietet eine Plug-and-Play-Lösung, die die Zuverlässigkeit verbessert, ohne umfangreiche manuelle Kuratierung oder statisch vordefinierte Graphen zu erfordern. Die Autoren betonen, dass zwar Einschränkungen hinsichtlich der Propagierung von Halluzinationen und der Optimalität des Graphenabrufs bestehen bleiben, der Ansatz jedoch einen bedeutenden Schritt hin zu vertrauenswürdigerer KI in hochriskanten Domänen darstellt.