Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning

1. Problemstellung

Große Sprachmodelle (LLMs) sind zwar in der Lage, flüssige und kontextangemessene Antworten zu generieren, neigen jedoch zu Halluzinationen, insbesondere wenn Benutzeranfragen falsche Prämissen (False Premises) enthalten. Eine falsche Prämisse ist eine Aussage in einer Frage, die im Widerspruch zu etablierten Fakten steht (z. B. „Ist Penicillin sicher zur Behandlung von Schalentierallergien?", obwohl Penicillin Allergien auslösen kann).

Bestehende Ansätze zur Bekämpfung von Halluzinationen haben folgende Nachteile:

• Sie greifen oft erst nachträglich (post-hoc) ein, wenn die Antwort bereits generiert wurde.
• Sie erfordern oft den Zugriff auf Logits (Wahrscheinlichkeitsverteilungen des Modells), was bei Black-Box-Modellen nicht möglich ist.
• Sie basieren auf aufwändigem Fine-Tuning oder Pre-Training, was rechenintensiv ist und große Datenmengen erfordert.
• Sie sind oft nicht proaktiv genug, um falsche Annahmen vor der Generierung zu erkennen.

Das Ziel dieser Arbeit ist es, Halluzinationen proaktiv zu verhindern, indem falsche Prämissen in der Eingabe erkannt und korrigiert werden, bevor das LLM eine Antwort generiert.

2. Methodik

Die Autoren schlagen einen retrieval-basierten Framework vor, der drei Hauptschritte umfasst, um falsche Prämissen zu identifizieren und zu adressieren:

A. Umwandlung in Logische Form (Logical Form Conversion)

Statt die natürliche Sprache direkt zu verarbeiten, wird die Benutzeranfrage $q$ zunächst in eine strukturierte logische Form $L(q)$ übersetzt.

• Ziel: Extraktion der Kernbedeutung, insbesondere von Entitäten und Relationen.
• Beispiel: Die Frage „Warum wurde Der Herr der Ringe nicht für den Oscar nominiert?" wird in eine Prädikatslogik übersetzt: Nominated("Der Herr der Ringe", "Oscar").
• Vorteil: Diese strukturierte Darstellung erleichtert die systematische Überprüfung von Fakten und die Suche in Wissensgraphen.

B. Strukturierte Suche und Verifikation (Structured Retrieval and Verification)

Anstatt sich nur auf das interne Wissen des LLMs zu verlassen, wird ein Retrieval-Augmented Generation (RAG)-Ansatz verwendet, der auf einem Wissensgraphen (Knowledge Graph, KG) basiert.

• Der logische Form wird verwendet, um relevante Triplets oder Subgraphen aus dem Wissensgraphen zu extrahieren.
• Es werden verschiedene Retriever verglichen:
  1. Embedding-basiert: Nutzt kosinussimilarität zwischen Embeddings von logischer Form und Graph-Triplets.
  2. Nicht-parametrisch (G-Retriever): Nutzt den Prize-Collecting Steiner Tree-Algorithmus zur Subgraph-Extraktion ohne trainierte Parameter.
  3. LLM-basiert: Nutzt LLMs zur Bewertung der Relevanz.
• Das System prüft, ob die im Query enthaltenen Aussagen mit den extrahierten Beweisen (Evidence) übereinstimmen.

C. Erzwingung faktischer Konsistenz (Factual Consistency Enforcement)

Basierend auf dem Abgleich wird eine Prämisse-Verifikations-Funktion $F(q)$ angewendet:

• Wenn ein Widerspruch zwischen der logischen Form und den extrahierten Fakten gefunden wird, wird die ursprüngliche Anfrage $q$ aktualisiert, indem ein Hinweis angehängt wird (z. B. „Hinweis: Diese Frage enthält eine falsche Prämisse").
• Diese modifizierte Anfrage wird dann an das LLM weitergegeben.
• Das LLM generiert die Antwort unter Berücksichtigung dieses Hinweises, was es dazu anleitet, die falsche Annahme zu korrigieren oder abzulehnen, anstatt sie zu bestätigen.

Algorithmus: Der Prozess wird in Algorithmus 1 des Papers detailliert beschrieben und erfordert keine Anpassung der Modellgewichte (Zero-Shot).

3. Hauptbeiträge

1. Logische Form-Repräsentation: Einführung logischer Formen zur Darstellung von Eingabeabfragen, was eine präzisere und systematischere Bewertung von Aussagen ermöglicht, insbesondere bei Fragen mit falschen Prämissen.
2. Explizite Erkennung falscher Prämissen: Das Verfahren verbessert die Zuverlässigkeit von LLM-Antworten, indem es falsche Prämissen explizit detektiert und das Modell vor der Generierung darüber informiert.
3. Effiziente Halluzinationsminderung: Der Ansatz reduziert faktische Halluzinationen ohne Generierung von Antworten im Vorfeld und ohne Zugriff auf Modell-Logits. Er ist somit modellagnostisch und kompatibel mit Black-Box-Modellen.
4. Ressourceneffizienz: Im Gegensatz zu Fine-Tuning-Ansätzen ist die Methode rechenleicht (Zero Training Cost) und kann nahtlos in bestehende Pipelines integriert werden.

4. Ergebnisse

Die Methode wurde auf drei Datensätzen evaluiert: KG-FPQ (Kunst-Domain, Wissensgraph-basiert), CREAK (Commonsense-Reasoning) und FEVER (Faktenverifikation).

• Erkennung falscher Prämissen:

  • Die Kombination aus logischer Form in beiden Phasen (Retrieval und Detektion) erzielte die besten Ergebnisse.
  • Auf dem KG-FPQ-Datensatz erreichte der G-Retriever mit logischer Form eine F1-Score von 97,12% und eine True Positive Rate (TPR) von 94,44%. Dies ist ein signifikanter Vorteil gegenüber Methoden, die nur die ursprüngliche natürliche Sprache verwenden.
  • Besonders bei Multi-Hop-Fragen (komplexe Abfragen, die mehrere Fakten verknüpfen) zeigte die Methode große Verbesserungen (Anstieg der TPR von 68,7% auf 95,2%).

• Halluzinationsminderung:

  • Auf dem KG-FPQ-Datensatz erreichte das Verfahren mit verschiedenen LLMs (GPT-4o-mini, GPT-3.5, Qwen2.5, Llama-3.1) eine Genauigkeit von 89,5% bis 95,2%.
  • Dies übertrifft Baselines wie Direct Ask, Prompting (Warnhinweise ohne spezifische Korrektur), Majority Vote und Direct RAG (nur Rohdaten-Retrieval).
  • Der Vergleich mit Contrastive Decoding (einer Post-Hoc-Methode) zeigt, dass die vorgeschlagene Methode bei gleicher oder besserer Genauigkeit weniger Tokens verbraucht und schneller ist (ca. 0,6s vs. 10,6s zusätzliche Laufzeit pro Query).

• Statistische Signifikanz: Paarweise t-Tests bestätigten, dass die Verbesserungen durch die Verwendung logischer Formen statistisch signifikant sind ($p < 0,05$).

5. Bedeutung und Ausblick

Die Arbeit demonstriert, dass die Integration von symbolischer Logik und Wissensgraphen-Retrieval eine effektive, leichte und robuste Strategie zur Bekämpfung von Halluzinationen darstellt.

• Praktische Relevanz: Da die Methode keine Logits benötigt und kein Fine-Tuning erfordert, ist sie ideal für den Einsatz in Black-Box-Umgebungen und in sensiblen Bereichen wie Gesundheitswesen oder Finanzen, wo falsche Informationen kritische Folgen haben können.
• Prävention statt Korrektur: Der Fokus liegt auf der Verhinderung von Fehlern vor der Generierung, was effizienter ist als das Nachkorrigieren von Halluzinationen.
• Skalierbarkeit: Der Ansatz ist besonders effektiv bei komplexen, mehrstufigen Fragen, wo traditionelle LLMs oft in logischen Fallen tappen.

Zusammenfassend bietet das Paper einen vielversprechenden Weg, um die Zuverlässigkeit von LLMs in der realen Welt zu erhöhen, indem es die Modelle zwingt, ihre Annahmen gegen externe Faktenquellen zu validieren, bevor sie antworten.