💬 NLP

Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation

Die Arbeit stellt FRANQ vor, eine neue Methode zur Unsicherheitsquantifizierung in Retrieval-Augmented-Generation-Systemen, die durch die Unterscheidung zwischen Faktizität und Treue zum Kontext Halluzinationen präziser erkennt als bestehende Ansätze.

Ursprüngliche Autoren: Ekaterina Fadeeva, Aleksandr Rubashevskii, Dzianis Piatrashyn, Roman Vashurin, Shehzaad Dhuliawala, Artem Shelmanov, Timothy Baldwin, Preslav Nakov, Mrinmaya Sachan, Maxim Panov

Veröffentlicht 2026-04-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ekaterina Fadeeva, Aleksandr Rubashevskii, Dzianis Piatrashyn, Roman Vashurin, Shehzaad Dhuliawala, Artem Shelmanov, Timothy Baldwin, Preslav Nakov, Mrinmaya Sachan, Maxim Panov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas verwirrten Assistenten namens LLM (Large Language Model). Dieser Assistent kennt die Welt auswendig, weil er Millionen von Büchern gelesen hat. Aber manchmal erfindet er Dinge, die nicht stimmen, oder er verwechselt Fakten. Das nennt man „Halluzinationen".

Um ihm zu helfen, geben wir ihm einen Nachschlagewerk (das ist das „Retrieval" in RAG). Wenn er eine Frage bekommt, sucht er zuerst in diesem Buch nach der Antwort, bevor er spricht. Das ist wie ein Schüler, der vor einer Prüfung in sein Lehrbuch schaut, statt nur aus dem Kopf zu raten.

Das Problem? Manchmal ist das Buch selbst falsch, manchmal liest der Schüler die Seite falsch, und manchmal weiß der Schüler die Antwort auch ohne das Buch – aber er traut sich nicht, sie zu sagen, weil er denkt, er müsse sich an das Buch halten.

Die Forscher in diesem Papier haben eine neue Methode namens FRANQ entwickelt, um genau zu prüfen: Ist die Antwort des Assistenten wahr?

Hier ist die Erklärung mit ein paar einfachen Analogien:

1. Das große Missverständnis: „Treue" vs. „Wahrheit"

Bisher haben viele Systeme nur geprüft, ob der Assistent treu zu seinem Buch war.

Die alte Methode: „Hast du das aus dem Buch gelesen?" Wenn ja -> Alles gut. Wenn nein -> Falsch!
Das Problem: Stell dir vor, der Assistent sagt: „Die Erde ist rund." Das ist wahr. Aber wenn das Buch, das er gerade liest, nur über Bananen spricht, steht das nicht drin. Die alte Methode würde sagen: „Falsch! Das steht nicht im Buch!" Das ist unfair.

FRANQ macht einen wichtigen Unterschied:

Treue (Faithfulness): Hat der Assistent das aus dem Buch genommen?
Wahrheit (Factuality): Ist das, was er sagt, objektiv richtig?

FRANQ sagt: „Es ist okay, wenn er etwas sagt, das nicht im Buch steht, solange es wahr ist. Aber es ist gefährlich, wenn er etwas sagt, das im Buch steht, aber falsch ist."

2. Wie funktioniert FRANQ? (Der Detektiv-Ansatz)

FRANQ ist wie ein cleverer Detektiv, der die Antwort des Assistenten in kleine Aussagen (Claims) zerlegt. Für jede Aussage macht er drei Dinge:

Der Treue-Check: „Ist diese Aussage im Buch zu finden?"
- Er nutzt ein Werkzeug (AlignScore), das prüft, wie gut die Aussage zum Text passt. Ist sie direkt dort? Oder hat der Assistent sie sich selbst ausgedacht?
Der Fall: „Aus dem Buch" (Treu):
- Wenn die Aussage aus dem Buch kommt, prüft FRANQ: „Ist das Buch selbst vertrauenswürdig?" oder „Hat der Assistent den Text richtig verstanden?"
- Analogie: Ein Schüler liest eine Formel aus dem Lehrbuch ab. Wir prüfen, ob er sie korrekt abgeschrieben hat.
Der Fall: „Aus dem Kopf" (Nicht treu):
- Wenn die Aussage nicht im Buch steht, aber der Assistent sie trotzdem sagt, prüft FRANQ: „Weiß der Assistent das eigentlich aus seinem eigenen Gedächtnis?"
- Analogie: Der Schüler sagt: „Ich weiß, dass Paris die Hauptstadt ist", ohne ins Buch zu schauen. FRANQ prüft, ob sein eigenes Gedächtnis hier zuverlässig ist.

3. Die Magie der „Kalibrierung" (Der Übersetzer)

Das Schwierige an diesen Checks ist, dass sie unterschiedliche Skalen haben.

Der „Treue-Check" gibt vielleicht eine Zahl zwischen 0 und 1 aus.
Der „Wahrheits-Check" gibt eine ganz andere Zahl aus.

FRANQ nutzt eine Art Übersetzer (Isotonic Regression), um diese verschiedenen Zahlen in eine gemeinsame, verständliche Wahrscheinlichkeit umzuwandeln.

Analogie: Stell dir vor, ein Thermometer zeigt Celsius und ein anderes Fahrenheit. FRANQ rechnet beides in eine einzige, klare Temperatur um, damit du weißt: „Ist es heiß oder kalt?" (Ist die Antwort wahr oder falsch?).

4. Warum ist das wichtig?

Bisherige Systeme waren wie ein strenger Lehrer, der nur auf das Lehrbuch schaut. Wenn ein Schüler eine richtige Antwort gab, die nicht im Buch stand, bekam er eine 6.
FRANQ ist wie ein weise Richter:

Er belohnt den Schüler, wenn er die Wahrheit sagt, egal ob er sie aus dem Buch oder aus dem Kopf hat.
Er bestraft den Schüler, wenn er etwas aus dem Buch abliest, das aber falsch ist.

Zusammenfassung in einem Satz

FRANQ ist ein neues Werkzeug, das KI-Systeme nicht nur prüft, ob sie sich an ihre Quellen halten, sondern ob sie die Wahrheit sagen – und zwar clever genug, um zu unterscheiden, ob die Wahrheit aus dem Buch kommt oder aus dem eigenen Wissen des KI-Modells.

Das Ergebnis? Weniger falsche Informationen, mehr Vertrauen in KI-Assistenten, und ein System, das nicht blind auf Bücher schaut, sondern den Sinn der Wahrheit versteht.

1. Problemstellung

Large Language Models (LLMs), die durch Retrieval-Augmented Generation (RAG) erweitert werden, haben zwar die Leistung im offenen Fragenbeantworten (Open-Domain QA) verbessert, neigen jedoch weiterhin zu Halluzinationen. Ein zentrales Problem bestehender Ansätze zur Halluzinationserkennung ist die Verwechslung von Faktizität (Factuality) und Treue (Faithfulness):

Treue (Faithfulness): Bezieht sich darauf, ob eine Aussage semantisch aus dem abgerufenen Kontext abgeleitet (entailed) ist.
Faktizität (Factuality): Bezieht sich darauf, ob eine Aussage objektiv wahr ist.

Bestehende Methoden betrachten oft jede Aussage, die nicht explizit im abgerufenen Kontext steht, als Halluzination. Dies ist jedoch problematisch, da ein Modell korrekte Fakten aus seinem internen Wissen (parametrisches Wissen) liefern kann, die nicht im Kontext stehen, aber dennoch faktisch richtig sind. Umgekehrt kann ein Modell Aussagen generieren, die treu zum Kontext sind, aber faktisch falsch sind, wenn der abgerufene Kontext selbst fehlerhaft ist. Es fehlt also an einer Methode, die diese beiden Fehlermodi unterscheidet und die Faktizität unabhängig von der reinen Kontexttreue bewertet.

2. Methodik: FRANQ

Die Autoren stellen FRANQ (Faithfulness-aware Retrieval Augmented UNcertainty Quantification) vor, eine neue Methode zur Unsicherheitsquantifizierung (UQ), die die Faktizität von RAG-Ausgaben durch eine bedingte Zerlegung der Wahrscheinlichkeit schätzt.

Kernidee

FRANQ zerlegt die Wahrscheinlichkeit, dass eine Aussage $c$ wahr ist, in zwei bedingte Pfade, abhängig davon, ob die Aussage treu zum abgerufenen Kontext $r$ ist oder nicht:

$P(c \text{ ist wahr}) = P(c \text{ treu}) \cdot P(c \text{ wahr} | \text{treu}) + P(c \text{ untreu}) \cdot P(c \text{ wahr} | \text{untreu})$

Die Methode besteht aus drei Hauptkomponenten:

Schätzung der Treue ( $P(c \text{ treu})$ ):
- Es wird AlignScore (ein auf RoBERTa basierendes Metrik-Modell) verwendet, um zu bestimmen, inwieweit eine atomare Aussage durch den abgerufenen Kontext gestützt wird.
- Im Gegensatz zu binären Entscheidungen liefert AlignScore eine kontinuierliche Wahrscheinlichkeit, was für die probabilistische Kombination entscheidend ist.
Faktizität unter der Bedingung „Untreu" ( $P(c \text{ wahr} | \text{untreu})$ ):
- Wenn eine Aussage nicht aus dem Kontext abgeleitet ist, stammt sie aus dem internen Wissen des LLM.
- Um Verzerrungen durch den Kontext zu vermeiden, wird hier die Parametrische Wissens-Methode (Parametric Knowledge) verwendet. Dabei wird die Wahrscheinlichkeit der Aussage berechnet, indem der abgerufene Kontext aus der Eingabe entfernt wird und das Modell nur auf Basis seiner Parameter ( $P(c|x)$ ) bewertet wird.
- Hinweis: Für kurze Antworten (Short-form QA) wird stattdessen die „Sum of Eigenvalues"-Methode verwendet, die sich als robuster erwies.
Faktizität unter der Bedingung „Treu" ( $P(c \text{ wahr} | \text{treu})$ ):
- Wenn eine Aussage treu zum Kontext ist, kann das Modell dennoch den Kontext falsch anwenden (z. B. falsche Entität auswählen).
- Für lange Antworten (Long-form QA) wird hier die Max Claim Probability ( $P(c|x, r)$ ) verwendet.
- Für kurze Antworten wird Semantic Entropy eingesetzt, da diese Unsicherheit in diesem Szenario besser erfasst.

Kalibrierung

Da die verschiedenen UQ-Methoden unterschiedliche Verteilungen aufweisen, werden sie mittels isotonischer Regression kalibriert. Ein entscheidender Beitrag ist die konditionsspezifische Kalibrierung: Die Modelle für den treuen und den untreuen Pfad werden separat auf den entsprechenden Teilmengen der Trainingsdaten kalibriert, um Inkonsistenzen zu vermeiden.

3. Schlüsselbeiträge

FRANQ-Algorithmus: Entwicklung einer neuen UQ-Methode, die Treue und Faktizität explizit trennt und unterschiedliche Unsicherheitsmetriken für beide Pfade kombiniert.
Neuer Datensatz: Erstellung eines neuen Datensatzes für Long-Form QA, der sowohl Treue- als auch Faktizitäts-Labels enthält. Dieser wurde durch eine Kombination aus automatischer Annotation (mittels GPT-4o mit Web-Suche) und manueller Validierung schwieriger Fälle (falsche/unverifizierbare Aussagen) erstellt.
Umfassende Evaluation: Durchführung von Experimenten auf Long- und Short-Form QA-Datensätzen mit mehreren LLMs (Llama, Falcon, Gemma), die zeigen, dass FRANQ bestehende Ansätze übertrifft.

4. Ergebnisse

Die Experimente wurden auf mehreren Benchmarks durchgeführt (Long-Form: RAGTruth-basiert; Short-Form: TriviaQA, SimpleQA, Natural Questions, PopQA).

Leistung: Die konditionsspezifisch kalibrierte Version von FRANQ erzielte konsistent die besten Ergebnisse in Bezug auf PR-AUC (Precision-Recall Area Under Curve) und Prediction Rejection Ratio (PRR) im Vergleich zu allgemeinen Baselines (wie Perplexity, Entropy), RAG-spezifischen Baselines und XGBoost-Klassifikatoren.
Robustheit: FRANQ zeigte sich robust gegenüber zwei Arten von Retrieval-Fehlern:
1. Irrelevante Retrievals (zufällige Ersetzung von Passagen).
2. Faktisch korrupte Retrievals (Passagen, die relevant wirken, aber falsche Fakten enthalten).
  In beiden Szenarien behielt FRANQ eine hohe Erkennungsrate für faktische Fehler bei.
Effizienz: Der Overhead für die Inferenz ist gering (ca. 1,7 Sekunden zusätzlich zur Generierung), und die Kalibrierungsmodelle sind extrem klein (wenige hundert Bytes), was eine praktische Bereitstellung ermöglicht.
Ablationsstudien: Die Studie zeigte, dass die Wahl der UQ-Methode für den „untreuen" Pfad (insbesondere Parametric Knowledge für Long-Form) kritisch für die Leistung ist. Zudem verbessert die kontinuierliche Treue-Schätzung (statt binärer Thresholding) die Ergebnisse signifikant.

5. Bedeutung und Fazit

FRANQ adressiert eine fundamentale Lücke in der RAG-Forschung: Die Unterscheidung zwischen „nicht im Kontext" und „faktisch falsch".

Praktische Relevanz: Durch die Trennung von Treue und Faktizität vermeidet FRANQ, dass faktisch korrekte, aber kontextunabhängige Aussagen fälschlicherweise als Halluzinationen markiert werden. Gleichzeitig werden faktische Fehler, die aus fehlerhaftem Kontext stammen, zuverlässig erkannt.
Zukunftsperspektive: Die Methode bietet Unsicherheitssignale, die für die Steuerung der Generierung (Generation-time control) oder zur Nachbearbeitung (Post-editing) genutzt werden können, um zuverlässigere und interpretierbarere RAG-Systeme zu schaffen.

Zusammenfassend stellt FRANQ einen leichten, aber hochwirksamen Rahmen dar, der die Zuverlässigkeit von RAG-Systemen durch eine differenzierte Unsicherheitsquantifizierung signifikant erhöht.