💬 NLP

Decomposed Entailment for Factuality Checking and Hallucination Detection

Dieses Paper stellt HallDetect vor, ein leichtgewichtiges, referenzfreies Black-Box-Framework, das Halluzinationen in quellengestützter LLM-Generierung durch die Zerlegung von Inhalten in atomare Behauptungen, deren Verifizierung mittels kontrastiver Folgerung gegenüber Quellsegmenten und die Aggregation der Ergebnisse durch einen asymmetrischen Scoring-Mechanismus erkennt, wodurch es vergleichbare Baselines übertrifft und gleichzeitig lokalisierte Fehler-Audit-Trails bereitstellt.

Ursprüngliche Autoren: Achir Oukelmoun, Nasredine Semmar, Gaël De Chalendar

Veröffentlicht 2026-08-07

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Achir Oukelmoun, Nasredine Semmar, Gaël De Chalendar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lesen eine Geschichte, die von einem sehr selbstbewussten, superintelligenten Roboter geschrieben wurde. Dieser Roboter kann alles schreiben, von Nachrichtenartikeln bis hin zu medizinischen Ratschlägen, und er tut dies mit unglaublicher Geschwindigkeit. Aber hier ist der Haken: Manchmal wird der Roboter ein wenig zu kreativ. Er könnte Fakten erfinden, die vollkommen echt klingen, aber eigentlich erfunden sind, oder er könnte die Wahrheit gerade so weit verdrehen, dass sie irreführend wird. Das nennt man eine „Halluzination“. In der Welt der Künstlichen Intelligenz sind dies keine bloßen Tagträume; es sind gefährliche Fehler, die Fehlinformationen verbreiten oder schlechte Ratschläge geben können.

Um diese Fehler zu finden, müssen wir die Arbeit des Roboters mit dem Originalmaterial abgleichen, dem Quelldokument, so wie ein Lehrer einen Aufsatz eines Schülers anhand des Lehrbuchs bewertet. Traditionell haben wir versucht, dies zu tun, indem wir einen anderen großen, mächtigen Roboter als Richter eingesetzt haben. Aber diese Richter sind teuer, langsam und werden manchmal selbst verwirrt oder voreingenommen. Sie könnten so prunkvoll sein, dass sie ein massives Rechenzentrum benötigen, was für den alltäglichen Gebrauch nicht praktikabel ist. Die große Frage, die sich Forscher stellen, lautet: Können wir einen kleineren, billigeren und klügeren Weg bauen, um diese Lügen aufzuspüren, ohne einen Supercomputer zu benötigen?

Hier kommt ein neues Werkzeug namens HallDetect ins Spiel. Betrachten Sie HallDetect als einen akribischen Faktenchecker, der nicht versucht, die ganze Geschichte auf einmal zu lesen. Stattdessen zerlegt er die Antwort des Roboters in winzige, einzelne Sätze – so als würde man ein großes Puzzle auseinandernehmen, um sich jedes Teil einzeln anzusehen. Für jedes winzige Teil stellt er eine einfache Frage: „Entspricht dieser spezifische Satz der ursprünglichen Geschichte oder widerspricht er ihr?“

Der clevere Teil ist die Art und Weise, wie es prüft. Anstatt einen riesigen, langsamen Roboter zu fragen, tief über jeden Satz nachzudenken, nutzt HallDetect ein leichtgewichtiges, schnelles „Detektiv“-Modell. Dieser Detektiv scannt den ursprünglichen Quelltext in verschiedenen Größen – er schaut sich einzelne Sätze, kleine Absätze und ganze Abschnitte an –, um die besten Beweise zu finden. Wenn er auch nur ein einziges winziges Stück der Antwort des Roboters findet, das der Quelle eindeutig widerspricht, schlägt HallDetect Alarm. Es ist wie ein Sicherheitssystem, das auslöst, wenn auch nur ein einzelnes Fenster offen steht, anstatt zu warten, bis das ganze Haus zusammenbricht.

Die Forscher testeten diese Idee bei vier verschiedenen Arten von Schreibaufgaben, von der Zusammenfassung von Nachrichtenartikeln bis hin zur Beantwortung medizinischer Fragen. Sie führten ihr Experiment mit einem strengen Budget durch und verwendeten für jede verglichenen Methode dieselben kleinen, energieeffizienten Computerchips. Die Ergebnisse waren überraschend: HallDetect war viel stabiler und genauer als die anderen Methoden, insbesondere wenn die Rechenleistung begrenzt war. Während die großen „Richter“-Roboter stolperten und Fehler machten, wenn sie gezwungen waren, auf billiger Hardware zu laufen, blieb HallDetect gelassen und fand die Fehler. Es sagte uns nicht nur, ob der Roboter gelogen hat; es zeigte uns genau, wo die Lüge lag, und schuf so eine klare Beweiskette für Menschen zur Überprüfung.

Kurz gesagt: HallDetect legt nahe, dass wir keine größeren, teureren Roboter bauen müssen, um Lügen zu entlarven. Indem wir Probleme stattdessen in kleine Teile zerlegen und einen smarten, fokussierten Ansatz verwenden, können wir ein zuverlässiges Sicherheitsnetz bauen, das sogar auf einem normalen Heimcomputer funktioniert. Es ist eine Erinnerung daran, dass der beste Weg, die Wahrheit zu finden, manchmal darin besteht, auf die Details zu schauen, einen nach dem anderen.

Technisches Resümee: HallDetect – Dekomponierte Entailment-Analyse zur Faktizitätsprüfung

Problemstellung

Der Einsatz von Large Language Models (LLMs) in professionellen und entscheidungsrelevanten Kontexten wird durch Halluzinationen behindert: selbstbewusste, aber faktisch unbegründete Aussagen. Bestehende Detektionsmethoden stehen vor erheblichen Einschränkungen:

Oberflächliche Metriken (z. B. ROUGE, Embedding-Ähnlichkeit) erfassen keine logischen Inkonsistenzen.
„LLM-as-a-judge“-Paradigmen leiden unter hohen Rechenkosten, Latenzzeiten, Reproduzierbarkeitsproblemen und Self-Preference-Bias, insbesondere wenn sie auf Consumer-Hardware oder über proprietäre Black-Box-APIs eingesetzt werden.
White-Box-Ansätze, die auf internen Signalen (Token-Wahrscheinlichkeiten) beruhen, sind für Closed-Source-Modelle nicht anwendbar.
Bestehende Faktenchecker erfordern oft Full-Precision-Modelle, externe Wissensdatenbanken (was die extrinsische Faktizität misst statt der intrinsischen Treue) oder lassen die notwendige Granularität vermissen, um spezifische Fehler innerhalb eines generierten Textes zu lokalisieren.

Es besteht ein Bedarf an einem leichtgewichtigen, referenzfreien Black-Box-Framework, das intrinsische Halluzinationen (Inkonsistenzen mit einem bereitgestellten Quelltext) unter strikten Rechenbudgets erkennen kann und gleichzeitig einen Audit-Trail für spezifische Fehler bietet.

Methodik: Das HallDetect-Framework

HallDetect ist eine ressourceneffiziente, domänenagnostische Pipeline, die generierten Text in atomare Claims zerlegt und diese mittels eines diskriminativen Natural Language Inference (NLI) Modells gegen ein Quelldokument verifiziert. Das Framework operiert unter einem strikten 4-Bit-Quantisierungsbudget auf Consumer-Hardware.

Pipeline-Architektur

Der Prozess besteht aus vier distinkten Phasen:

Atomare Claim-Extraktion (Phase I):
- Ein lokal bereitgestelltes, 4-Bit-quantisiertes LLM (z. B. Llama 3.1, Gemma 2 oder Mistral) zerlegt die generierte Antwort $R$ in eine Menge atomarer Claims $\{c_1, \dots, c_n\}$ .
- Die Extraktion erfolgt „copy-faithful“, d. h. die Claims werden wortgetreu reproduziert, um sicherzustellen, dass die Verifizierung die tatsächlichen Behauptungen des Modells adressiert.
Multi-Scale Contextual Chunking (Phase II):
- Das Quelldokument $D$ wird in eine hierarchische Kontextbibliothek $\mathcal{K}$ auf fünf Granularitätsstufen ( $m \in \{1, 2, 4, 8, 16\}$ Chunks) partitioniert.
- Dieses dyadische Scheduling stellt sicher, dass Evidenz auf verschiedenen Skalen (vom Satz- bis zum Gesamtdokument-Niveau) erfasst wird, ohne dass die Kosten linear ansteigen. Die Gesamtgröße der Bibliothek ist auf 31 Chunks pro Dokument begrenzt.
Kontrastive NLI-Verifizierung (Phase III):
- Ein kompaktes, Encoder-basiertes NLI-Modell (DeBERTa-v3-Large, feinabgestimmt auf MNLI, FEVER-NLI, etc.) verifiziert jeden Claim $c_i$ gegen jeden Chunk $k \in \mathcal{K}$ .
- Kontrastives Scoring: Das System identifiziert für jeden Claim unabhängig den Chunk mit der höchsten Entailment-Wahrscheinlichkeit ( $P(E)$ ) und den Chunk mit der höchsten Contradiction-Wahrscheinlichkeit ( $P(C)$ ).
- Der Score wird berechnet als: $Score(c_i) = \max_k P(E|k, c_i) - \max_k P(C|k, c_i)$ .
- Die Neutral-Klasse wird implizit behandelt; Claims, bei denen alle Chunks überwiegend neutral sind, erhalten niedrige Scores sowohl für Entailment als auch für Contradiction, was zu einem Score nahe Null führt (was auf nicht gestützte Inhalte hindeutet).
Asymmetrische Aggregation (Phase IV):
- Der finale Factuality Entailment Decomposition score (FEDscore) aggregiert die Pro-Claim-Scores mittels eines geometrischen Mittels.
- Asymmetrie: Die Aggregation ist auf Auditing ausgelegt. Wenn irgendein einzelner Claim einen Score $\le 0$ aufweist (was eine konfidente Contradiction anzeigt), wird die gesamte Antwort als halluziniert markiert ($FEDscore = 1$). Dies priorisiert den Recall und stellt sicher, dass eine einzige ungestützte Behauptung die gesamte Ausgabe invalidiert.

Kernbeiträge

Die Autoren präsentieren vier primäre Beiträge:

Eine sparsame Decomposition-and-Verification-Pipeline: HallDetect koppelt die atomare Claim-Extraktion mit einer kontrastiven, Multi-Scale-NLI-Formulierung. Es benötigt lediglich das Source-Generation-Paar und ist mit beliebigen Black-Box-Generatoren kompatibel, wodurch generative „Judges“ während der Verifizierungsphase vermieden werden.
Kontrollierte Evaluierung unter festen Budgets: Das Framework wird unter strikter Ressourcen-Parität evaluiert (alle Komponenten sind 4-Bit-quantisiert und laufen auf identischer Consumer-Hardware). Unter diesen Bedingungen übertrifft HallDetect vergleichbar ressourcierte generative (LLM CoT) und Embedding-basierte Baselines in drei von vier Benchmarks und bleibt im vierten Benchmark konkurrenzfähig.
Stabilität über Backbones und Domänen hinweg: Durch die Delegation der Verifizierung an einen diskriminativen Encoder weist HallDetect eine deutlich geringere Varianz auf als generative Chain-of-Thought (CoT)-Judges über verschiedene Backbone-Familien (Mistral, Gemma, Llama) und Domänen (News, Dialog, Adversarial, Biomedizin) hinweg.
Claim-Level Audit Trail: Im Gegensatz zu skalaren Scoring-Methoden erzeugt HallDetect eine Abbildung zwischen atomaren Claims und Source-Evidence-Spans, was die Lokalisierung von Widersprüchen und ungestützten Ergänzungen ermöglicht.

Quantitative Ergebnisse

Evaluierung auf vier Benchmarks (QAGS-CNN/DM, TofuEval, FalseSum, PubMedQA) unter Verwendung von 4-Bit-quantisierten Modellen:

QAGS-CNN/DM (News Summarization): HallDetect erreichte einen F1-Score von 0,771 (Gemma-2), womit es die LLM CoT-Baseline (0,589) und die monolithische NLI-Baseline (0,638) übertraf. Es demonstrierte einen überlegenen Recall (1,000) im Vergleich zu den Baselines, was auf die Deformationsstrategie zurückzuführen ist, die die „Verwässerung“ lokalisierter Fehler verhindert.
Stabilität: Während die Performance von LLM CoT über verschiedene Backbones hinweg signifikant einbrach (z. B. F1-Abfall von 0,589 auf 0,321 bei Llama-3.1), blieb HallDetect stabil (F1-Bereich 0,734–0,771).
Adversarial Stress (FalseSum): HallDetect behielt eine starke Performance bei (F1 0,731) und übertraf die LLM CoT-Baseline (0,375) sowie die SelfCheck-Baseline (0,649).
Domänen-Generalisierung (PubMedQA): HallDetect blieb konkurrenzfähig, übertraf jedoch nicht die SelfCheck-Baseline (HallDetect F1 0,632 vs. SelfCheck F1 0,668). Während spezialisierte Scorer in dieser Domäne gelegentlich HallDetects Leistung erreichten oder übertrafen, behielt HallDetect die einzigartige Fähigkeit bei, spezifische medizinische Claims zu lokalisieren, denen es an einer Fundierung mangelt – ein Feature, das skalaren Baselines fehlt.

Bedeutung und Ansprüche

Das Paper positioniert HallDetect nicht als State-of-the-Art-Detektor, der Full-Precision- oder API-basierte Systeme übertrifft, sondern als eine robuste, ressourceneffiziente Lösung für Szenarien, in denen die Rechenbudgets begrenzt sind (z. B. lokale Bereitstellung, Consumer-Hardware).

Robustheit gegenüber Quantisierung: Die Studie zeigt, dass die Entkopplung von Claim-Extraktion und Verifizierung (unter Verwendung eines diskriminativen Encoders) das Urteil vor den Dekodierungs-Biases und Instabilitäten schützt, die quantisierte generative Modelle plagen.
Auditierbarkeit: Das Framework bietet einen „Claim-to-Span“-Audit-Trail, der Fehler lokalisiert, anstatt nur einen einzelnen skalaren Score zu liefern, was für das Human-in-the-Loop-Auditing entscheidend ist.
Operationale Machbarkeit: Durch den Betrieb vollständig auf 4-Bit-quantisierten Modellen mit einem VRAM-Bedarf von unter 1 GB bietet HallDetect eine praktische Alternative zu teuren „LLM-as-a-judge“-Paradigmen für die intrinsische Faktizitätsprüfung.

Die Autoren weisen explizit auf Limitationen hin, einschließlich des fehlenden Vergleichs mit spezialisierten diskriminativen Faktencheckern wie MiniCheck, der Unfähigkeit, extrinsische Fakten (Claims, die nicht in der Quelle enthalten sind) zu verifizieren, sowie des auf Recall ausgerichteten Betriebspunkts, der die Präzision in Szenarien mit niedriger Halluzinationsrate senken kann.