💻 computer science

A Multi-Layer Framework for Hallucination Detection and Mitigation in Large Language Models Using Retrieval Grounding and Small Language Model Verification

Dieses Paper schlägt ein mehrschichtiges Framework vor, das die faktische Zuverlässigkeit großer Sprachmodelle verbessert, indem es Antworten in atomare Behauptungen zerlegt, diese mittels Retrieval verankert und sie durch ein kleines Sprachmodell sowie neuro-symbolische Argumentation verifiziert, wodurch signifikante Leistungssteigerungen auf den Datensätzen HotpotQA und SciFact erzielt werden, während gleichzeitig Interpretierbarkeit und Recheneffizienz gewahrt bleiben.

Ursprüngliche Autoren: Md. Mahmudul Hasan, Israk Kayum Chowdhury, Md. Eliyas Akondo, Tanvir Ahammad, Khandaker Mohammad Mohi Uddin

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Md. Mahmudul Hasan, Israk Kayum Chowdhury, Md. Eliyas Akondo, Tanvir Ahammad, Khandaker Mohammad Mohi Uddin

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr talentierten, schnell sprechenden Geschichtenerzählers (das Large Language Model, oder LLM). Dieser Geschichtenerzähler kann eine Erzählung spinnen, die perfekt klingt, wunderbar fließt und unglaublich selbstbewusst wirkt. Aber hier ist der Haken: Manchmal erfindet dieser Geschichtenerzähler Dinge. Er könnte ein Datum, einen Ort oder einen Fakt erfinden, der plausibel klingt, aber tatsächlich falsch ist. Dies wird als „Halluzination“ bezeichnet.

Das Problem ist, dass die Geschichte so glatt klingt, dass Sie ihr vielleicht glauben, ohne sie zu überprüfen.

Dieses Paper schlägt einen neuen Weg vor, um die Arbeit des Geschichtenerzählers zu überprüfen, bevor Sie die fertige Version zu hören bekommen. Anstatt einfach der ganzen Geschichte zuzuhören und zu raten, ob sie wahr ist, haben die Autoren eine mehrschichtige Faktencheck-Fabrik gebaut. So funktioniert sie, Schritt für Schritt, unter Verwendung einfacher Analogien:

1. Der Geschichtenerzähler schreibt den Entwurf

Zuerst schreibt das LLM eine Antwort auf Ihre Frage. Sagen wir, Sie fragen: „Wer gewann den Nobelpreis für Physik im Jahr 1903?“
Das LLM könnte sagen: „Marie Curie gewann den Nobelpreis für Physik 1903, und sie gewann auch einen zweiten in Chemie im Jahr 1911.“
In dieser Phase behandelt das System diese Antwort als unverifiziert. Es ist nur ein Entwurf.

2. Die Geschichte in Lego-Steine zerlegen (Atomare Dekomposition)

Anstatt den ganzen Absatz auf einmal zu prüfen, zerlegt das System die Antwort in winzige, einzelne „Lego-Steine“ (atomare Behauptungen).

Stein 1: „Marie Curie gewann den Nobelpreis für Physik 1903.“
Stein 2: „Sie gewann einen zweiten in Chemie im Jahr 1911.“

Warum macht man das? Weil eine Geschichte zu 99 % wahr sein kann, aber eine einzige winzige Lüge enthält. Wenn Sie die ganze Geschichte prüfen, übersehen Sie vielleicht diese eine Lüge. Indem Sie jeden Stein einzeln prüfen, können Sie genau feststellen, wo der Fehler liegt.

3. Die Suche des Bibliothekars (Retrieval Grounding)

Nun schickt das System für jeden „Stein“ einen Bibliothekaren (ein Retrieval-System) in eine riesige Bibliothek von Dokumenten, um Beweise zu finden.

Der Bibliothekar sucht nach Büchern oder Artikeln, die über Marie Curie und 1903 sprechen.
Wenn der Bibliothekar ein Buch findet, das sagt: „Ja, sie gewann 1903“, erhält dieser Stein einen „Unterstützt“-Stempel.
Wenn der Bibliothekar ein Buch findet, das sagt: „Sie gewann 1905“, erhält er einen „Widersprochen“-Stempel.
Wenn der Bibliothekar mit leeren Händen zurückkehrt oder ein Buch findet, das zwar über sie, aber nicht über das Jahr spricht, erhält der Stein einen „Unsicher“-Stempel.

Wichtigste Erkenntnis: Das Paper fand heraus, dass das gesamte System zusammenbricht, wenn man diesen Schritt mit dem Bibliothekaren entfernt. Ohne echte Beweise aus der Bibliothek kann das System nicht zwischen Wahrheit und Lüge unterscheiden.

4. Der schnelle Prüf-Richter (Small Language Model Verification)

Als Nächstes holt das System einen Small Language Model (SLM) hinzu. Denken Sie an diesen als einen schnellen, effizienten Richter, der sehr gut darin ist, den „Stein“ und die „Notizen des Bibliothekars“ zu lesen und zu entscheiden: Ist dies wahr, falsch oder unklar?

Dieser Richter ist kleiner und schneller als der ursprüngliche Geschichtenerzähler.
Er sagt nicht nur „Wahr“ oder „Falsch“. Er gibt einen Konfidenzwert an. Zum Beispiel: „Ich bin mir zu 90 % sicher, dass dies wahr ist“ oder „Ich bin mir nur zu 40 % sicher“.
Wenn die Beweise schwach sind, sagt der Richter: „Ich kann mich noch nicht entscheiden“ (Unsicher), anstatt zu raten.

5. Der weise Älteste (Neuro-symbolische Argumentation)

Manchmal sind die Beweise knifflig. Vielleicht fand der Bibliothekar zwei Bücher, die sich widersprechen, oder der Richter ist verwirrt.
Hier kommt die Ebene der Neuro-symbolischen Argumentation ins Spiel. Denken Sie an dies als einen weisen Ältesten, der die Regeln der Logik kennt.

Wenn der Richter unsicher ist, wendet der Älteste strenge Regeln an (wie „Wenn das Datum falsch ist, ist die gesamte Behauptung falsch“).
Der Älteste kann die Behauptung auch korrigieren. Wenn das LLM „1911“ sagte, die Beweise aber „1903“ sagen, löscht der Älteste nicht einfach den Satz; er kann ihn umschreiben, sodass er „1903“ sagt.
Diese Ebene erklärt auch, warum eine Entscheidung getroffen wurde, was den Prozess transparent macht.

6. Der Abschlussbericht (Vertrauenskalibrierte Ausgabe)

Schließlich baut das System die Antwort unter Verwendung der Steine wieder auf, die die Prüfungen bestanden haben.

Wahre Steine bleiben bestehen.
Korrigierte Steine werden korrigiert.
Falsche Steine werden entfernt.
Unsichere Steine werden entweder entfernt oder mit dem Hinweis versehen: „Wir sind uns bei diesem Teil nicht sicher“.

Das System gibt Ihnen auch einen „Vertrauenswert“ (Trust Score). Es sagt Ihnen: „Ich bin zu 85 % sicher bei dieser Antwort.“ Wenn der Wert niedrig ist, wissen Sie, dass Sie vorsichtig sein müssen.

Was haben sie herausgefunden?

Die Forscher testeten diese Fabrik bei zwei Arten von Aufgaben:

Wissenschaftliche Faktenprüfung: Überprüfung, ob wissenschaftliche Behauptungen wahr waren.
Komplexe Fragen: Beantwortung von Fragen, die das Verknüpfen mehrerer Informationsteile erfordern.

Die Ergebnisse:

Der Bibliothekar ist der Schlüssel: Als sie den Bibliothekaren (den Retrieval-Schritt) entfernten, sank die Fähigkeit des Systems, die richtige Antwort zu finden, drastisch. Dies beweist, dass man echte Beweise braucht und nicht nur das Gedächtnis der KI.
Der kleine Richter leistet die Hauptarbeit: Der kleine, schnelle Richter (SLM) erledigte den Großteil der Arbeit bei der Entscheidung, ob Fakten wahr oder falsch sind. Der „weise Älteste“ (die Argumentationsebene) änderte die endgültige Bewertung in diesen Tests nicht wesentlich, war aber sehr gut darin, zu erklären, warum, und Fehler zu korrigieren.
Lieber vorsichtig als falsch: Das System ist darauf ausgelegt, vorsichtig zu sein. Es würde lieber sagen „Ich weiß es nicht“ (Unsicher), als zu raten und falsch zu liegen. Das bedeutet, es könnte einige wahre Fakten verpassen, aber es lügt selten mit Selbstvertrauen.

Das Fazament

Dieses Paper zeigt, dass man keinen Supercomputer braucht, um die Arbeit einer KI zu überprüfen. Indem man Antworten in kleine Teile zerlegt, sie gegen echte Dokumente prüft, eine schnelle „Mini-KI“ zur Beurteilung nutzt und einfache Logikregeln anwendet, kann man Lügen entlarven und Fehler korrigieren. Das Ergebnis ist eine KI, die nicht nur selbstbewusst klingt, sondern tatsächlich vertrauenswürdig ist.

Technisches Resümee: Ein mehrschichtiger Rahmen zur Erkennung und Minderung von Halluzinationen in Large Language Models

1. Problemstellung

Large Language Models (LLMs) generieren flüssigen und kohärenten Text, produzieren jedoch häufig „Halluzinationen“ – Aussagen, die faktisch falsch, nicht belegt oder unvollständig sind. Dieses Problem ist besonders kritisch in hochsensiblen Bereichen wie dem Gesundheitswesen, der Bildung und der wissenschaftlichen Forschung, in denen geringfügige Ungenauigkeiten zu erheblichen Missverständnissen oder fehlerhaften Entscheidungen führen können. Bestehende Erkennungsmethoden leiden oft unter mehreren Einschränkungen:

Grobe Granularität: Viele Ansätze bewerten die gesamte Antwort als eine einzige Einheit und versäumen es so, partielle Halluzinationen zu erkennen, bei denen eine Antwort größtenteils korrekt ist, aber spezifische falsche Aussagen enthält.
Mangelnde externe Fundierung: Methoden der Selbstkonsistenz oder der Analyse interner Zustände verlassen sich auf die eigenen Ausgaben oder verborgenen Zustände des Modells, was dieselben Fehler propagieren kann.
Rechenaufwand: Multi-Agenten-Debatten oder wiederholte Sampling-Methoden sind oft zu teuer für den Echtzeit-Einsatz.
Integrationslücken: Retrieval-Augmented Generation (RAG), Faktentverifikation und Unsicherheitsschätzung werden oft als separate Prozesse statt als einheitliche Pipeline behandelt.

Das Paper argumentiert für die Notwendigkeit, Antworten in atomare Behauptungen zu zerlegen, sie in externen Belegen zu fundieren, sie effizient zu verifizieren und unsichere Fälle durch strukturiertes Denken zu verfeinern.

2. Methodik

Die Autoren schlagen einen mehrschichtigen Rahmen (Multi-Layer Framework) vor, der Retrieval-Fundierung, atomare Behauptungs-Dekomposition, Verifikation durch Small Language Models (SLM) und neuro-symbolische Logik integriert. Die Pipeline operiert durch die folgenden Phasen:

2.1 Initiale Generierung und atomare Dekomposition

Generierung: Ein LLM generiert eine initiale Antwort ( $A_0$ ) auf eine Benutzeranfrage ( $Q$ ). Diese Antwort wird als unverifiziert behandelt.
Dekomposition: Das Framework zerlegt $A_0$ in eine Menge atomarer faktischer Behauptungen ( $F = \{f_1, f_2, ..., f_n\}$ ). Jede Behauptung ist eine in sich geschlossene, verifizierbare Proposition (z. B. die Trennung von „Marie Curie wurde in Warschau geboren“ und „Marie Curie gewann zwei Nobelpreise“). Nicht verifizierbare Inhalte (Meinungen, Stil) werden ausgeschlossen.

2.2 Ebene 1: Semantische Fundierung (Retrieval)

Für jede atomare Behauptung $f_i$ ruft das System relevante Belege ( $E_i$ ) aus einem Dokumentenkorpus ( $D$ ) mittels vektorbasierter semantischer Suche ab.
Behauptungen und Dokumentensegmente werden in dichte Vektoren kodiert, und die Kosinus-Ähnlichkeit wird verwendet, um die Top- $k$ relevantesten Belegstellen zu identifizieren.
Diese Ebene liefert den faktischen Kontext, der für die Verifikation notwendig ist, wodurch die Abhängigkeit vom internen Wissen des LLM reduziert wird.

2.3 Ebene 2: Unsicherheits- und Konsistenz-Gate (SLM-Verifikation)

Ein leichtgewichtiges Small Language Model (SLM), spezifisch Qwen2.5-1.5B-Instruct, fungiert als probabilistischer Verifizierer.
Das SLM erhält die Behauptung ( $f_i$ ), die abgerufenen Belege ( $E_i$ ) und die ursprüngliche Anfrage ( $Q$ ).
Es gibt Wahrscheinlichkeiten für drei Labels aus: SUPPORTED (gestützt), CONTRADICTED (widerlegt) und UNDER-SPECIFIED (unzureichend spezifiziert).
Kalibrierung: Das System berechnet die Unsicherheit (normalisierte Entropie) und wendet Entscheidungsschwellenwerte ( $\tau$ ) an. Um False Positives zu minimieren, wird in dem finalen System ein konservativer Schwellenwert ( $\tau \approx 0,6$ ) verwendet, obwohl ein niedrigerer Schwellenwert ( $\approx 0,40$ ) einen höheren F1-Score liefert. Behauptungen mit geringer Konfidenz werden als unsicher markiert, anstatt sie in eine binäre Entscheidung zu zwingen.

2.4 Ebene 3: Neuro-symbolische Logik

Diese Ebene verfeinert die Entscheidungen für Grenzfälle oder unsichere Fälle.
Sie verwendet einen vordefinierten Satz logischer Regeln (z. B. erfordern numerische Behauptungen explizite Belege) und ein Reasoning-LLM, um Behauptungen neu zu bewerten, bei denen die Konfidenz des SLM niedrig oder die Beweislage mehrdeutig ist.
Das Ergebnis ist ein verfeinertes Urteil: SUPPORTED (gestützt), CORRECTED (korrigierte Behauptung), REJECTED (abgelehnt) oder INSUFFICIENT (unzureichend), begleitet von einer natürlichen Spracherklärung ( $w_i$ ).

2.5 Vertrauenskalibrierte Ausgabe

Die finale Antwort ( $A^*$ ) wird unter Verwendung nur der validierten und korrigierten Behauptungen rekonstruiert.
Ein globaler Trust Score ( $T$ ) wird basierend auf den Support-Wahrscheinlichkeiten und der Unsicherheit der enthaltenen Behauptungen berechnet, um dem Benutzer einen Indikator für die Zuverlässigkeit zu liefern.

3. Zentrale Beiträge

Behauptungsebene-Dekomposition: Das Framework verschiebt die Halluzinationserkennung von einer Antwortebene-Evaluierung hin zu einer Analyse auf Ebene atomarer Behauptungen, was die Identifizierung partieller Halluzinationen innerhalb ansonsten korrekter Antworten ermöglicht.
Hybrider Verifikations-Pipeline: Es integriert Retrieval-Fundierung, SLM-basierte Verifikation und neuro-symbolische Logik in eine einzige Architektur. Dies kombiniert die Effizienz leichtgewichtiger Modelle mit der logischen Konsistenz regelbasierter Argumentation.
Unsicherheitsbewusstes Design: Durch die explizite Modellierung von Unsicherheit und die Verwendung konservativer Schwellenwerte priorisiert das System die Vermeidung falscher „SUPPORTED“-Labels gegenüber der Maximierung des Recalls, was es für Anwendungen mit hohem Vertrauensbedarf geeignet macht.
Interpretierbarkeit: Das System generiert Erklärungen dafür, warum Behauptungen akzeptiert, abgelehnt oder korrigiert wurden, und stellt einen globalen Vertrauenswert bereit, was die Transparenz erhöht.

4. Experimentelle Ergebnisse

Das Framework wurde auf zwei Datensätzen evaluiert: SciFact (wissenschaftliche Behauptungsverifikation) und HotpotQA (Multi-Hop-Fragenbeantwortung).

4.1 Leistungsmetriken

SciFact: Das vollständige Framework erreichte eine Genauigkeit von 0,511 und einen Macro-F1-Score von 0,504.
- Beobachtung: Die „No-Reasoner“-Variante performte nahezu identisch, was darauf hindeutet, dass der SLM-Verifier den Großteil der strukturierten Klassifikation für diesen Datensatz übernimmt.
HotpotQA: Die vollständige Pipeline erreichte einen Token-Level F1-Score von 0,146.
- Ablationsstudie: Das Entfernen der Retrieval-Komponente verursachte einen drastischen Leistungsabfall (F1 sank auf 0,034), was verdeutlicht, dass die Retrieval-Fundierung die kritischste Komponente für die Antwortqualität ist.
- Das Entfernen der Reasoning-Ebene oder des SLM-Verifiers hatte einen minimalen Einfluss auf den Token-Level F1-Score, beeinflusste jedoch das Verifikationsverhalten und die Interpretierbarkeit.

4.2 Verifikationsverhalten und Kalibrierung

Konservative Strategie: Das Modell klassifiziert Behauptungen häufig als UNDER-SPECIFIED (42,7 % der Behauptungen), wenn die Belege schwach sind, anstatt zu raten. Dies reduziert False Positives, senkt aber den Recall für gestützte Behauptungen.
Konfidenz-Kalibrierung: Der ROC-AUC lag bei 0,87, und die Kalibrierungskurve zeigte, dass höhere Konfidenzwerte im Allgemeinen mit höherer Korrektheit korrelierten. Das System unterscheidet effektiv zwischen gestützten, widerlegten und unsicheren Behauptungen.
Schwellenwert-Sensitivität: Während der optimale F1-Score bei einem Schwellenwert von $\approx 0,40$ auftrat, verwendet das finale System einen strengeren Schwellenwert ( $\approx 0,6$ ), um die Präzision sicherzustellen und das Risiko zu minimieren, ungestützte Behauptungen zu validieren.

4.3 Effizienz

Die vollständige Pipeline benötigt durchschnittlich 20,6 Sekunden pro Abfrage.
Der SLM-Verifikationsschritt macht den Großteil der Latenz aus, während das Retrieval nur minimale Overhead verursacht. Dies ist signifikant effizienter als Multi-Agenten-Debatten oder wiederholtes Sampling großer Modelle.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass dieser Rahmen ein praktisches Gleichgewicht zwischen Genauigkeit, Zuverlässigkeit, Interpretierbarkeit und Rechenkosten bietet. Seine Bedeutung liegt in:

Minderung partieller Halluzinationen: Durch die Verifikation einzelner Behauptungen kann das System spezifische Fehler korrigieren, ohne die gesamte Antwort zu verwerfen.
Reduzierung der Rechenlast: Die Verwendung eines kleinen, spezialisierten Verifiers (SLM) anstelle von wiederholten Abfragen eines großen LLMs macht das System für den realen Einsatz praktikabel.
Vertrauenskalibrierung: Das System gibt nicht nur eine Antwort aus, sondern liefert auch einen Vertrauenswert und eine Erklärung, sodass Benutzer die Zuverlässigkeit der Informationen einschätzen können.
Evidenzgestützte Zuverlässigkeit: Die Ergebnisse zeigen, dass ohne Retrieval-Fundierung die Verifikationsleistung zusammenbricht, was beweist, dass externe Belege für die faktische Zuverlässigkeit essenziell sind.

Die Autoren kommen zu dem Schluss, dass das System zwar konservativ bleibt (potenziell einige gestützte Behauptungen zu übersehen, um Fehler zu vermeiden), dieser Trade-off jedoch für Anwendungen mit hohem Einsatzrisiko notwendig ist, bei denen eine sichere, aber falsche Antwort schädlicher ist als eine unsichere Antwort. Als zukünftige Arbeit wird vorgeschlagen, die Retrieval-Qualität zu verbessern, Reasoning-Regeln zu erweitieren und das Framework in breiteren Open-Domain-Kontexten zu testen.