🤖 AI

CiteCheck: Retrieval-Grounded Detection of LLM Citation Hallucinations in Scientific Text

Das Papier stellt CiteCheck vor, ein hybrides Framework, das wissenschaftliche Retrieval-Verfahren mit einer strukturierten Verifikation durch Large Language Models kombiniert, um Zitationshalluzinationen in wissenschaftlichen Texten präzise zu erkennen, und das auf einem neu erstellten Physik-Benchmark im Vergleich zu bestehenden Baselines eine überlegene Leistung erzielt.

Ursprüngliche Autoren: Khashayar Khajavi, Shaghayegh Sadeghi, Rise Adhikari, Alexander Tessier

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Khashayar Khajavi, Shaghayegh Sadeghi, Rise Adhikari, Alexander Tessier

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lesen einen wissenschaftlichen Bericht, der von einem sehr selbstbewussten, sehr schnellen Roboter verfasst wurde. Der Roboter schreibt prächtig, doch wenn er die Bücher und Papers auflistet, die er als Quellen verwendet, erfindet er manchmal Dinge. Er könnte einen Buchtitel erfinden, den Namen des Autors vertauschen oder sogar ein ganzes Paper erschaffen, das nie existiert hat. Dies wird als „Zitationshalluzination" bezeichnet.

Das von Ihnen bereitgestellte Papier stellt ein neues Werkzeug namens CITECHECK vor, um diese Fehler aufzudecken. Betrachten Sie CITECHECK nicht als einen Roboter, der rät, sondern als einen Super-Ermittler-Bibliothekar mit einer spezifischen Aufgabe: zu überprüfen, ob eine Referenz echt ist und ob die Details korrekt sind.

So funktioniert CITECHECK, aufgeschlüsselt in einfache Schritte:

1. Die „Bibliothekssuche" (Retrieval)

Wenn CITECHECK eine Zitation sieht (wie „Smith, 2023, The Physics of Stars"), vertraut es nicht einfach dem Gedächtnis des Roboters. Stattdessen agiert es wie ein Bibliothekar, der sofort zu den Regalen (oder ins Internet) läuft, um das tatsächliche Buch zu finden.

Es durchsucht mehrere Datenbanken (wie CrossRef, Semantic Scholar und arXiv), um das echte Paper zu finden, das zum Titel passt.
Wenn es keine Übereinstimmung findet, weiß es sofort, dass die Zitation wahrscheinlich gefälscht ist.

2. Das „Finde-den-Unterschied"-Spiel (Verification)

Sobald der Bibliothekar das echte Buch gefunden hat, stellt CITECHECK die Zitation des Roboters Seite an Seite mit dem Cover und den Details des echten Buches dar.

Es verwendet einen intelligenten KI-„Richter", um sie zu vergleichen.
Die Punktzahl: Der Richter gibt der Zitation eine Punktzahl von 0 bis 10.
- 10 (Exakte Übereinstimmung): Der Roboter hat alles richtig gemacht.
- 6 oder 7 (Geringfügige Halluzination): Das Buch existiert, aber der Roboter hat das Jahr falsch angegeben, den Namen des Autors falsch geschrieben oder die URL leicht verändert. Es ist, als würde man eine Pizza bestellen und die richtigen Beläge erhalten, aber den falschen Boden.
- 0 oder 1 (Schwere Halluzination): Das Buch existiert überhaupt nicht, oder der Roboter beschreibt ein völlig anderes Buch. Es ist, als würde man eine Pizza bestellen und ein Sandwich erhalten, das nicht existiert.

3. Die „Zweite Meinung" (Reviewer Pass)

Manchmal ist der Roboter trickreich. Er könnte Ihnen eine echte URL geben (wie einen Link zu einem echten Paper), aber sie mit einem gefälschten Titel oder Autor kombinieren. Es ist, als würde man Ihnen eine echte Adresse geben, aber behaupten, eine andere Person wohne dort.

CITECHECK hat einen „Reviewer"-Schritt für diese verdächtigen Fälle. Eine zweite KI schaut genau hin, um sicherzustellen, dass Titel und Autoren tatsächlich zum Link passen, nicht nur der Link selbst.

Der „Trainingsplatz" (Der Benchmark)

Um zu beweisen, dass ihr Werkzeug funktioniert, bauten die Autoren einen „Trainingsplatz" für das System. Sie nahmen 982 echte Physik-Zitationen und erstellten zwei Arten von gefälschten Versionen:

Geringfügige Fälschungen: Echte Papers mit kleinen, hinterhältigen Fehlern (wie das Ändern von „2023" zu „2024").
Schwere Fälschungen: Völlig erfundene Papers, die plausibel klingen, aber nicht existieren.

Die Ergebnisse: Der Ermittler gewinnt

Als sie CITECHECK gegen andere große KI-Modelle (wie GPT, Claude und Gemini) testeten, waren die Ergebnisse klar:

CITECHECK war der Beste. Es identifizierte echte gegenüber gefälschten Zitationen zu 89 % der Zeit korrekt.
Warum es gewann: Die anderen KI-Modelle versuchten, aus ihrem Gedächtnis zu raten oder einfach nur den Text zu lesen. CITECHECK gewann, weil es tatsächlich hinauszog und die Fakten gegen echte Datenbanken überprüfte, bevor es eine Entscheidung traf.
Selbst wenn den anderen KIs „Spickzettel" (Beispiele dafür, wonach man suchen sollte) gegeben wurden oder ihnen erlaubt wurde, das Internet zu nutzen, konnten sie die Methode von CITECHECK „Zuerst suchen, dann vergleichen" nicht schlagen.

Das Fazit

Das Papier behauptet, dass man, um zu verhindern, dass KI über ihre Quellen lügt, die KI nicht einfach bitten kann, „ehrlich zu sein". Man braucht ein System, das zuerst die echten Beweise herbeischafft und dann einen strukturierten Vergleich verwendet, um die Lügen aufzudecken. CITECHECK tut genau das und fungiert als zuverlässiger Faktenprüfer für wissenschaftliches Schreiben.

Technische Zusammenfassung: CITECHECK

Problemstellung

Large Language Models (LLMs) werden zunehmend in wissenschaftliche Workflows integriert, einschließlich der Manuskripterstellung und der Generierung von Berichten. Ein kritisches Zuverlässigkeitsproblem besteht jedoch weiterhin: LLMs erzeugen häufig „Zitationshalluzinationen". Dabei handelt es sich um Referenzen, die stilistisch legitim wirken, aber korrupte Metadaten enthalten (z. B. falsche Autoren, Jahreszahlen oder DOIs) oder auf vollständig nicht existierende Arbeiten verweisen. Solche Fehler untergraben die Nachverfolgbarkeit, Zuordnung und Reproduzierbarkeit wissenschaftlicher Kommunikation. Bestehende Verifikationsmethoden verlassen sich oft auf das interne parametrische Wissen des Modells oder einfache Websuchen, die Schwierigkeiten haben, zwischen subtilen Metadaten-Drifts und vollständiger Fälschung zu unterscheiden, oder die Verifikation nicht in strukturierte wissenschaftliche Evidenz verankern.

Methodik: Das CITECHECK-Framework

CITECHECK ist ein hybrides Framework, das entwickelt wurde, um Zitationshalluzinationen zu erkennen, indem jede Referenz in externen wissenschaftlichen Quellen verankert wird, anstatt sich auf das interne Wissen des LLM zu verlassen. Das System arbeitet durch eine strukturierte Pipeline, die aus vier Hauptphasen besteht:

1. Metadaten-Extraktion

Das System analysiert zunächst einen rohen Zitationsstring in strukturierte Felder (Titel, Autoren, Jahr, URL, DOI, arXiv-ID). Es verwendet einen regelbasierten Parser für Standardmuster und ruft nur dann einen LLM-basierten Parser auf, wenn die deterministische Extraktion fehlschlägt. Dieser Schritt erzeugt Abrufsignale, ohne die Gültigkeit zu bestimmen.

2. Kaskade zur Kandidaten-Abrufung

CITECHECK versucht, die der Zitation entsprechende reale Publikation mithilfe einer Wasserfall-Kaskade über mehrere externe Quellen zu lokalisieren:

Direkte Suche: Wenn eine arXiv-Identifikator vorhanden ist, wird zunächst eine direkte arXiv-Suche durchgeführt.
Strukturierte APIs: Das System befragt CrossRef, Semantic Scholar und OpenAlex mittels titelbasierter Suchen.
Web-Suche als Fallback: Wenn strukturierte Quellen keinen zuverlässigen Treffer zurückgeben, wird eine LLM-unterstützte Websuche ausgelöst.
Auswahllogik: Kandidaten werden basierend auf der normalisierten Levenshtein-Ähnlichkeit zwischen dem bereinigten Zitier-Titel und dem Kandidaten-Titel akzeptiert, ergänzt durch zusätzliche Konfidenzschwellen (z. B. von CrossRef) und jahresbasierte Ranking-Signale.

3. Strukturierte LLM-Verifikation

Sobald eine Kandidaten-Publikation abgerufen wurde, vergleicht ein Verifier-LLM die ursprünglichen Zitationsmetadaten mit den Metadaten des abgerufenen Kandidaten. Im Gegensatz zu Standard-Klassifizierungs-Prompts gibt der Verifier Folgendes aus:

Eine numerische Punktzahl (0–10), die den Grad der Übereinstimmung darstellt.
Ein Konfidenzniveau und eine kurze Begründung.
Die Identifizierung spezifischer Diskrepanzen.
Das System verwendet eine numerische Punktzahl, um kalibrierte Entscheidungsgrenzen zu ermöglichen, anstatt sich auf die kategorische Kennzeichnung des Modells zu verlassen, die inkonsistent sein kann.

4. Schwellenwertbildung und Reviewer-Pass

Die numerische Punktzahl wird unter Verwendung fester Schwellenwerte ( $\tau_M$ und $\tau_E$ ), die auf einem Validierungsdatensatz bestimmt wurden, auf drei Labels abgebildet:

EXAKT: Die Zitation beschreibt die reale Publikation getreu ( $s \ge \tau_E$ ).
MINOR: Das beabsichtigte Papier existiert, aber die Metadatenfelder sind korrupt ( $\tau_M \le s < \tau_E$ ).
MAJOR: Keine übereinstimmende Publikation existiert, oder der Kandidat ist zu unähnlich ( $s < \tau_M$ ).

Ein „Reviewer-Pass" wird für verdächtige Fälle angewendet, bei denen eine Identifikator (URL/arXiv-ID) auf ein reales Papier verweist, die Titelähnlichkeit jedoch gering ist. Ein zweiter LLM-Richter bewertet diese Fälle erneut, um sicherzustellen, dass der Zitattext die Quelle genau beschreibt, und verhindert so False Positives, bei denen ein gültiger Link mit gefälschten Metadaten gepaart ist.

Datensatzkonstruktion

Zur Evaluierung des Frameworks erstellten die Autoren einen Benchmark mit 982 Zitierungen, die aus der Physikliteratur stammen und neun Teilbereiche abdecken (z. B. Astrophysik, kondensierte Materie, Quantencomputing).

Kontrollierte Korruptionen: Der Datensatz umfasst gültige Zitierungen, „minor Halluzinationen" (Metadaten-Drift wie veränderte Autoren oder Jahreszahlen bei Beibehaltung der Papieridentität) und „major Halluzinationen" (vollständig gefälschte Referenzen, die thematisch plausibel bleiben).
Generierung: Die Korruptionen wurden mit GPT-4o-mini unter spezifischen Temperatureinstellungen generiert, um Transkriptionsfehler (minor) und erhebliche Fälschungen (major) zu simulieren.
Ausgewogenheit: Der finale Benchmark ist über die drei Klassen hinweg annähernd ausgewogen (36,25 % gültig, 30,55 % minor, 33,20 % major).

Ergebnisse

Auf einem zurückgehaltenen Testset von 792 Zitierungen erzielt CITECHECK:

88,9 % Genauigkeit
88,7 Macro-F1

Vergleichende Leistung:

CITECHECK übertraf direkte LLM-Baselines (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Flash) sowohl im Zero-Shot- als auch im Few-Shot-Setting.
Es übertraf die stärkste Baseline (Claude Sonnet 4.6 mit Websuche und Few-Shot-Beispielen) um 5,8 Macro-F1-Punkte und 5,7 Genauigkeitspunkte.
Bemerkenswerterweise erreichte CITECHECK dies, während es im Verifikationsstadium zero-shot blieb, was zeigt, dass eine durch Abruf verankerte Verifikation effektiver ist als reine In-Context-Supervision oder Prompting.
Ablationsstudien: Das Entfernen des Web-Suche-Fallbacks reduzierte den Macro-F1 um 7,0 Punkte, und das Entfernen des Reviewer-Pass reduzierte ihn um 4,0 Punkte. Dies bestätigt die Notwendigkeit sowohl einer breiten Abrufstrategie als auch einer gezielten Überprüfung zur Bewältigung subtiler Metadaten-Drifts.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass eine zuverlässige Zitationsverifikation einen Wechsel erfordert: weg vom Verlassen auf das interne Wissen des LLM hin zu einer Pipeline, die wissenschaftlichen Abruf, strukturierten LLM-basierten Vergleich und kalibrierte Entscheidungsregeln kombiniert.

Die von den Autoren hervorgehobenen wichtigsten Erkenntnisse umfassen:

Abruf ist essenziell: Selbst starke LLMs haben Schwierigkeiten, Halluzinationen ohne Zugriff auf externe Evidenz zu erkennen; die Websuche verbessert die Baseline-Leistung erheblich, ist aber ohne strukturierten Vergleich allein unzureichend.
Strukturierter Vergleich statt Prompting: Die Behandlung der Verifikation als Kandidatenabruf gefolgt von Metadatenvergleich führt zu einer höheren Genauigkeit als direktes Prompting, insbesondere bei „minor" Halluzinationen, bei denen das Papier existiert, die Metadaten jedoch korrupt sind.
Granulare Erkennung: Das Framework unterscheidet erfolgreich zwischen exakten Übereinstimmungen, minor Metadatenfehlern und major Fälschungen, eine Nuance, die bei der binären „echt vs. gefälscht"-Erkennung oft verloren geht.

Die Autoren schließen, dass CITECHECK eine Grundlage für umfassendere Verifikationspipelines für KI-generierte wissenschaftliche Texte bietet, obwohl sie Einschränkungen bezüglich des aktuellen Fokus auf die Physik und die Notwendigkeit zukünftiger Arbeiten an natürlich vorkommenden, von LLMs generierten Bibliografien sowie Claim-Level-Alignment anerkennen.