Stellen Sie sich vor, Sie schreiben einen Schulbericht über die Geschichte der Raumfahrt. Um klug zu wirken, fügen Sie am Ende eine Liste von Quellen hinzu. Aber was wäre, wenn einige dieser Quellen erfunden sind? Was, wenn der Buchtitel echt klingt, der Name des Autors ein berühmter Wissenschaftler ist und der Verlag ein realer Ort ist, das Buch selbst aber nie existiert hat? Dies wird als „Halluzination“ bezeichnet. In der Welt der Künstlichen Intelligenz (KI) sind Large Language Models (LLMs) wie superintelligente Schüler, die in Sekundenschnelle Aufsätze und Zusammenfassungen schreiben können. Doch manchmal werden sie so selbstbewusst, dass sie erfundene Referenzen erfinden, um gut auszusehen. Dies ist ein großes Problem für die Wissenschaft, denn wenn Forscher diese gefälschten Zitate verwenden, bricht die gesamte Kette des Wissens ab. Um dies zu beheben, entwickeln Wissenschaftler „Zitations-Verifizierer“ – digitale Werkzeuge, die darauf ausgelegt sind, zu prüfen, ob eine Referenz echt oder eine Lüge ist. Aber bis jetzt gab es keinen fairen Weg, um zu testen, welches Werkzeug der beste Detektiv war, da alle ihre Werkzeuge an unterschiedlichen, chaotischen Sätzen falscher Arbeiten testeten.

Hier kommt HALLMARK ins Spiel, eine neue Studie, die wie eine große, organisierte „Prüfung“ für diese Zitationsprüf-Werkzeuge fungiert. Die Forscher erstellte eine riesige Testdatenbank aus 2.526 falschen und echten Referenzen, die von offensichtlichen Lügen (wie einem Buch, das im Jahr 3000 veröffentlicht wurde) bis hin zu kniffligen Tricks (wie einem echten Autor, der mit einem gefälschten Titel kombiniert wurde) reicht. Sie ließen dann 13 verschiedene Werkzeuge durchspielen, darunter einfache Datenbank-Checker und fortgeschrittene KI-Modelle. Die Studie ergab eine überraschende Wahrheit: Das Wichtigste für einen Zitationsprüfer ist nicht, wie viele Lügen er erwischt, sondern wie oft er eine echte Arbeit fälschlicherweise als Lüge bezeichnet. Wenn ein Werkzeug zu aggressiv ist, markiert es so viele echte Arbeiten als falsch, dass niemand mehr seinen Warnungen traut. Das Paper fand auch heraus, dass die meisten KI-Werkzeuge durch den „Trainings-Cutoff“ (das Datum, an dem ihr Wissen endet) verwirrt werden und oft neue, echte Arbeiten als falsch markieren, weil sie sie nicht erkennen. Während die besten Werkzeuge die Fälschungen erkennen können, legt die Studie nahe, dass die wahre Herausforderung darin besteht, ein Gleichgewicht zu finden, bei dem das Werkzeug schlau genug ist, die Lügen zu finden, ohne bei allem, was es nicht kennt, „Fake!“ zu schreien.

Das große Problem: Die „Fake-Referenz“-Epidemie

Stellen Sie sich vor, Sie sind ein Bibliothekar. Jemand reicht Ihnen einen Stapel Bücher und sagt: „Das sind die Quellen für meine Recherche.“ Sie prüfen das erste Exemplar, und es sieht perfekt aus. Sie prüfen das zweite, und es ist auch großartig. Aber dann stellen Sie fest, dass das dritte Buch nicht in der Bibliothek existiert und das vierte erst nächstes Jahr veröffentlicht wird. Genau das passiert, wenn KI-Modelle Texte generieren. Sie sind so gut darin, selbstbewusst zu klingen, dass sie manchmal Referenzen erfinden, die echt aussehen, aber völlig ausgedacht sind. Dies nennt man eine Zitations-Halluzination.

In der Vergangenheit haben Menschen diese Referenzen überprüft. Aber jetzt, da KI so viel schreibt, brauchen wir automatisierte Werkzeuge für die Überprüfung. Das Problem ist, dass jedes Werkzeug behauptet, das beste zu sein, aber sie werden alle an unterschiedlichen Dingen getestet. Es ist, als hätte man drei verschiedene Feueralarme, die in drei verschiedenen Häusern mit unterschiedlichen Arten von Rauch getestet werden; man kann nicht wissen, welcher Alarm tatsächlich der beste ist, bis man sie alle im selben Gebäude mit demsjemigen Rauch testet.

Die Lösung: HALLMARK (Die große Zitations-Prüfung)

Die Autoren dieses Papers haben HALLMARK gebaut, was für „Hallucination benchmark“ steht. Betrachten Sie es als einen riesigen, standardisierten Test für Zitationsprüfer. Sie haben den Werkzeugen nicht einfach nur zufällige falsche Arbeiten vorgeworfen; sie erstellten eine strukturierte Prüfung mit drei Schwierigkeitsstufen:

1. Stufe 1 (Einfach): Dies sind offensichtliche Lügen. Wie eine DOI (eine digitale Identität für ein Paper), die nicht funktioniert, oder ein Konferenzname, der erfunden wurde. Eine einfache Suche sollte dies aufdecken.
2. Stufe 2 (Mittel): Diese sind kniffliger. Stellen Sie sich einen echten Autor und eine echte Konferenz vor, aber der Titel des Papers ist gefälscht. Oder ein echtes Paper, das an der falschen Konferenz zitiert wird. Man muss die Details abgleichen, um dies zu entlarven.
3. Stufe 3 (Schwer): Dies sind die „Meisterwerke“ der Lüge. Das Paper ist komplett erfunden, klingt aber so realistisch, dass selbst ein Mensch es glauben könnte. Oder der Titel unterscheidet sich nur durch ein einziges Wort von einem echten Paper (wie „Attention is All You Need" vs. „Attention is All You Want“).

Die Testdatenbank enthält 2.526 Einträge. Einige sind echte Paper, die aus einer Datenbank extrahiert wurden, und andere sind gefälschte, die von Menschen, von KI oder durch systematisches Verändern echter Paper erstellt wurden. Entscheidend ist, dass sie sichergestellt haben, dass die „falschen“ Paper nicht in den Trainingsdaten der getesteten KI-Werkzeuge enthalten waren, damit die Tools die Antworten nicht einfach „auswendig lernen“ konnten.

Die drei großen Entdeckungen

Die Forscher testeten 13 verschiedene Werkzeuge, von einfachen Datenbank-Abfragen bis hin zu fortgeschrittenen KI-Agenten, die das Internet durchsuchen können. Hier ist, was sie fanden:

1. Die „Fehlalarm“-Falle

Die größte Überraschung war, dass die False Positive Rate (FPR) – also die Falsch-Positiv-Rate – die wichtigste Zahl ist, nicht die Anzahl der Lügen, die das Werkzeug erwischt (Recall).

• Die Analogie: Stellen Sie sich einen Sicherheitsmann bei einem Konzert vor. Wenn der Wachmann 100 Leute kontrolliert, um ihre Tickets zu prüfen, und 99 von ihnen tatsächlich Fans mit gültigen Tickets sind, ist der Wachmann nutzlos, selbst wenn er die eine Person erwischt hat, die kein Ticket hatte.
• Das Ergebnis: Einige Werkzeuge waren wie dieser übereifrige Wachmann. Sie erfassten fast alle gefälschten Paper (hoher Recall), aber sie markierten auch so viele echte Paper als falsch (hohe False Positives), dass die Ergebnisse unbrauchbar waren. Die Studie fand heraus, dass bei einer realistischen Rate von gefälschten Papern (etwa 2 %) ein Werkzeug mit einer hohen Falsch-Positiv-Rate bei 36 Mal Alarm 35 Mal falsch läge. Die besten Werkzeuge waren jene, die vorsichtig waren und nur Dinge markierten, bei denen sie sich sicher waren, dass sie falsch waren, selbst wenn sie einige Fälschungen übersahen.

2. Das „Agenten“-Paradoxon

Die Forscher versuchten, den KI-Werkzeugen „Superkräfte“ zu geben, indem sie ihnen erlaubten, Suchmaschinen und Datenbanken zu nutzen, um Referenzen zu prüfen (sogenannte „agentic lookups“).

• Das Ergebnis: Man könnte denken, dass es die Werkzeuge intelligenter macht, wenn man ihnen mehr Informationen gibt. Aber oft machte es sie schlechter in Bezug auf die Genauigkeit. Wenn die KI angewiesen wurde, mehrere Datenbanken zu durchsuchen, neigte sie dazu, ein Paper als falsch zu markieren, wenn auch nur eine einzige Datenbank es nicht finden konnte. Da echte Paper manchmal nicht in jeder einzelnen Datenbank vorhanden sind, fing die KI an, echte Paper als falsch zu markieren. Es war wie ein Detektiv, der jemanden verhaftet, nur weil ein einziger Zeuge ihn nicht erkannt hat, während die anderen Zeugen sagten, er sei unschuldig. Die Studie zeigte, dass diese „agentischen“ Werkzeuge ihre Fehlalarme im Vergleich zu dem, was sie mit ihrem eigenen Wissen erreicht hätten, um etwa das Fünffache erhöhten.

3. Die „Training Cutoff“-Blindheit

KI-Modelle werden auf Daten bis zu einem bestimmten Datum trainiert (ihr „Cutoff“). Sie wissen nichts über Dinge, die nach diesem Zeitpunkt passiert sind.

• Das Ergebnis: Als die Forscher die Werkzeuge an Papern testeten, die in den Jahren 2024 und 2025 veröffentlicht wurden (nach den meisten Trainings-Cutoffs), drehten die Werkzeuge durch. Sie fingen an, fast jedes neue Paper als falsch zu markieren, weil sie die Autoren oder die Publikationsorte nicht kannten. Es war wie ein Bibliothekar, der nur Bücher kennt, die vor 2020 veröffentlicht wurden, und plötzlich behauptet, dass jedes neue Buch gar nicht existiert. Nur die neuesten Modelle (mit den aktuellsten Trainingsdaten) schafften es, ruhig zu bleiben und nicht zu viele neue Paper als falsch zu markieren.

Was dies für die Zukunft bedeutet

Das Paper kommt zu dem Schluss, dass es nicht das eine „perfekte“ Werkzeug gibt. Das richtige Werkzeug hängt von der Situation ab:

• Für eine schnelle Prüfung: Ein einfaches, regelbasiertes Werkzeug (wie das der Autoren entwickelte bibtex-updater) ist großartig, weil es selten Fehlalarme auslöst, auch wenn es einige knifflige Lügen übersieht.
• Für eine Tiefenanalyse: Wenn man jede einzelne Lüge finden muss und bereit ist, die Fehlalarme später von einem Menschen überprüfen zu lassen, kann ein aggressiveres KI-Werkzeug besser sein.

Die Studie betont, dass das Vertrauen in die Wissenschaft davon abhängt, dass diese Werkzeuge nicht nur Lügen entlarven, sondern auch nicht über die Wahrheit lügen. Wenn ein Werkzeug zu viele echte Paper als falsch markiert, werden Forscher aufhören, ihm zu vertrauen, und die gefälschten Paper werden durchrutschen. Die Autoren legen nahe, dass die Zukunft der Zitationsprüfung in Werkzeugen liegt, die vorsichtig, kalibriert und sich ihrer eigenen Grenzen bewusst sind, anstatt in Werkzeugen, die einfach nur laut und aggressiv sind.

Kurz gesagt: HALLMARK hat nicht nur einen Gewinner gefunden; es hat uns gelehrt, wie man die Richter beurteilt. Es hat gezeigt, dass es im Kampf gegen gefälschte Referenzen oft wichtiger ist, vorsichtig zu sein, als schnell zu sein, und dass es manchmal die mächtigste Fähre ist, zu wissen, was man nicht weiß.