What Citations Get Wrong: A Full-Corpus Audit of Reference Existence and Claim Support in a Major NLP Conference
Diese Arbeit prüft die ACL 2026 Proceedings und stellt fest, dass, obwohl fast alle zitierten Referenzen existieren, eine automatisierte Prüfung der Belegführung in einem einzelnen Durchlauf aufgrund einer nicht protokollierten Modellkonfiguration nicht repliziert werden konnte, was zeigt, dass eine rigorose Zitatverifizierung eine strikte operative Protokollierung erfordert, um die Reproduzierbarkeit zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der riesigen Bibliothek der modernen Wissenschaft ist eine Zitierung mehr als nur ein Name in einer Liste; sie ist ein Versprechen. Wenn ein Autor einen Satz schreibt und auf ein anderes Papier verweist, gibt er zwei unterschiedliche Zusagen. Erstens verspricht er, dass das Papier, auf das er verweist, tatsächlich existiert und gefunden werden kann. Zweitens, und weitaus schwieriger zu überprüfen, verspricht er, dass das Papier tatsächlich das aussagt, was der Autor behauptet. Seit Jahrzehnten sorgt sich die wissenschaftliche Gemeinschaft primär um das erste Versprechen, insbesondere mit dem Aufstieg der künstlichen Intelligenz. Es wächst die Angst, dass Computerprogramme fiktive Arbeiten erfinden und Literaturverzeichnisse mit Titeln und Autoren füllen, die niemals existiert haben, wodurch den wissenschaftlichen Rekord effektiv mit Fiktion kontaminiert wird. Diese Angst war laut, aber die Beweise zur Stützung dieser Sorge waren dünn. Unterdessen erhielt das zweite Versprechen – die Richtigkeit der Behauptung selbst – weit weniger Aufmerksamkeit, obwohl es der ältere, fundamentalere Test dafür ist, ob ein Wissenschaftler die Wahrheit über seine Quellen sagt.
Ein Forscher namens Tao An beschloss, beide Versprechen gleichzeitig zu testen, nicht an einer kleinen Stichprobe, sondern an einem gesamten Jahr an Veröffentlichungen einer bedeutenden Konferenz für Informatik. Das Team auditierte jeden einzelnen Verweis in den Proceedings der Association for Computational Linguistics aus dem Jahr 2026, einer Sammlung, die fast 4.500 Arbeiten und über 200.000 Referenzen umfasst, um zu prüfen, ob diese auf reale Dokumente verwiesen. Für eine kleinere, gestichprobenartige Teilmenge dieser Zitate prüften sie zudem, ob das Dokument die zitierte Aussage tatsächlich stützte. Das Ziel war es zu sehen, ob die Angst vor KI-generierten, gefälschten Referenzen in der Realität begründet war und um zu messen, wie oft ein Autor das, was seine Quellen tatsächlich sagen, falsch darstellt.
Die Untersuchung begann mit dem ersten Versprechen: der Existenz. Die Forscher bauten ein System auf, um zu prüfen, ob jeder einzelne Verweis auf ein reales, abrufbares Werk hinweist. Sie fanden heraus, dass die überwiegende Mehrheit der Referenzen, etwa 91 Prozent, erfolgreich zu realer Literatur führte. Die geringe Anzahl von Referenzen, die nicht übereinstimmten, waren keineswegs gefälschte Arbeiten; es handelte sich vielmehr um Dinge wie Blogposts, Softwaredokumentationen oder Parsing-Fehler, bei denen der Computer den Text falsch gelesen hatte. Als das Team den winzigen Bruchteil der Referenzen manuell überprüfte, die verdächtig erschienen, fanden sie lediglich zwei Fälle unter fast 210.000, in denen bestätigt wurde, dass ein Papier völlig nichtexistent war. Dieses Ergebnis legt nahe, dass die Angst, die KI würde die Literatur mit erfundenen Papieren füllen, auf dieser bedeutenden Plattform weitgehend unbegründet ist. Die Referenzen sind fast immer real.
Die Geschichte änderte sich jedoch vollkommen, als die Forscher zum zweiten Versprechen übergingen: ob das zitierte Papier die Behauptung tatsächlich stützte. Dies ist eine viel schwierigere Aufgabe, die erfordert, dass das System das zitierte Papier liest und es mit dem Satz vergleicht, der es referenziert. Das Team nutzte einen zweistufigen Prozess unter Einsatz von Computermodellen, um Zitate zu markieren, die ihre Quellen scheinbar falsch darstellten. In ihrem ersten Versuch markierte das System eine sehr geringe Anzahl von Fehlern, was darauf hindeutete, dass die Autoren weitgehend korrekt vorgingen. Doch als die Forscher exakt denselben Prozess erneut durchführten, unter Verwendung desselben Computercodes und derselben Arbeiten, waren die Ergebnisse völlig unterschiedlich. Der zweite und dritte Durchlauf fanden eine Zahl von Fehlern, die etwa sechsmal höher war als beim ersten Durchlauf.
Diese Inkonsistenz wurde zum wichtigsten Ergebnis der Studie. Die Forscher führten die Ursache auf eine verborgene Variable zurück: Das spezifische Computermodell, das für die initiale Beurteilung verwendet worden war, war nicht protokolliert worden. Im ersten Durchlauf war das System stillschweigend auf ein schwächeres Modell zurückgefallen, das viele Fehler übersah. In den darauffolgenden Durchläufen wurde ein anderes, stärkeres Modell verwendet, welches wesentlich mehr Probleme entdeckte. Da der erste Durchlauf ein Modell verwendete, das nie geloggt wurde, konnten die Forscher nicht mit Sicherheit sagen, was dieser erste Durchlauf tatsächlich gemessen hatte. Die Lektion war drastisch: Ein einzelnes automatisiertes Audit, egal wie sorgfältig es von Hand überprüft wird, kann nicht vertraut werden, wenn der Prozess nicht mit exakt denselben Werkzeugen wiederholt werden kann. Die Messung selbst war instabil.
Als die Forscher die Daten betrachteten, die replizierbar waren, fanden sie, dass die Fehler real waren, aber nicht die Art von maschinengeneriertem Unsinn, den die Menschen befürchteten. Bei den bestätigten Fehlern handelte es sich um subtile menschliche Irrtümer. Ein Autor hatte ein reales Papier herangezogen und behauptet, es sage das Gegenteil dessen aus, was es tatsächlich argumentierte, oder er hatte eine breite Erkenntnis zitiert, während das Papier nur eine enge Sichtweise unterstützte. Dies waren keine Halluzinationen, die durch eine künstliche Intelligenz erzeugt wurden; es waren die Arten von Fehlern, die ein müder Forscher machen könnte, wenn er unter Zeitdruck ein Manuskript fertigstellt. Die Fehler waren für jedes Werkzeug unsichtbar, das nur prüft, ob eine Referenz existiert, denn die Arbeiten waren real, aber die Verbindung zwischen der Behauptung und der Quelle war unterbrochen.
Die Studie zeigte auch auf, dass der Peer-Review-Prozess, bei dem andere Wissenschaftler Arbeiten prüfen, bevor diese veröffentlicht werden, diese Fehler in der Unterstützung scheinbar nicht zu erfassen vermochte. Als das Team die veröffentlichten Konferenzarbeiten mit einem Satz unveröffentlichter Entwürfe verglich, war die Rate der Zitierfehler statistisch gesehen identisch. Dies deutet darauf hin, dass das aktuelle System des Peer-Review nicht darauf ausgelegt ist, jedes Zitat gegen seine Quelle zu prüfen – eine Aufgabe, die für freiwillige Reviewer viel zu zeitaufwendig wäre. Stattdessen liegt die Verantwortung dafür, sicherzustellen, dass eine Zitierung tatsächlich die Behauptung stützt, wahrscheinlich bei den Autoren selbst, bevor sie ihre Arbeit einreichen.
Letztlich lieferte das Audit ein klares Bild davon, wo die Probleme liegen. Die Angst, dass der wissenschaftliche Rekord von gefälschten, nicht existenten Papieren überflutet wird, wird durch die Daten nicht gestützt; die Referenzen sind fast immer real. Das eigentliche Problem ist die Genauigkeit der Behauptungen, die an diesen Referenzen angebracht sind. Diese Fehler sind subtil, menschlich und schwer automatisch zu detektieren, weil die Werkzeuge, die sie finden sollen, noch nicht stabil genug sind, um eine einzige, zuverlässige Zahl zu liefern. Die Studie kommt zu dem Schluss, dass wir, bevor wir Maschinen vertrauen können, die Integrität der Wissenschaft zu überwachen, zuerst sicherstellen müssen, dass die Maschinen selbst konsistent sind und dass ihre eigenen Fehler vollständig verstanden werden. Die Mängel, die fortbestehen, sind kein Zeichen eines Systems, das unter dem Gewicht der künstlichen Intelligenz zusammenbricht, sondern vielmehr eine Erinnerung an die dauerhafte Komplexität des menschlichen wissenschaftlichen Schaffens.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.