LLM hallucinations in the wild: Large-scale evidence from non-existent citations
Diese Studie liefert umfangreiche Belege dafür, dass die weitverbreitete Einführung großer Sprachmodelle zu einem starken Anstieg nichtexistierender Zitationen in Millionen wissenschaftlicher Arbeiten geführt hat, was die Zuverlässigkeit und Fairness der Wissensproduktion bedroht und gleichzeitig die aktuellen redaktionellen Schutzmaßnahmen überholt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Das Problem der „falschen Bücher"
Stellen Sie sich vor, Sie schreiben einen Schulaufsatz. Sie müssen die Bücher, die Sie gelesen haben, in Ihrem Literaturverzeichnis auflisten. Wenn Sie einen Buchtitel erfinden, der nicht existiert, kann Ihre Lehrerin leicht nachprüfen und sagen: „Dieses Buch ist nicht echt."
Dieses Papier ist eine umfassende Untersuchung darüber, was passiert, wenn KI (Large Language Models) anfängt, diese Bibliografien für Wissenschaftler zu verfassen. Die Forscher stellten fest, dass KI zunehmend gefälschte Buchtitel (Zitate) erfindet und sie in echte wissenschaftliche Arbeiten einschmuggelt. Obwohl Wissenschaftler schon immer kleine Fehler gemacht haben, zeigt die Studie, dass die Zahl dieser „falschen Bücher" seit dem Aufkommen der KI explodiert ist.
Wie sie die KI überführt haben
Die Forscher behandelten die wissenschaftliche Welt wie eine riesige Bibliothek. Sie untersuchten 111 Millionen Referenzen (Zitate) in vier großen digitalen Bibliotheken (arXiv, bioRxiv, SSRN und PubMed Central).
- Die Methode: Sie bauten eine digitale „Suchmaschine", um jede einzelne Zitation zu überprüfen. Wenn die Suchmaschine das Buch oder den Papier im realen Welt nicht finden konnte, markierten sie es als „nicht übereinstimmend".
- Der Filter: Sie wussten, dass einige Zitate einfach nur unordentlich waren (schlechte Formatierung oder obskure Bücher). Daher nutzten sie eine intelligente KI, um die unordentlichen zu bereinigen. Wenn eine Zitation trotz aller Bereinigung immer noch nicht gefunden werden konnte, zählten sie sie als Halluzination (eine gefälschte Referenz).
- Die Basislinie: Sie verglichen die Anzahl der gefälschten Zitate vor dem Popularwerden der KI (2022) mit der Zeit danach. Sie stellten einen scharfen, beunruhigenden Anstieg fest, der 2024 begann.
Das Ergebnis: Allein im Jahr 2025 schätzen sie 146.932 gefälschte Zitate nur in diesen vier Bibliotheken. Und das ist wahrscheinlich nur die Spitze des Eisbergs.
Wer macht das?
Das Papier stellt fest, dass das Problem der „falschen Bücher" nicht von ein paar schwarzen Schafen stammt; es ist überall verbreitet, konzentriert sich jedoch auf bestimmte Gruppen:
- Die „Neuen am Block": Die Wissenschaftler, die am wahrscheinlichsten gefälschte Zitate einfügen, sind Forschende am Anfang ihrer Karriere (Studenten und neue Professoren), die noch nicht viele Veröffentlichungen vorweisen können.
- Analogie: Stellen Sie sich einen neuen Fahrer vor, der die Verkehrsregeln noch nicht gelernt hat. Er nutzt KI, um ihm beim Fahren (Schreiben von Papers) zu helfen, fährt aber versehentlich in falsche Viertel, weil er die Karte nicht gut genug kennt, um die Fehler zu erkennen.
- Die „Solo-Fahrer": Arbeiten, die von einzelnen Autoren oder kleinen Teams verfasst wurden, weisen viel höhere Raten an gefälschten Zitaten auf als große Teams.
- Analogie: Wenn Sie eine Geschichte allein schreiben, könnten Sie einen Tippfehler übersehen. Wenn Sie sie mit einem Team von Redakteuren schreiben, wird jemand anderes ihn bemerken. Große Teams fungieren als Sicherheitsnetz; kleine Teams haben dieses Netz oft nicht.
- Die „KI-lastigen" Bereiche: Bereiche, in denen Menschen am meisten KI nutzen (wie Informatik und Sozialwissenschaften), weisen die höchsten Raten an gefälschten Zitaten auf.
Wer bekommt die Anerkennung?
Hier kommt der unfaire Teil ins Spiel. Wenn KI ein gefälschtes Papier erfindet, erfindet sie nicht einfach einen zufälligen Namen. Sie neigt dazu, Papiere zu erfinden, die von berühmten, erfolgreichen, männlichen Wissenschaftlern verfasst wurden.
- Analogie: Stellen Sie sich einen Schüler vor, der für einen Geschichtsaufsatz ein gefälschtes Zitat erfindet. Anstatt einen zufälligen Namen zu erfinden, erfindet der Schüler versehentlich (oder unbewusst) ein Zitat des berühmtesten Präsidenten der Geschichte.
- Die Konsequenz: Dies bedeutet, dass KI unbeabsichtigt Ungleichheit verstärkt. Sie gibt zusätzlichen „Glauben" an Personen, die bereits berühmt und männlich sind, und ignoriert weniger bekannte oder weibliche Wissenschaftler. Selbst wenn das Papier gefälscht ist, wird der Name der berühmten Person in die Liste der „Personen, die darüber geschrieben haben" aufgenommen.
Warum fangen die Herausgeber es nicht auf?
Man könnte denken: „Prüfen Zeitschriften diese Arbeiten nicht vor der Veröffentlichung?" Die Studie sagt nein, nicht wirklich.
- Das Preprint-Problem: Viele Wissenschaftler stellen ihre Arbeit online, bevor sie offiziell veröffentlicht wird (wie ein Entwurf in einem Blog). Die Studie fand heraus, dass 78,8 % der gefälschten Zitate die ersten Online-Moderatoren passieren.
- Die Lücke im Peer-Review: Selbst wenn diese Arbeiten formellen Zeitschriften zur Begutachtung vorgelegt werden, überleben 85 % der gefälschten Zitate den Prozess und werden veröffentlicht.
- Analogie: Es ist wie ein Sicherheitsbeamter auf einem Konzert, der auf Tickets prüft. Der Beamte fängt die Leute mit wirklich offensichtlichen gefälschten Tickets ab, aber die Leute mit „gut aussehenden" gefälschten Tickets (die von KI sehr überzeugend hergestellt werden) gehen einfach hindurch.
Der „Schneeball"-Effekt
Der gefährlichste Teil daran ist, wie sich die gefälschten Zitate ausbreiten.
- Die Bibliothek wird kontaminiert: Sobald ein gefälschtes Papier veröffentlicht ist, wird es in Google Scholar und anderen Datenbanken aufgenommen.
- Die Schleife: Zukünftige Forscher (und zukünftige KIs) durchsuchen diese Datenbanken, sehen das gefälschte Papier und denken: „Ah, das ist eine echte Quelle!" Sie werden es dann in ihrer eigenen Arbeit zitieren.
- Das Ergebnis: Das gefälschte Papier wird „echt", weil alle es als echt behandeln. Die KI lernt aus ihren eigenen Fehlern und schafft einen Zyklus, in dem sich die Bibliothek mit immer mehr Fiktion füllt.
Das Fazit
Dieses Papier argumentiert, dass wir in einer Krise des Vertrauens stecken. Die Wissenschaft beruht auf der Idee, dass, wenn Sie ein Papier zitieren, dieses Papier tatsächlich existiert und das sagt, was Sie behaupten.
Die Studie zeigt, dass KI dieses Vertrauen bricht. Selbst in der Wissenschaft – dem Bereich mit den strengsten Regeln und den besten Werkzeugen zur Faktenprüfung – schleust KI erfolgreich Jahr für Jahr Tausende von gefälschten Referenzen ein. Wenn dies in der Wissenschaft passiert (wo es am einfachsten ist, sie zu fangen), schlägt das Papier vor, dass es in anderen Bereichen wie Recht, Medizin und Regierungsberichten wahrscheinlich noch schlimmer passiert, wo es weniger Werkzeuge gibt, um die Fakten zu überprüfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.