💬 NLP

The 17% Gap: Quantifying Epistemic Decay in AI-Assisted Survey Papers

Diese Studie zeigt, dass KI-gestützte Übersichtsarbeiten eine beständige Rate von 17 % unauflösbarer „Phantomzitate“ aufweisen, was darauf hindeutet, dass große Sprachmodelle die Integrität wissenschaftlicher Zitierketten systematisch verschlechtern, indem sie Metadaten halluzinieren, obwohl sie oft korrekte Titel abrufen.

Ursprüngliche Autoren: H. Kemal İlter

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: H. Kemal İlter

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich die Welt der wissenschaftlichen Forschung als eine riesige, miteinander verbundene Bibliothek vor. Jahrhundertelang mussten Gelehrte, wenn sie einen Punkt beweisen wollten, zu den Regalen gehen, das exakte Buch finden und auf die spezifische Seite zeigen. Diese „Verwahrungskette“ stellte sicher, dass jeder andere dasselbe Buch finden und die Wahrheit überprüfen konnte.

Stellen Sie sich nun vor, eine Flotte unglaublich schneller, superintelligenter Roboter (KI) wurde engagiert, um diese Forschungsarbeiten zu schreiben. Sie sind großartig darin, Ideen zusammenzufassen und die Namen berühmter Bücher zu finden. Aber es stellt sich heraus, dass sie schrecklich darin sind, den exakten Standort dieser Bücher im Regal zu finden.

Dieses Paper mit dem Titel „The 17% Gap“ ist eine forensische Prüfung dessen, was passiert, wenn diese Roboter Übersichtsarbeiten (Survey Papers) im Bereich der Künstlichen Intelligenz schreiben. Hier ist die Aufschlüsselung in einfachen Worten:

Das Problem: Der „faule Forschungsassistent“

Die Autoren argumentieren, dass KI-Tools wie faule Forschungsassistenten agieren.

Was sie richtig machen: Sie kennen den Titel eines berühmten Papers. Sie kennen den Namen des Autors. Sie halten die Erzählung der Forschung kohärent.
Was sie falsch machen: Wenn sie nach der spezifischen „Adresse“ (wie einer DOI-Nummer, einem Band oder einer Seitenzahl) gefragt werden, um dieses Paper zu finden, fangen sie an zu raten. Sie erfinden Zahlen, die echt aussehen, aber ins Leere führen.

Es ist wie ein Reiseführer, der den Namen eines berühmten Museums perfekt kennt, aber die falsche Straße angibt. Man fährt dorthin, landet aber nur auf einem leeren Feld.

Die Untersuchung: Ein digitaler Detektivroman

Die Forscher untersuchten 50 aktuelle KI-Übersichtsarbeiten (veröffentlicht zwischen Ende 2024 und Anfang 206) und überprüften jede einzelne darin enthaltene Zitierung. Sie untersuchten insgesamt 5.514 Referenzen.

Sie verwendeten eine „hybride Verifikations-Pipeline“, was nur eine schicke Art ist, um zu sagen, dass sie eine mehrstufige Checkliste verwendeten:

Direkte Prüfung: Hat der Link sofort funktioniert?
Wiederherstellungsversuch: Wenn der Link defekt war, konnten sie den Tippfehler korrigieren und das echte Paper finden?
Der „Phantom“-Check: Wenn sie das Paper trotz Korrekturversuchen des Textes nicht finden konnten, bezeichneten sie es als „Phantom“.

Die Ergebnisse: Die 17 %-Lücke

Die Prüfung ergab eine erschreckende Zahl: 17 % aller Zitate waren „Phantome“.

Das bedeutet, dass in diesen Papern fast jeder sechste Referenzhinweis in einer Sackgasse endet. Man kann das Quellmaterial nicht finden.

Die Forscher unterteilten diese „Phantome“ in drei Arten von Fehlern:

Das „Gespenst“ (5,1 %): Reine Halluzinationen. Die KI hat ein Paper erfunden, das überhaupt nicht existiert. Es ist eine reine Lüge.
Der „Defekte Link“ (16,4 %): Das Paper existiert, aber die KI hat die Adresse falsch angegeben (z. B. eine gefälschte DOI-Nummer). Es ist, als hätte man den richtigen Buchtitel, aber die falsche ISBN.
Der „Syntaxfehler“ (78,5 %): Dies ist die größte Gruppe. Das Paper ist echt, und die KI kannte den Titel, aber der Text wurde während des Kopierprozesses verstümmelt (wie ein PDF, das in ein wirres Buchstabengestrüpp verwandelt wurde). Die KI konnte die Adresse nicht korrekt lesen und scheiterte daher beim Finden des Papers.

Entscheidend ist, dass die Studie herausfand, dass die Mehrheit der „Phantome“ nicht darauf zurückzuführen ist, dass die KI lügt, sondern dass die KI nachlässig ist oder die Textextraktion fehlerhaft war.

Der Trend: Eine stabile Fäulnis

Die Forscher prüften, ob sich dieses Problem im Laufe der Zeit verbessert oder verschlechtert. Sie fanden heraus, dass es sich nicht verändert. Die Fehlerrate hat sich auf diesem 17 %-Niveau stabilisiert.

Sie nennen dies „Epistemische Dekadenz“. Es ist wie Link-Rot (Link-Verfall) in massivem Ausmaß. Der wissenschaftliche Graph sieht äußerlich stark aus, aber darunter lösen sich die Verbindungen auf.

Die Warnung: Mullers Ratsche

Das Paper verwendet ein biologisches Konzept namens „Mullers Ratsche“ (Muller's Ratchet), um zu erklären, warum das gefährlich ist.

Die Anal analogy: Stellen Sie sich eine Ratsche vor, die sich nur in eine Richtung drehen kann. Soblich ein Fehler gemacht wurde, kann er nicht mehr rückgängig gemacht werden.
In der Wissenschaft: Wenn eine KI ein Paper mit einer falschen Zitation schreibt, und ein Mensch dieses Paper liest und die falsche Zitation in seinem eigenen, neuen Paper zitiert, verbreitet sich der Fehler. Er wird Teil der „offiziellen“ Dokumentation.
Die Mathematik: Wenn 17 % der Zitate fehlerhaft sind, sinkt die „Integrität“ der Literatur in nur 3,7 Generationen von Papern um die Hälfte. Ohne eine Möglichkeit, dies zu korrigieren, verwandelt sich die Bibliothek des Wissens langsam in eine Sammlung toter Enden.

Das Fazit

Das Paper kommt zu dem Schluss, dass wir ein strukturelles Problem haben. Wir haben das Schreiben der Wissenschaft automatisiert, aber nicht die Verifizierung davon.

Die Autoren schlagen drei Lösungen vor:

Die Scanner reparieren: Werkzeuge verbessern, die PDFs lesen, damit sie den Text nicht verstümmeln (um die 78,5 % „Syntaxfehler“ zu beheben).
Die Adressen prüfen: Es für Fachzeitschriften verpflichtend machen, automatisch zu prüfen, ob jeder Link funktioniert, bevor ein Paper veröffentlicht wird.
Die KI trainieren: Die KI-Modelle darauf trainieren, Zitate nur aus verifizierten Datenbanken zu beziehen, statt zu raten.

Kurz gesagt: KI ist großartig darin, die Geschichte der Wissenschaft zusammenzufassen, aber derzeit ist sie schrecklich darin, die Fußnoten zu liefern. Wenn wir das nicht beheben, riskieren wir, eine Zukunft der Wissenschaft auf einem Fundament aus kaputten Links aufzubauen.

Technisches Resümee: Die 17%-Lücke: Quantifizierung des epistemischen Zerfalls in KI-gestützten Review-Papieren

Problemstellung
Das Paper adressiert ein kritisches, bisher unquantifiziertes Risiko in der wissenschaftlichen Literatur der Künstlichen Intelligenz: die systematische Degradierung von Zitierketten durch die Integration von Large Language Models (LLMs). Während „halluzinierte Paper“ (nicht existierende Referenzen) ein bekanntes Artefakt sind, argumentieren die Autoren, dass ein weitaus tückischerer struktureller Fehler entstanden ist. Sie hypothetisieren, dass KI-Werkzeuge als „faule Forschungsassistenten“ fungieren, die zwar semantisch kohärente Titel erfolgreich abrufen, aber die bürokratischen Metadaten (DOIs, Bandnummern, Seitenzahlen), die für deren Lokalisierung erforderlich sind, halluzinieren. Dies erzeugt einen „Link-Rot“ im großen Maßstab, bei dem der Zitiergraph zwar robust erscheint, aber funktional unterbrochen ist, was die für reproduzierbare Wissenschaft erforderliche Beweiskette gefährdet. Die Autoren postulieren, dass dies kein vorübergehendes Rauschproblem ist, sondern ein strukturelles Gleichgewicht des Zerfalls, das potenziell zu einer irreversiblen Akkumulation von Fehlern führt, vergleichbar mit der Muller'schen Ratschenbildung in der Evolutionsbiologie.

Methodik
Die Studie verwendet ein forensisches Audit-Framework, um zwischen harmlosen Formatierungsfehlern („Sloppiness“) und verifizierbarer Nichtexistenz („Phantoms“) zu unterscheiden.

Korpus: Die Autoren analysierten 50 aktuelle Review-Paper im Bereich der Künstlichen Intelligenz (veröffentlicht zwischen September 2024 und Januar 2026), die insgesamt 5.514 einzigartige Zitate enthalten.
Verifizierungspipeline: Eine hybride Pipeline wurde eingesetzt, bestehend aus:
1. Identifikator-Extraktion: Regex-Muster zur Extraktion von DOIs und arXiv-IDs.
2. Direkte Auflösung: Verifizierung der HTTP-Statuscodes für DOIs und API-Checks für arXiv-IDs.
3. Entropie-Filterung: Ein „Space Ratio Entropy Filter“ ( $\rho \ge 0,10$ ) wurde angewendet, um Zitate auszuschließen, die durch PDF-Extraktionsartefakte (z. B. fehlende Leerzeichen) korrumpiert wurden, damit diese nicht als Halluzinationen klassifiziert werden.
4. Fuzzy-Matching: Für Zitate ohne gültige Identifikatoren wurden titelbasierte Suchen über Crossref- und Semantic-Scholar-APIs mittels Levenshtein-Ähnlichkeitsverhältnissen durchgeführt.
Klassifizierungslogik: Zitate wurden in vier Zustände kategorisiert:
- Valid: Exakter Treffer oder erfolgreiche Auflösung ( $s^* \ge 85\%$ ).
- Sloppy: Wiederherstellbar via Fuzzy-Matching ( $50\% \le s^* < 85\%$ ).
- Phantom: Nicht wiederherstellbar ( $s^* < 50\%$ ).
- Unknown: Fehlgeschlagener Entropie-Filter (Parsing-Artefakte).
Phantom-Taxonomie: Phantoms wurden weiter in drei diagnostische Modi unterteilt:
- Ghost: Reine Halluzinationen ( $s^* < 25\%$ ).
- Broken Link: Gültige Titel mit halluzinierten Identifikatoren, die zu HTTP 404-Fehlern führen ( $25\% \le s^* < 50\%$ ).
- Syntax Error: Reale Paper, bei denen die PDF-Extraktion den Text korrumpiert hat, was einen Match verhindert hat ( $25\% \le s^* < 50\%$ ).

Kernergebnisse

Phantom-Rate: Die Studie detektierte eine persistente Phantom-Rate von 17,0 % (939 von 5.514 Zitaten). Das 95 %-Konfidenzintervall liegt bei [16,0 %, 18,0 %].
Integritätsbruch: Nur 41,0 % der Zitate waren unmittelbar verifizierbar. Weitere 9,7 % wurden als „Sloppy“ (gültige Paper mit fehlerhaften Metadaten) wiederhergestellt. Die Kategorie „Unknown“ machte 32,3 % aus.
Diagnostische Verteilung: Entgegen der Annahme, dass die meisten Fehler reine Fälschungen seien, zeigt die Aufschlüsselung:
- 78,5 % sind „Syntax Errors“ (Parsing-Artefakte, die reale Paper korrumpieren).
- 16,4 % sind „Broken Links“ (halluzinierte Identifikatoren an validen Titeln).
- 5,1 % sind „Ghosts“ (reine Halluzinationen ohne erkennbaren Match).
Temporale Stabilität: Eine Längsschnittanalyse zeigt einen flachen Trend ( $\hat{\beta}_1 = +0,07$ pp/Monat, $p=0,72$ ), was darauf hindeutet, dass die 17 %-Rate ein Gleichgewichtszustand und keine transiente Phase ist.
Zerfallsmodellierung: Unter Verwendung eines diskreten Markov-Modells berechnen die Autoren, dass bei einer Phantom-Rate von 17 % die Halbwertszeit der Zitierintegrität etwa 3,7 Generationen beträgt, was ohne Reparaturmechanismen zu einem exponentiellen Zerfall verifizierbaren Wissens führt.

Bedeutung und Ansprüche
Das Paper beansprucht für sich, die erste Quantifizierung des „epistemischen Zerfalls“ in der KI-gestützten Literatur geliefert zu haben, indem es über anekdotische Evidenz von Halluzinationen hinausgeht und eine strukturelle Analyse des Zitiergraphen vornimmt.

Strukturelle Fragilität: Die Ergebnisse legen nahe, dass der wissenschaftliche Rekord zunehmend von der evidenzbasierten Wahrheit entkoppelt wird. Die KI-Werkzeuge priorisieren semantische Plausibilität gegenüber der Genauigkeit der Metadaten, was eine „Bullshit“-Dynamik erzeugt, in der Zitate korrekt aussehen, aber ins Leere führen.
Untere Schranke der Realität: Die Autoren merken an, dass ihre 17 %-Zahl wahrscheinlich eine Untergrenze darstellt. Wenn die „Unknown“-Zitate (32,3 %) mit einem konservativen Validitäts-Prior behandelt werden, könnte die bereinigte Phantom-Rate 26,7 % erreichen.
Endemisches Merkmal: Die Stabilität der Fehlerrate über 16 Monate deutet darauf hin, dass hoch-entropische Zitierpraktiken als endemisches Merkmal des Feldes stabilisiert wurden, getrieben durch die Geschwindigkeit des KI-gestützten Schreibens, die der menschlichen Verifizierung überholt.
Aufruf zur Intervention: Das Paper plädiert für eine Verschiebung der Verifizierungsstandards und schlägt einen „Algorithmic Proof of Existence“ (automatisierte DOI-Checks) beim Einreichungsstadium von Manuskripten vor, um die Verbreitung defekter Links zu verhindern. Es schließt mit dem Argument, dass der wissenschaftliche Rekord so lange anfällig für einen „langsamen, stillen und plausiblen Zerfall“ bleibt, bis die Kosten der Zitateverifizierung adressiert werden.