Citation language changes little after findings fail to replicate: a longitudinal analysis
Eine Längsschnittanalyse von über 15.000 zitierenden Sätzen zeigt, dass nachfolgende Arbeiten ihre Sprache selten anpassen, um gescheiterte Replikationen widerzuspiegeln oder widersprüchliche Belege zu erwähnen, wodurch den Lesern kaum ein Hinweis darauf gegeben wird, ob die ursprünglichen Befunde erfolgreich repliziert wurden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Wissenschaft wird oft als eine selbstkorrigierende Maschine vorgestellt, bei der neue Evidenz unser Verständnis der Welt automatisch aktualisiert. Wenn eine Studie wiederholt wird und nicht dazu führt, dass dasselbe Ergebnis erzielt wird, ist die Erwartung, dass die wissenschaftliche Gemeinschaft dies bemerkt, innehält und die Art und Weise, wie sie über diesen ursprünglichen Befund spricht, anpasst. Dieser Prozess beruht auf der Sprache, die Forscher verwenden, wenn sie auf vorangegangene Arbeiten verweisen. Wenn sich eine Behauptung als wackelig erwiesen hat, sollten die Sätze, die diese in neuen Arbeiten beschreiben, idealerweise vorsichtiger werden oder zumindest erwähnen, dass das ursprüngliche Ergebnis nicht bestätigt werden konnte. So soll sich Wissen entwickeln: nicht durch das Auslöschen der Vergangenheit, sondern durch die Verfeinerung der Beschreibung dessen, was wir wissen und was wir nicht wissen.
Ein Team von Forschern unternahm den Versuch zu testen, ob diese Selbstkorrektur tatsächlich so stattfindet, wie wir es erwarten. Sie konzentrierten sich auf eine spezifische Frage: Wenn ein großer, geplanter Versuch, eine berühmte Studie zu wiederholen, scheitert, ändern die Autoren späterer Arbeiten dann die Worte, die sie verwenden, um diesen ursprünglichen Befund zu beschreiben? Um die Antwort zu finden, untersuchten sie eine große Sammlung wissenschaftlicher Behauptungen aus der Psychologie, der Wirtschaftswissenschaft und den Sozialwissenschaften. Sie identifizierten 110 Originalstudien, die Teil von drei großen Replikationsprojekten gewesen waren. Für jede dieser Studien sammelten sie tausende Sätze aus späteren Arbeiten, die die Originalarbeit zitierten. Sie verwendeten dann fortschrittliche Computermodelle, um diese Sätze zu lesen und sie auf einer Skala der Gewissheit zu bewerten, wobei sie maßen, wie definitiv die Autoren die ursprüngliche Behauptung formulierten. Sie verglichen die Sprache, die für Ergebnisse verwendet wurde, die sich nicht replizieren ließen, mit der Sprache, die für erfolgreich wiederholte Ergebnisse verwendet wurde.
Die Ergebnisse offenbarten einen frappierenden Mangel an Veränderung. Die Forscher fanden heraus, dass die Wortwahl zur Beschreibung gescheiterter Befunde fast identisch mit der Wortwahl für erfolgreiche Befunde blieb. Selbst Jahre nachdem ein Replikationsversuch gezeigt hatte, dass ein ursprüngliches Ergebnis nicht reproduziert werden konnte, beschrieben spätere Arbeiten diese Befunde weiterhin mit demselben Grad an Zuversicht. Die Computermodelle registrierten keine signifikante Verschiebung hin zu einer vorsichtigeren Sprache. Tatsächlich war der Unterschied in der Gewissheit zwischen den beiden Gruppen so gering, dass er statistisch nicht von Null zu unterscheiden war. Die Studie untersuchte auch explizite Erwähnungen des Scheiterns. Sie fanden heraus, dass die Autoren in der überwiegenden Mehrheit der Fälle das Scheitern gar nicht erwähnten. Nur ein winziger Bruchteil der Sätze, etwa drei bis fünf von jeweils hundert, räumte ein, dass der ursprüngliche Befund infrage gestellt oder widerlegt worden war.
Dieses Muster blieb über die Zeit hinweg bestehen. Die Forscher verfolgten die Sprache in den acht bis elf Jahren nach der Veröffentlichung der Replikationsergebnisse. Sie fanden keinen allmählichen Übergang zu mehr Vorsicht. Die Sätze, die die gescheiterten Behauptungen beschrieben, wurden mit fortschreitender Zeit nicht weicher oder einschränkender. Die Autoren der Studie vermuten, dass dies daran liegen könnte, dass Forscher oft etablierte Phrasen wiederverwenden, ohne die ursprüngliche Evidenz erneut zu lesen oder nach neuen, widersprüchlichen Daten zu suchen. Die ursprüngliche Beschreibung eines Befundes kann zu einem festen Bestandteil des wissenschaftlichen Registers werden, der von Papier zu Papier wie eine Standardreferenz weitergegeben wird, ungeachtet dessen, ob die zugrunde liegende Evidenz erschüttert wurde.
Die Studie behauptet nicht, dass Wissenschaftler die Beweise absichtlich ignorieren, sondern vielmehr, dass das System der Art und Weise, wie Erkenntnisse kommuniziert werden, eine Art Trägheit besitzt. Selbst wenn ein Befund als unzuverlässig erwiesen wurde, bleibt die Art und Weise, wie er in neuer Forschung beschrieben wird, oft unverändert. Dies hat Auswirkungen darauf, wie wir Wissenschaft lesen und wie wir Werkzeuge bauen können, die uns helfen, sie zu verstehen. Wenn die Sprache der Wissenschaft nicht automatisch widerspiegelt, wann ein Befund fehlgeschlagen ist, könnten Leser, Redakteure und sogar Systeme der künstlichen Intelligenz in dem Irrtum sein, eine Behauptung für solider zu halten, als sie tatsächlich ist. Die Forscher kommen zu dem Schluss, dass wir für eine echte Selbstkorrektur der Wissenschaft bessere Wege benötigen könnten, um Originalstudien direkt mit ihren Replikationsergebnissen zu verknüpfen, um sicherzustellen, dass die Geschichte eines Befundes auch dessen Misserfolge einschließt, nicht nur seinen anfänglichen Erfolg.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.