Peer Review Trajectories of Disruptive Research: Evidence from Reviewer Comments, Review Rounds and Author Responses
Durch die Analyse von Peer-Review-Verläufen aus PLOS ONE zeigt diese Studie, dass disruptive Forschung leicht längere Akzeptanz-Trajektorien durchläuft, die durch Antwortzeiten der Autoren getrieben werden, und mit einem höheren Anteil an negativen Kommentaren bezüglich Klarheit, Substanz und Originalität konfrontiert ist, was auf eine selektive Herausforderung der evaluativen Lesbarkeit vor der Publikation hindeutet.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wissenschaft fühlt sich oft wie ein Gespräch an, das erst im Nachhinein stattfindet. Wenn eine neue Idee die Art und Weise verändert, wie ein Fachgebiet denkt, bemerken wir dies meist erst Jahre später, indem wir beobachten, wie andere Wissenschaftler das Werk zitieren. Dies sind die „disruptiven“ Arbeiten – jene, die nicht nur unser bestehendes Wissen ergänzen, sondern den Pfad zukünftiger Forschung verschieben und ältere Ideen weniger relevant erscheinen lassen. Doch bevor ein Papier jemals diesen Punkt der Anerkennung erreicht, muss es einen Gatekeeper passieren: das Peer-Review-Verfahren. Dies ist der Prozess, bei dem Experten ein Manuskript lesen, es kritisieren und entscheiden, ob es bereit für die Veröffentlichung ist. Seit Jahrzehnten wissen wir, dass bahnbrechende Ideen schwer zu erkennen sein können, aber wir hatten kaum Beweise dafür, was tatsächlich im Review-Zimmer passiert, wenn ein disruptives Papier auf dem Schreibtisch eines Gutachters landet. Wird es häufiger abgelehnt? Kämpfen die Kritiker damit, es zu verstehen? Oder sieht der Prozess ganz ähnlich aus wie bei jeder anderen Studie?
Ein Team von Forschern der Nanjing University of Science and Technology beschloss, in diese „Black Box“ zu blicken. Sie wandten sich an eine einzigartige Ressource: die öffentlichen Rezensionshistorien der Fachzeitschrift PLOS ONE. Im Gegensatz zu vielen Zeitschriften, die den Austausch zwischen Autoren und Gutachtern privat halten, veröffentlicht PLOS ONE die vollständige Aufzeichnung, einschließlich der ursprünglichen Kommentare, der Antworten der Autoren und des Zeitplans jedes Schrittes. Die Forscher sammelten fast 19.000 dieser akzeptierten Artikel und verknüpften sie mit einem Maß für „Disruption“, basierend darauf, wie die Arbeiten später zitiert wurden. Sie nutzten dann fortschrittliche Sprachsoftware, um Hunderttausende von Kommentaren zu lesen und sie nach den Sorgen der Gutachter zu sortieren – etwa ob die Schreibweise klar war, ob die Methoden fundiert waren oder ob die Idee wirklich neuartig war. Sie untersuchten auch, wie die Autoren auf diese Bedenken reagierten, indem sie prüften, ob sie das Papier änderten, eine Erklärung lieferten oder dagegen argumentierten.
Die Geschichte, die sich aus diesem massiven Datensatz ergab, ist überraschend spezifisch. Die Forscher fanden heraus, dass Papiere, die später disruptiv werden würden, etwas länger für die Veröffentlichung benötigten, aber nicht, weil die Editoren oder Gutachter langsamer waren. Die zusätzliche Zeit entstand ausschließlich durch die Autoren selbst. Wenn ein disruptives Papier in der Begutachtung war, brauchten die Autoren länger, um ihre Antworten zu verfassen und ihre Änderungen vorzunehmen. Dies deutet darauf hin, dass die Verzögerung kein Zeichen von Ablehnung oder Verwirrung seitens der Preisrichter war, sondern vielmehr eine Phase, in der die Autoren härter arbeiten mussten, um ihre schwierigen Ideen in das Standardformat eines wissenschaftlichen Artikels einzupassen.
Als die Forscher betrachteten, was die Gutachter tatsächlich sagten, stellten sie fest, dass disruptive Papiere nicht insgesamt mehr Kritik erhielten. Die Gesamtzahl der Kommentare war etwa dieselbe wie bei jedem anderen Papier. Die Art der Kritik war jedoch anders. Gutachter beschwerten sich eher über die Klarheit des Schreibstils, die Tiefe der Substanz und die Originalität der Idee. Sie zweifelten seltener daran, ob die Studie reproduzierbar sei oder ob die Daten technisch korrekt waren. Dies deutet auf eine spezifische Art des Kampfes hin: Die Gutachter sagten nicht, dass die Wissenschaft falsch sei; sie sagten, dass sie schwer zu verstehen oder schwer in die bestehende Wissenslandschaft einzuordnen sei. Die disruptive Natur der Arbeit machte sie für die Standardmethoden der wissenschaftlichen Bewertung „unleserlich“ und zwang die Autoren dazu, mehr Zeit in die Klärung ihrer Botschaft zu investieren.
Während der Begutachtungsprozess durch mehrere Runden verlief, zeigten diese Bedenken interessante Verhaltensweisen. Sorgen darüber, ob die Studie reproduzierbar sei, verschwanden tendenziell schnell, was darauf hindeutet, dass das Problem gelöst war, sobald die Daten geprüft wurden. Bedenken hinsichtlich der Klarheit und der Tiefe der Arbeit hielten jedoch etwas länger an und tauchten in mehr Review-Runden auf, bevor sie schließlich abklangen. Dies deutet darauf hin, dass das Verständnis einer disruptiven Idee und deren substanzielle Untermauerung eine beständige Herausforderung darstellt, die mehrere Durchgänge erfordert, um es richtig zu machen.
Vielleicht am aufschlussreichsten war die Erkenntnis darüber, wie die Autoren dagegen ankämpften. Wenn sie mit Kritik konfrontiert wurden, argumentierten die Autoren disruptiver Papiere nicht häufiger. Sie versuchten nicht, sich aus den Problemen herauszuargumentieren. Stattdessen waren sie eher bereit, das Papier schlichtweg zu überarbeiten. Sie nahmen die Anmerkungen der Gutachter auf und nahmen konkrete Änderungen am Text vor, anstatt lediglich zu erklären, warum die ursprüngliche Version in Ordnung war. Dieses Muster legt nahe, dass der Weg zur Veröffentlichung einer disruptiven Idee nicht darin besteht, einen Streit mit den Gutachtern zu gewinnen, sondern darin, das Manuskript geduldig so umzugestalten, dass die neue Idee klar und akzeptabel für die wissenschaftliche Gemeinschaft wird.
Letztendlich zeigt die Studie, dass die Reise eines disruptiven Papiers durch einen Kampf um Klarheit definiert ist und nicht durch einen Kampf über Fakten. Die zusätzliche Zeit und Mühe, die für die Veröffentlichung dieser Arbeiten erforderlich sind, resultieren aus der Notwendigkeit, eine radikale neue Idee in eine Sprache zu übersetzen, die die Gutachter sofort verstehen können. Der Prozess fungiert als Filter – nicht für Korrektheit, sondern für Lesbarkeit. Bis diese Papiere akzeptiert werden, wurden sie neu gerahmt und stabilisiert, was sie bereit macht, schließlich das Feld zu verändern. Die Forschung bestätigt, dass disruptive Wissenschaft zwar erst Jahre später durch ihre Wirkung erkannt wird, die Samen dieser Wirkung jedoch in der stillen, oft schwierigen Arbeit der Überarbeitung gesät werden, lange bevor das Papier überhaupt veröffentlicht wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.