Observability of False Negatives in Preprint Moderation: A Framework for Auditable Scientific Gatekeeping
Dieses Paper schlägt ein Framework für „auditierbares wissenschaftliches Gatekeeping“ vor, um die kritische Messlücke in der Preprint-Moderation zu adressieren, wobei argumentiert wird, dass die Entscheidungskriterien zwar oft transparent sind, die Unfähigkeit, die Ergebnisse abgelehnter Einreichungen zu beobachten, jedoch die empirische Bewertung von Falsch-Negativ-Raten verhindert und neue Berichtsstandards erforderlich macht, um substanzielles Screening empirisch testbar zu machen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Wissenschaft beruht auf einem einfachen Versprechen: dass neue Ideen von jedem gesehen, getestet und debattiert werden können. Jahrzehntelang war der primäre Weg, auf dem Forscher ihre frühen Arbeiten teilten, der Einsatz von Preprint-Servern – digitale Bibliotheken, in denen Wissenschaftler ihre Arbeiten posten, bevor sie formell von einer Fachzeitschrift geprüft wurden. Diese Plattformen fungieren als eine schnelle Autobahn für Entdeckungen, die es der Welt ermöglichen, eine Behauptung oder eine Methode in dem Moment zu sehen, in dem sie geschrieben wurde, anstatt monatelang oder jahrelang auf den langsamen, traditionellen Prozess des Peer-Review zu warten. Diese Server sind jedoch nicht bloß offene Ablagekörbe; es sind kuratierte Räume. Bevor eine Arbeit auf der öffentlichen Liste erscheint, liest ein Team von Freiwilligen sie, um zu entscheiden, ob sie dorthin gehört. Sie können eine Einreichung ablehnen, wenn sie den Anschein erweckt, dass es ihr an Originalität mangelt, wenn die Wissenschaft nicht bedeutend ist oder wenn die Arbeit zu unvollständig ist, um nützlich zu sein. Diese Gatekeeper-Rolle ist notwendig, um die Bibliothek vor einer Flut von Unsinn zu bewahren, aber sie schafft ein schwieriges Problem. Wenn ein Gatekeeper „Nein“ sagt, wie kann dann jemand wissen, ob diese Entscheidung richtig war? Wenn eine Arbeit verborgen bleibt und der Autor sie nie anders veröffentlicht, sieht die Welt das Ergebnis nie. Die Arbeit könnte eine brillante Entdeckung gewesen sein, die fälschlicherweise begraben wurde, oder es könnte ein Sackgasse gewesen sein, die korrekt gestoppt wurde. Ohne eine Möglichkeit, in den Stapel der abgelehnten Arbeiten zurückzublicken, kann das System nicht zwischen einem Fehler und einem Erfolg unterscheiden.
Dies ist das zentrale Rätsel, mit dem sich der unabhängige Forscher Atsushi Otsuka in einer neuen Studie befasst. Er argumentiert nicht, dass das aktuelle System kaputt sei oder dass die Freiwilligen voreingenommen seien. Stattdessen stellt er eine grundlegendere Frage zur Messung: Hat das System eine Möglichkeit, seine eigenen Fehler zu sehen? Otsuka untersucht die Regeln und öffentlichen Berichte von arXiv, dem größten und berühmtesten Preprint-Server, um zu sehen, ob es möglich ist, nachzuverfolgen, was mit den Papieren geschieht, die abgelehnt werden. Er stellt fest, dass der Server zwar sehr gut darin ist, uns zu sagen, wie viele Arbeiten er erhält und wie viele er abweist, uns aber nicht mitteilt, was mit denjenigen geschieht, die er abweist. Der Server kennt seine eigene Ablehnungsrate, aber er verfolgt nicht, ob diese abgelehnten Arbeiten später in anderen Fachzeitschriften veröffentlicht werden, ob sie von anderen Wissenschaftlern zitiert werden oder ob die Autoren sie verbessert haben und es erneut versucht haben. Ohne diese Folgemessung kann das System nicht berechnen, wie oft es einen Fehler macht. Es ist wie ein Sicherheitsmann, der genau weiß, wie viele Personen er an der Tür gestoppt hat, aber keine Aufzeichnung darüber führt, ob einige der gestoppten Personen tatsächlich unschuldige Besucher waren, die fälschlicherweise abgewiesen wurden.
Otsukas Arbeit baut auf einer langen Geschichte ähnlicher Studien in der Welt der traditionellen akademischen Zeitschriften auf. Seit Jahren verfolgen Forscher abgelehnte Manuskripte von Fachzeitschriften, um zu sehen, ob sie schließlich woanders veröffentlicht werden oder ob sie zu hoch zitierten, wichtigen Werken werden. Diese Studien haben gezeigt, dass selbst die besten Zeitschriften manchmal brillante Arbeiten übersehen, und dass der Prozess der Ablehnung selbst das Verhalten eines Autors verändern kann, indem er ihn vielleicht davon abhält, die Arbeit zu vollenden. Otsuka wendet dieselbe Logik auf Preprint-Server an. Er weist auf eine entscheidende Asymmetrie in der Art und Weise hin, wie wir diese Entscheidungen beurteilen. Wenn eine abgelehnte Arbeit später in einer Top-Zeitschrift veröffentlicht wird, ist das ein starker Beweis dafür, dass der Preprint-Server einen Fehler gemacht hat. Aber wenn eine abgelehnte Arbeit nie veröffentlicht wird, beweist das nicht, dass der Server recht hatte. Die Ablehnung selbst könnte die Zukunft der Arbeit verändert haben, oder die Arbeit wurde aus einem Grund abgelehnt, der eigentlich falsch war. Da die Ablehnung die Zukunft der Arbeit verändert, kann man nicht einfach das Endergebnis betrachten, um zu entscheiden, ob das anfängliche „Nein“ korrekt war.
Um dies zu lösen, schlägt Otsuka einen neuen Rahmen vor, um das wissenschaftliche Gatekeeping „auditierbar“ zu machen. Er unterteilt das Problem in drei Ebenen. Die erste Ebene ist die Entscheidungstransparenz, was bedeutet, schlichtweg zu berichten, wie viele Arbeiten abgelehnt wurden und warum. Die zweite ist die Ergebnissichtbarkeit, was bedeutet, zu verfolgen, was später mit diesen abgelehnten Arbeiten geschieht. Die dritte und wichtigste Ebene ist die Fehlerauditierbarkeit. Dies erfordert, dass die Plattform im Voraus deklariert, wie sie beurteilt, ob eine Entscheidung falsch war. Wenn zum Beispiel eine Arbeit abgelehnt wird, weil sie eine „signifikante Überarbeitung“ benötigt, muss die Plattform eine klare Regel haben, um später zu prüfen, ob der Autor diese Überarbeitungen tatsächlich vorgenommen hat, bevor er sie anderweitig veröffentlicht. Otsukas Audit der aktuellen öffentlichen Aufzeichnungen von arXiv zeigt, dass der Server auf der ersten Ebene stark, aber auf den anderen schwach ist. Der Server berichtet seine Gesamtzahlen und seine allgemeinen Richtlinien, veröffentlicht aber keine Daten, die spezifische Ablehnungen mit späteren Ergebnissen verknüpfen, noch bietet er eine Methode an, um zu prüfen, ob eine Ablehnung tatsächlich ein Fehler war.
Die Studie behauptet nicht, dass arXiv gute Wissenschaft ablehnt, noch behauptet sie, dass die Freiwilligen Fehler machen. Sie stellt lediglich fest, dass die aktuellen öffentlichen Informationen nicht ausreichen, um es zu wissen. Der Server könnte perfekt sein, oder er könnte viele Fehler machen; die öffentliche Datenstruktur kann dies schlichtweg nicht sagen. Otsuka legt nahe, dass ein System, das wirklich vertrauenswürdig sein will, in der Lage sein muss, seine eigene Genauigkeit zu messen. Er empfiehlt, dass Plattformen damit beginnen, spezifische Daten zu sammeln und zu teilen: wie viele abgelehnte Arbeiten später in Zeitschriften erscheinen, wie oft Autoren Einspruch einlegen und gewinnen und ob die Gründe für die Ablehnung mit dem späteren Schicksal des Werks übereinstimmen. Er schlägt auch vor, dass Plattformen vorsichtig damit sein sollten, die bisherige Erfolgsbilanz eines Autors oder dessen Universitätszugehörigkeit als Grund für eine Ablehnung zu verwenden, es sei denn, sie können beweisen, dass diese Faktoren nicht zu unfairen Fehlern führen. Das Ziel ist nicht, alle Ablehnungen zu eliminieren, was unmöglich ist, sondern ein System zu schaffen, in dem die Fehlerrate sichtbar und studierbar ist.
Letztendlich verschiebt diese Forschung die Diskussion von der Frage, ob Gatekeeping gut oder schlecht ist, hin zu der Frage, wie wir dessen Qualität messen können. Das Paper argumentiert, dass, wenn ein System die Macht hat, wissenschaftliche Arbeit der Welt vorzuenthalten, es auch die Verantwortung trägt, uns zu zeigen, wie oft es sich bei dieser Entscheidung irrt. Indem man den abgelehnten Papieren folgt und sie mit ihrem späteren Leben verbindet, kann die wissenschaftliche Gemeinschaft vom Raten über die Qualität ihrer Gatekeeper zum tatsächlichen Wissen übergehen. Dieser Ansatz erfordert keine perfekte Definition dessen, was „gute Wissenschaft“ ist. Er erfordert lediglich eine klare, ehrliche Aufzeichnung dessen, was passiert, nachdem ein „Nein“ ausgesprochen wurde. Wenn das System uns diese Aufzeichnung zeigen kann, kann es beweisen, dass es wie beabsichtigt arbeitet. Wenn es dies nicht kann, bleibt das System eine Black Box, in der Entscheidungen im Dunkeln getroffen werden und die Kosten dieser Entscheidungen von den Wissenschaftlern getragen werden, deren Arbeit niemals gesehen wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.