Observability of False Negatives in Preprint Moderation: A Framework for Auditable Scientific Gatekeeping
Dit artikel stelt een kader voor voor "auditbare wetenschappelijke poortwachtersfuncties" om de kritieke meetkloof in de moderatie van preprints aan te pakken, waarbij wordt betoogd dat hoewel besluitvormingscriteria vaak transparant zijn, het onvermogen om de uitkomsten van afgewezen inzendingen te observeren de empirische beoordeling van fout-negatieve percentages verhindert en nieuwe rapportagestandaarden noodzakelijk maakt om substantiële screening empirisch toetsbaar te maken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wetenschap steunt op een eenvoudige belofte: dat nieuwe ideeën door iedereen kunnen worden gezien, getest en bedebatteerd. Decennialang was de primaire manier waarop onderzoekers hun vroege werk deelden via preprint-servers, digitale bibliotheken waar wetenschappers hun artikelen plaatsen voordat ze formeel zijn gecontroleerd door een tijdschrift. Deze platforms fungeren als een snelle snelweg voor ontdekkingen, waardoor de wereld een bewering of methode kan zien op het moment dat deze is geschreven, in plaats van te wachten op maanden of jaren van het trage, traditionele proces van peer review. Deze servers zijn echter niet alleen open archiefkasten; het zijn gecureerde ruimtes. Voordat een artikel op de publieke lijst verschijnt, leest een team van vrijwilligers het om te beslissen of het er wel thuishoort. Ze kunnen een inzending afwijzen als deze bijvoorbeeld een gebrek aan originaliteit vertoont, als de wetenschap niet significant is, of als het werk te incompleet is om nuttig te zijn. Deze poortwachtersrol is noodzakelijk om te voorkomen dat de bibliotheek overspoeld wordt met onzin, maar het creëert een moeilijk probleem. Wanneer een poortwachter "nee" zegt, hoe kan iemand dan weten of die beslissing juist was? Als een artikel wordt verborgen en de auteur het nergens anders publiceert, ziet de wereld het resultaat nooit. Het artikel had een briljante ontdekking kunnen zijn die per ongeluk werd begraven, of het kon een doodlopende weg zijn die terecht werd gestopt. Zonder een manier om terug te kijken naar de stapel afgewezen werken, kan het systeem het verschil niet zien tussen een fout en een succes.
Dit is het centrale raadsel waar onafhankelijk onderzoeker Atsushi Otsuka zich in een nieuwe studie mee bezighoudt. Hij betoogt niet dat het huidige systeem kapot is of dat de vrijwilligers bevooroordeeld zijn. In plaats daarvan stelt hij een meer fundamentele vraag over meting: heeft het systeem een manier om zijn eigen fouten te zien? Otsuka onderzoekt de regels en publieke rapporten van arXiv, de grootste en meest beroemde preprint-server, om te zien of het mogelijk is om bij te houden wat er gebeurt met de papers die worden afgewezen. Hij stelt vast dat de server weliswaar heel goed is in het vertellen ons hoeveel papers het ontvangt en hoeveel het er afwijst, maar dat het ons niet vertelt wat er met de afgewezen exemplaren gebeurt. De server kent zijn eigen afwijzingspercentage, maar houdt niet bij of die afgewezen papers later in andere tijdschriften worden gepubliceerd, of ze worden geciteerd door andere wetenschappers, of dat de auteur ze heeft verbeterd en het opnieuw heeft geprobeerd. Zonder deze vervolginformatie kan het systeem niet berekenen hoe vaak het een fout maakt. Het is als een beveiliger die precies weet hoeveel mensen hij bij de deur heeft tegengehouden, maar geen verslag heeft van of al die tegengehouden mensen daadwerkelijk onschuldige bezoekers waren die onterecht werden geweigerd.
Otsuka's werk bouwt voort op een lange geschiedenis van soortgelijke studies in de wereld van traditionele academische tijdschriften. Jarenlang hebben onderzoekers afgewezen manuscripten gevolgd om te zien of ze uiteindelijk elders worden gepubliceerd of dat ze uitgroeien tot hoog geciteerde, belangrijke werken. Deze studies hebben aangetoond dat zelfs de beste tijdschriften soms briljante papers missen, en dat het proces van afwijzing op zichzelf het gedrag van een auteur kan veranderen, wellicht door hen te ontmoedigen het werk af te maken. Otsuka past dezezelfde logica toe op preprint-servers. Hij wijst op een cruciale asymmetrie in hoe we deze beslissingen beoordelen. Als een afgewezen paper later in een top-tijdschrift wordt gepubliceerd, is dat een sterk bewijs dat de preprint-server een fout heeft gemaakt. Maar als een afgewezen paper nooit wordt gepubliceerd, bewijst dat niet dat de server gelijk had. De afwijzing zelf kan de toekomst van het paper hebben veranderd, of het paper kan zijn afgewezen om een reden die eigenlijk onjuist was. Omdat de afwijzing de toekomst van het werk verandert, kun je niet simpelweg naar de uiteindelijke uitkomst kijken om te beslissen of de initiële "nee" correct was.
Om dit op te lossen, stelt Otsuka een nieuw kader voor om wetenschappelijke poortwachtersfuncties "auditbaar" te maken. Hij breekt het probleem af in drie niveaus. Het eerste niveau is beslissingstransparantie, wat simpelweg betekent het rapporteren hoeveel papers zijn afgewezen en waarom. Het tweede is uitkomstobservabiliteit, wat betekent het volgen van wat er later met die afgewezen papers gebeurt. Het derde en belangrijkste niveau is foutauditbaarheid. Dit vereist dat het platform vooraf verklaart hoe het zal beoordelen of een beslissing onjuist was. Bijvoorbeeld, als een paper wordt afgewezen omdat het "significante revisie" nodig heeft, moet het platform een duidelijke regel hebben om later te controleren of de auteur die revisies daadwerkelijk heeft uitgevoerd voordat hij elders publiceerde. Otsuka's audit van de huidige publieke registers van arXiv laat zien dat de server sterk is op het eerste niveau, maar zwak op de andere twee. De server rapporteert zijn totale aantallen en algemene beleid, maar publiceert geen gegevens die specifieke afwijzingen koppelen aan latere uitkomsten, noch biedt het een methode om te controleren of een afgewezen paper daadwerkelijk een fout was.
De studie beweert niet dat arXiv goede wetenschap afwijst, noch beweert het dat de vrijwilligers fouten maken. Het stelt simpelweg dat de huidige publieke informatie niet voldoende is om het te weten. De server kan perfect zijn, of hij kan veel fouten maken; de huidige publieke datastructuur kan dat simpelweg niet vertellen. Otsuka suggereert dat voor een systeem dat werkelijk betrouwbaar is, het in staat moet zijn zijn eigen nauwkeurigheid te meten. Hij raadt aan dat platforms beginnen met het verzamelen en delen van specifieke gegevens: hoeveel afgewezen papers later in tijdschriften verschijnen, hoe vaak auteurs in beroep gaan en winnen, en of de redenen voor afwijzing overeenkomen met het uiteindelijke lot van het werk. Hij suggereert ook dat platforms voorzichtig moeten zijn met het gebruiken van het verleden van een auteur of de universitaire affiliatie als reden voor afwijzing, tenzij ze kunnen bewijzen dat deze factoren niet leiden tot onrechtvaardige fouten. Het doel is niet om alle afwijzingen te elimineren, wat onmogelijk is, maar om een systeem te creëren waarin de foutmarge zichtbaar en bestudeerbaar is.
Uiteindelijk verschuift dit onderzoek het gesprek van discussies over de vraag of poortwachterschap goed of slecht is, naar de vraag hoe we de kwaliteit ervan kunnen meten. Het artikel betoogt dat als een systeem de macht heeft om wetenschappelijk werk aan de wereld te onthouden, het de verantwoordelijkheid heeft om ons te laten zien hoe vaak het die beslissing fout heeft. Door de afgewezen papers te volgen en hen te verbinden met hun latere leven, kan de wetenschappelijke gemeenschap overgaan van het gissen naar de kwaliteit van haar poortwachters naar het daadwerkelijk weten ervan. Deze aanpak vereist geen perfecte definitie van wat "goede wetenschap" is. Het vereist alleen een duidelijk, eerlijk verslag van wat er gebeurt nadat een "nee" is uitgesproken. Als het systeem ons dat verslag kan tonen, kan het bewijzen dat het werkt zoals bedoeld. Als het dat niet kan, dan blijft het systeem een black box, waarbij beslissingen in het donker worden genomen en de kosten van die beslissingen worden betaald door de wetenschappers wier werk nooit wordt gezien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.