Peer Review Trajectories of Disruptive Research: Evidence from Reviewer Comments, Review Rounds and Author Responses
Door de geschiedenissen van peer reviews bij PLOS ONE te analyseren, onthult deze studie dat disruptief onderzoek een iets langere acceptatiet traject ondergaat, gedreven door reactietijden van auteurs, en geconfronteerd wordt met een hoger aandeel negatieve opmerkingen over duidelijkheid, inhoud en originaliteit, wat wijst op een selectieve uitdaging in de evaluatieve leesbaarheid vóór publicatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wetenschap voelt vaak als een gesprek dat achteraf plaatsvindt. Wanneer een nieuw idee de manier waarop een vakgebied denkt verandert, merken we dat meestal pas jaren later, door te observeren hoe andere wetenschappers naar het werk verwijzen. Dit zijn de "disruptieve" papers: die niet alleen toevoegen aan wat we al weten, maar het pad van toekomstig onderzoek verleggen, waardoor oudere ideeën minder relevant lijken. Maar voordat een paper ooit dat punt van erkenning bereikt, moet het door een poortwachter: peer review. Dit is het proces waarbij experts een manuscript lezen, kritiek leveren en beslissen of het klaar is voor publicatie. Decennialang wisten we al dat baanbrekende ideeën moeilijk te spotten kunnen zijn, maar we hadden zeer weinig bewijs van wat er werkelijk gebeurt in de beoordelingskamer wanneer een disruptief paper op het bureau van een reviewer landt. Wordt het vaker afgewezen? Hebben de critici moeite om het te begrijpen? Of ziet het proces er veel hetzelfde uit als bij elke andere studie?
Een team van onderzoekers aan de Nanjing University of Science and Technology besloot in deze "black box" te kijken. Ze maakten gebruik van een unieke bron: de openbare beoordelingsgeschiedenissen van het tijdschrift PLOS ONE. In tegen tegenstelling tot veel tijdschriften die de heen-en-weer communicatie tussen auteurs en reviewers privé houden, publiceert PLOS ONE het volledige verslag, inclusief de initiële opmerkingen, de reacties van de auteur en de tijdlijn van elke stap. De onderzoekers verzamelden bijna 19.000 van deze geaccepteerde artikelen en koppelden ze aan een maatstaf voor "disruptie" gebaseerd op hoe de papers later werden geciteerd. Vervolgens gebruikten ze geavanceerde taalsoftware om door honderdduizenden commentaren te lezen, waarbij ze de opmerkingen sorteerden op basis van waar de reviewers zich zorgen over maakten—zoals of de tekst duidelijk was, of de methoden deugden, of het idee werkelijk nieuw was. Ze keken ook naar hoe auteurs reageerden op deze zorgen, door te controleren of ze de paper aanpasten, een uitleg gaven of tegenargumenten voerden.
Het verhaal dat uit deze enorme dataset naar voren kwam, is verrassend specifiek. De onderzoekers ontdekten dat papers die later disruptief zouden worden, weliswaar iets langer duurden om gepubliceerd te worden, maar niet omdat de redacteuren of reviewers langzamer waren. De extra tijd kwam volledig door de auteurs zelf. Wanneer een disruptief paper onder beoordeling stond, deden de auteurs er langer over om hun reacties te schrijven en hun wijzigingen door te voeren. Dit suggereert dat de vertraging geen teken was van afwijzing of verwarring bij de beoordelaars, maar eerder een periode waarin de schrijvers harder moesten werken om hun moeilijke ideeën in het standaardformaat van een wetenschappelijk artikel te laten passen.
Toen de onderzoekers keken naar wat de reviewers daadwerkelijk zeiden, ontdekten ze dat disruptieve papers niet meer kritiek ontvingen dan gemiddeld. Het totale aantal commentaren was ongeveer gelijk aan dat van elke andere paper. De soort kritiek was echter anders. Reviewers klaagden vaker over de duidelijkheid van de tekst, de diepgang van de inhoud en de originaliteit van het idee. Ze stelden minder vaak vragen bij de vraag of de studie herhaalbaar was of of de data technisch correct waren. Dit wijst op een specifieke vorm van strijd: de reviewers zeiden niet dat de wetenschap fout was, maar ze zeiden dat het moeilijk te begrijpen of moeilijk te plaatsen was binnen het bestaande kennislandschap. De disruptieve aard van het werk maakte het "onleesbaar" voor de standaard manieren van wetenschappelijke evaluatie, waardoor de auteurs meer tijd moesten besteden aan het verhelderen van hun boodschap.
Terwijl het beoordelingsproces door meerdere rondes ging, gedroegen deze zorgen zich op interessante wijze. Zorgen over de vraag of de studie herhaalbaar was, verdwenen meestal snel, wat suggereft dat zodra de data gecontroleerd waren, het probleem was opgelost. Echter, zorgen over de duidelijkheid en de diepgang van het werk hielden iets langer aan en verschenen in meer rondes van beoordeling voordat ze uiteindelijk wegvloeiden. Dit geeft aan dat het helder en substantieel maken van een disruptief idee een hardnekkige uitdaging is die meerdere rondes vereist om het goed te krijgen.
Misschien wel de meest onthullende bevinding was hoe de auteurs terugvochten. Wanneer zij geconfronteerd werden met kritiek, gingen auteurs van disruptieve papers niet vaker in discussie. Ze probeerden niet uit de problemen te praten. In plaats daarvan waren ze eerder geneigd om simpelweg de paper te herzien. Ze namen de aantekeningen van de reviewers en brachten concrete wijzigingen aan in de tekst, in plaats van alleen maar uit te leggen waarom de oorspronkelijke versie prima was. Dit patroon suggereert dat de weg naar het publiceren van een disruptief idee niet gaat over het winnen van een argument met de reviewers, maar over het geduldig hervormen van het manuscript totdat het nieuwe idee duidelijk en acceptabel wordt voor de wetenschappelijke gemeenschap.
Uiteindelijk laat de studie zien dat de reis van een disruptief paper wordt gedefinieerd door een strijd om duidelijkheid in plaats van een strijd over feiten. De extra tijd en inspanning die nodig zijn om deze papers te publiceren, komen voort uit de noodzaak om een radicaal nieuw idee te vertalen naar een taal die reviewers onmiddellijk kunnen begrijpen. Het proces fungeert als een filter, niet voor juistheid, maar voor leesbaarheid. Tegen de tijd dat deze papers worden geaccepteerd, zijn ze geherformuleerd en gestabiliseerd, waardoor ze klaar zijn om uiteindelijk het vakgebied te veranderen. Het onderzoek bevestigt dat hoewel disruptieve wetenschap jaren later wordt herkend aan de hand van de impact, de zaden van die impact worden geplant in het stille, vaak moeilijke werk van revisie dat plaatsvindt lang voordat het paper ooit gepubliceerd wordt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.