Defining Manuscript Peer Review: An International Delphi Consensus Study
Deze internationale Delphi-studie van drie ronden stelde een consensusgebaseerde definitie vast van manuscript peer review als een gestructureerd, door mensen geleid proces gericht op het verbeteren van de kwaliteit en betrouwbaarheid van onderzoek, ondersteund door acht kernzuilen: Principiëel, Constructief, Tijdig, Transparant, Professioneel, Kwalitatief, Vertrouwelijk en Pluralistisch.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
De wetenschap vertrouwt op een stil, onzichtbaar filter dat tussen de ontdekking van een onderzoeker en de wereld die erover geïnformeerd moet worden staat. Wanneer een wetenschapper een nieuwe studie uitschrijft, publiceert deze niet simpelweg; ze sturen het naar een groep andere experts die het werk nog niet hebben gezien. Deze experts lezen de studie, controleren de wiskunde, stellen vragen bij de methoden en beslissen of het werk goed genoeg is om te vertrouwen. Dit proces wordt peer review genoemd. Eeuwenlang is dit de standaardmethode geweest om te waarborgen dat wat in tijdschriften verschijnt, accuraat en betrouwbaar is. Toch is er nog nooit overeenstemming over bereikt wat dit proces precies inhoudt. Verschillende vakgebieden doen het anders, verschillende tijdschriften hebben verschillende regels, en zelfs de mensen die de beoordelingen uitvoeren, kunnen het vaak niet eens worden over wat de term eigenlijk betekent. Zonder een duidelijke definitie is het moeilijk om te bestuderen of het systeem werkt, om de gebrekkige onderdelen te repareren, of om legitieme wetenschap te onderscheiden van nepwerk of misleidend werk.
Een team van internationale onderzoekers probeerde deze verwarring op te lossen door een diverse groep experts samen te brengen om tot één enkele, gedeelde definitie te komen. Ze vroegen mensen niet alleen wat zij ervan vonden; ze gebruikten een gestructureerde, meerstaps methode om de groep naar een consensus te leiden. Eerst verzamelden ze een groot aantal experts van over de hele wereld, waaronder wetenschappers, artsen, redacteuren en patiëntpartners, om te stemmen op een lange lijst met ideeën over hoe peer review eruit zou moeten zien. In de eerste ronde beoordeelden 143 mensen tientallen kenmerken, zoals of het proces anoniem moet zijn, hoe snel het moet gebeuren en wie het mag uitvoeren. De onderzoekers namen vervolgens de resultaten, verfijnden de lijst en vroegen dezelfde groep om opnieuw te stemmen. In de tweede ronde keerden 109 van de oorspronkelijke deelnemers terug om de lijst verder in te perken. Om de resterende onenigheid op te lossen, nodigden de onderzoekers een kleinere, zorgvuldig geselecteerde groep van 16 experts uit voor een virtuele bijeenkomst. Deze laatste groep besprak de lastige punten en nam de uiteindelijke beslissingen over wat wel en wat niet in de definitie thuishoort.
Het resultaat van deze driedelige reis is een heldere, overeengekomen definitie die manuscript peer review beschrijft als een gestructureerd proces waarbij menselijke experts geschreven wetenschappelijke artikelen beoordelen. Het doel van dit proces is, volgens de groep, het verbeteren van de kwaliteit en betrouwbaarheid van gepubliceerde onderzoeken, terwijl de ongeschreven regels van de wetenschappelijke gemeenschap worden gevolgd, waarbij iedereen elkaar helpt. De onderzoekers identificeerden ook acht kernkwaliteiten die een goed peer reviewsysteem definiëren: het moet principieel, constructief, tijdig, transparant, professioneel, gericht op kwaliteit, vertrouwelijk en pluralistisch zijn. "Pluralistisch" betekent dat het systeem een breed scala aan verschillende soorten mensen en perspectieven moet verwelkomen, en niet slechts één soort expert.
Een van de belangrijkste beslissingen die de groep nam, was het trekken van een duidelijke lijn tussen de handeling van het beoordelen en de handeling van het publiceren. In het verleden voerden sommigen aan dat de uiteindelijke beslissing van de redacteur om een artikel te accepteren of af te wijzen deel uitmaakt van het peer reviewproces. De groep in deze studie concludeerde dat dit twee aparte stadia zijn. Peer review is het specifieke moment waarop experts de wetenschap zelf evalueren. De beslissing van de redacteur volgt daarna, gebaseerd op die evaluatie en andere factoren. Dit onderscheid is belangrijk omdat het onderzoekers en tijdschriften helpt precies te begrijpen waar de verantwoordelijkheid ligt. Het stelt hen in staat om de kwaliteit van de beoordeling apart te bestuderen van de kwaliteit van de uiteindelijke publicatiebeslissing.
De studie verduidelijkte ook wie een "peer" (gelijke) genoemd mag worden. De groep was het erover eens dat de term passend is, maar dat dit niet betekent dat de beoordelaars identiek moeten zijn aan de auteur. In plaats daarvan is een peer iemand met de nodige expertise om het werk te beoordelen, ongeacht hun achtergrond, locatie of carrièrefase. De definitie benadrukt ook dat het proces door mensen geleid moet worden. Hoewel computers en kunstmatige intelligentie kunnen helpen bij taken zoals het controleren op plagiaat of de opmaak, moet de uiteindelijke beoordeling van de wetenschap voortkomen uit een menselijke geest. Dit zorgt ervoor dat het oordeel gepaard gaat met de nuance, creativiteit en ethische redenering die machines nog niet kunnen bieden.
Door een gedeelde taal vast te stellen, hopen de onderzoekers het makkelijker te maken om het systeem te bestudelen en te verbeteren. Als iedereen dezelfde definitie gebruikt, kunnen ze de resultaten van verschillende studies vergelijken, meten hoe goed het systeem werkt en betere trainingen voor beoordelaars ontwerpen. De definitie is geen rigide set regels die elk tijdschrift dwingt om exact op dezelfde manier te werken. In plaats daarvan biedt het een gemeenschappelijke basis die ruimte laat voor flexibiliteit. Tijdschriften kunnen nog steeds verschillende modellen kiezen, zoals open review waarbij namen bekend zijn, of blind review waarbij ze verborgen blijven, zolang het kerndoel hetzelfde blijft: een gestructureerde, menselijke evaluatie om te garanderen dat het onderzoek betrouwbaar is. Deze overeenkomst geeft de wetenschappelijke gemeenschap een solide startpunt om te bouwen aan een betrouwbaardere toekomst voor de manier waarop kennis wordt gedeeld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.