Faster science, penalties in evaluation, and concerns on quality and impact: Researchers' use and perceptions of preprints

Hoewel onderzoekers preprints veel gebruiken voor snelle verspreiding en netwerken, worden bredere adoptie en erkenning belemmerd door zorgen over kwaliteitscontrole, mogelijke carrièrestraffen en het gebrek aan vertrouwen, wat een aanpassing van evaluatiecriteria en kwaliteitsborging vereist.

De kern

🚀 De Preprint: De "Live-Stream" van de Wetenschap

Stel je wetenschap voor als een gigantische, wereldwijde koekjesbakkerij. Vroeger moest je je recept (je onderzoek) eerst jarenlang laten keuren door een strenge keurmeester (peer review) voordat je het aan de wereld mocht laten proeven. Dat duurde lang, soms wel een jaar of meer.

Preprints zijn als het live-streamen van je bakproces. Je plaatst je recept online voordat de keurmeester het heeft getest. Zo kan iedereen het direct zien, gebruiken en erover praten. Dit is geweldig voor de snelheid, maar het brengt ook nieuwe problemen met zich mee.

Deze studie kijkt naar wat wetenschappers in de VS en Canada hierover denken. Ze hebben meer dan 1.700 onderzoekers gevraagd hoe ze met deze "live-streams" omgaan. Hier zijn de belangrijkste bevindingen, vertaald naar alledaagse taal:

1. Waarom doen ze het? (Snelheid wint het van dialoog)

Veel mensen denken dat wetenschappers preprints gebruiken om samen te werken en elkaars werk te verbeteren. Maar de studie toont aan dat het vooral gaat om snelheid en eersten zijn.

• De analogie: Het is alsof je een race rijdt. Je wilt niet wachten tot de scheidsrechter de finishlijn heeft gemarkeerd; je wilt gewoon zo snel mogelijk over de streep komen om te laten zien dat jij het eerst hebt bedacht.
• Wetenschappers posten hun werk snel om zichtbaarheid te krijgen en te voorkomen dat iemand anders hun idee "steelt". Ze zijn minder geïnteresseerd in het krijgen van feedback (zoals een bakker die vraagt: "Zit er te veel suiker in?"), maar meer in het roepen: "Kijk, ik heb dit al gedaan!"

2. De "Reputatie-filter": Wie is de bakker?

Omdat er geen keurmeester is die zegt "dit is veilig", moeten lezers zelf beslissen of ze het recept vertrouwen.

• De analogie: Als je een onbekend recept ziet op een blog, twijfel je misschien. Maar als je ziet dat het recept is geschreven door Julia Child of een beroemd chef-kok, denk je: "Ah, dit moet wel goed zijn."
• De studie laat zien dat wetenschappers vaak kijken naar de naam van de auteur in plaats van de kwaliteit van de data. Als een bekende professor het heeft geschreven, wordt het gelezen en geciteerd. Als een jonge, onbekende onderzoeker het doet, wordt het vaak genegeerd, zelfs als het goed werk is. Dit creëert een oneerlijk speelveld.

3. De "Glazen Plafond": Goed voor netwerken, slecht voor je carrière

Dit is het meest spannende deel. Preprints worden gezien als een tweesnijdend zwaard voor je carrière.

• Het goede: Het helpt je om contact te maken met andere onderzoekers en je werk sneller bekend te maken. Het is als een uitstekend visitekaartje.
• Het slechte: Als je solliciteert voor een baan of geld (een beurs), kijken de commissies vaak met argusogen naar preprints.
• De analogie: Stel je voor dat je solliciteert voor een baan als chef-kok. Je laat zien dat je een fantastisch recept hebt gepost op internet (een preprint). De baas zegt echter: "Dat is nog niet door de keurmeester gecontroleerd. Ik geef je geen baan op basis van een ongetoetst recept."
• Jonge onderzoekers hebben het zwaarst: ze gebruiken preprints het meest om op te vallen, maar ze worden juist het vaakst afgewezen omdat hun werk "nog niet officieel" is. Het systeem straft hen voor het proberen om snel te zijn.

4. De Angst voor "Valse Koekjes" en AI

Er is een grote angst dat preprints leiden tot misinformatie.

• De analogie: Omdat iedereen zijn recept mag posten, kunnen er ook valse recepten tussen zitten die je ziek kunnen maken. En nu komt er nog een nieuw probleem: Kunstmatige Intelligentie (AI).
• Mensen maken zich zorgen dat AI duizenden nep-recepten kan genereren die eruitzien als echt, maar vol fouten zitten. In de medische wereld kan dit gevaarlijk zijn als artsen beslissingen nemen op basis van onbetrouwbare, ongeteste informatie.

🏁 Conclusie: Wat moet er gebeuren?

De studie concludeert dat we vastzitten in een dilemma:

1. We willen wetenschap versnellen (snelheid).
2. Maar we hebben ook vertrouwen en kwaliteit nodig (veiligheid).

Op dit moment kiezen we te vaak voor snelheid, maar het systeem (banen, geld) straft hen die dat doen. De auteurs zeggen dat we iets nieuws nodig hebben:

• Geen straffen meer: Universiteiten en geldgevers moeten preprints serieus nemen, net als gewone artikelen.
• Nieuwe keuringsmethodes: We hebben een manier nodig om de kwaliteit te checken zonder jaren te wachten, zodat we niet alleen hoeven te vertrouwen op de "bekende namen".

Kortom: Preprints zijn een krachtige motor voor snelle wetenschap, maar we moeten de remmen (de angst voor kwaliteit en de straffen voor carrières) loslaten, anders blijft de auto stilstaan.

Technische samenvatting

Probleemstelling

Hoewel preprints (voorpublicaties die nog geen peer-review hebben ondergaan) de wetenschappelijke communicatie fundamenteel hebben veranderd en een potentieel middel zijn om de wetenschap te versnellen, blijft de houding van de academische gemeenschap hierover onvoldoende onderzocht, vooral in de biomedische sector. Er bestaat een spanning tussen het potentieel om kennis sneller te verspreiden en de risico's op misinformatie, frauduleuze claims en een afname van het publieke vertrouwen in de wetenschap.

De huidige literatuur mist grootschalig empirisch bewijs dat de gebruikspatronen, percepties van kwaliteit, carrièremaatregelen en de complexe wisselwerking tussen deze factoren voor verschillende academische rollen (auteur, lezer, evaluator) integreert. Er is een specifiek tekort aan data uit Noord-Amerika, aangezien eerdere studies zich vaak richtten op Oostelijke landen. Het onderzoek adresseert de vraag of preprints echt leiden tot een open dialoog of slechts dienen als instrument voor snelle verspreiding, en hoe ze worden gewaardeerd in formele evaluatiesystemen.

Methodologie

Het onderzoek gebruikt een grootschalige enquête onder biomedische onderzoekers in de Verenigde Staten en Canada.

• Steekproef: De enquête werd verspreid via e-mailadressen die werden gehaald uit een dataset van 13 miljoen publicaties (iCite/NIH Open Citation Collection), gekoppeld aan Web of Science. De doelgroep was beperkt tot auteurs verbonden aan Amerikaanse of Canadese instellingen die na 2017 hebben gepubliceerd.
• Datacollectie: Uit 281.940 unieke e-mailadressen werden 5.855 respondenten bereikt die de enquête startten (responspercentage 2,7%). Uiteindelijk voltooiden 1.874 respondenten de enquête (compleet percentage 32,0%). De analytische steekproef na filtering bedroeg 1.758 deelnemers.
  • Demografie: 83,7% VS, 16,3% Canada; 76,7% werkzaam in hoger onderwijs/onderzoek; 50,8% mannelijk, 29,6% vrouwelijk.
• Analysemethoden:
  1. Ordinale logistische regressie: Om groepsverschillen te analyseren in het gebruik (lezen, citeren, indienen) en percepties (kwaliteit, impact, krediet in evaluaties) op basis van academische rang, geslacht, land en discipline.
  2. Deductieve contentanalyse met sentimentclassificatie: Toepassing op 424 vrije tekstreacties om thema's (kwaliteit, impact op gemeenschap, professionele ontwikkeling) en sentiment (negatief, neutraal, positief) te identificeren.

Belangrijkste Bijdragen

1. Integrale analyse: Het eerste onderzoek dat het gebruik (lezen, citeren, indienen) koppelt aan percepties van kwaliteit, carrièrerisico's en evaluatiekrediet binnen één grote steekproef in de biomedische wetenschappen.
2. Ontmaskering van motieven: Het onderscheid maken tussen de motivatie voor preprints (snelheid vs. open dialoog) en de realiteit van hoe ze worden gebruikt.
3. Evaluatiebarrières: Het kwantificeren van de "straf" die preprints krijgen in formele evaluaties (beurzen, aanstellingen, promoties) en hoe dit de adoptie remt.
4. Kwaliteitsfiltering: Het identificeren van de rol van auteursreputatie als belangrijkste heuristiek voor kwaliteitsbeoordeling in afwezigheid van peer-review.

Resultaten

1. Gebruik en Motieven: "Snelheid" boven "Dialoog"

• Gebruik: Er is een actieve houding; 56,6% leest 1-5 preprints per maand. 43,3% heeft preprints ingediend. Echter, 69,3% citeert geen preprints en slechts 27% neemt ze op in subsidieaanvragen.
• Motieven: De drijvende kracht is snelheid en zichtbaarheid. 70% citeert preprints vanwege tijdigheid; 46,6% leest ze omwille van snelheid. Het ontvangen van open peer-review is de laagste prioriteit (74,4% vindt dit niet belangrijk). Dit suggereert dat preprints worden gebruikt om resultaten te "broadcasten" en prioriteit te claimen, niet om een gemeenschappelijke dialoog te voeren.
• Verschillen: Jongere onderzoekers (junior scholars) lezen, citeren en indienen vaker dan senior onderzoekers. Vrouwen citeren minder vaak vanwege tijdigheid dan mannen.

2. Kwaliteitsperceptie en Heuristieken

• Onzekerheid: Er is grote bezorgdheid over de kwaliteit. Voor niet-gebruikers is kwaliteitszorg de belangrijkste reden om niet te lezen/citeren.
• Reputatie als filter: Omdat er geen peer-review stempel is, vertrouwen onderzoekers op auteursreputatie als belangrijkste filter. Bekende namen in de auteurslijst zijn cruciaal voor het vertrouwen (46% vindt dit zeer belangrijk). Dit creëert een "Matthew-effect" waarbij bekende onderzoekers bevoordeeld worden en jonge onderzoekers nadelig worden beoordeeld.
• Transparantie-paradox: Hoewel het wetenschappelijk ontwerp vaak wordt gewaardeerd, is er grote kritiek op de beschikbaarheid van data en code (meer dan 33% heeft een negatieve houding hierover).

3. Carrièreimpact: "Paper Ceiling" en "Gatekeeper Gap"

• Netwerk vs. Straf: Preprints worden gezien als nuttig voor samenwerking en citaties (zachte voordelen), maar worden gezien als een carrièrelast in formele evaluaties.
• Formele Evaluatie:
  • Subsidies: Ongeveer 50% van de reviewers geeft minder krediet aan preprints dan aan peer-reviewed publicaties.
  • Aanstellingen/Promotie: Meer dan 55% van de commissieleden geeft minder krediet aan preprints in sollicitaties en promoties. Slechts een klein percentage (6-8%) geeft ze hetzelfde of meer krediet.
  • Oorzaak: Evaluatoren zien peer-review als een efficiënt kwaliteitsborgingsmechanisme. Het ontbreken hiervan wordt gezien als een risico.
• Gevolg: De angst voor een negatieve impact op de carrière is de belangrijkste reden waarom onderzoekers geen preprints indienen, zelfs meer dan angst voor "idea scooping".

4. Impact op Wetenschap en Maatschappij

• Positief: Versnelling van kennisdeling, open access en tijdsbesparing.
• Negatief: Grote zorgen over misinformatie, fraude en de impact van AI. Onderzoekers vrezen dat AI het produceren van frauduleuze preprints vergemakkelijkt, wat het publieke vertrouwen in de wetenschap ondermijnt. Dit weegt zwaarder dan zorgen over tijdsverspilling.

Betekenis en Conclusie

Het onderzoek concludeert dat het preprint-ecosysteem momenteel functioneert als een instrument voor snelheid in plaats van voor open wetenschappelijke dialoog. Hoewel preprints de wetenschap kunnen versnellen, worden ze tegengehouden door structurele barrières:

1. Evaluatiebarrières: Formele evaluatiesystemen (beurzen, promoties) straffen preprints af vanwege risicobeheer en efficiëntie, wat vooral jonge onderzoekers nadeelt.
2. Kwaliteitszorgen: De afwezigheid van peer-review leidt tot een overmatige afhankelijkheid van auteursreputatie, wat ongelijkheid versterkt.
3. AI-risico's: De opkomst van AI verhoogt de angst voor misinformatie en ondermijnt het vertrouwen in niet-gecontroleerde inhoud.

Aanbevelingen:
Om het potentieel van preprints te realiseren, moet het ecosysteem evolueren:

• Evaluatie: Academische evaluatiekaders moeten zich aanpassen en preprints gelijkwaardig behandelen aan peer-reviewed publicaties.
• Kwaliteitscontrole: Er is een dringende behoefte aan schaalbare mechanismen voor kwaliteitszorg (bijv. signalering van methodologische transparantie en data-beschikbaarheid) die verder gaan dan alleen reputatie.
• Dialoog: Het systeem moet worden gestimuleerd om echte post-publicatie peer-review en dialoog te faciliteren, in plaats van alleen een snelle broadcast-functie te zijn.

Kortom, zonder aanpassingen in evaluatie en kwaliteitsborging zullen preprints hun rol als versneller van de wetenschap beperkt blijven spelen en zelfs onbedoeld de ongelijkheid in de wetenschap versterken.