Effects of Early Career Peer Review Service on Subsequent Grant Submission Outcomes&nbsp

Deze studie maakt gebruik van propensity score-matching op administratieve gegevens van de NIH om aan te tonen dat peer review-diensten in een vroeg carrièrestadium geassocieerd zijn met een hoger volume aan subsidieaanvragen, betere beoordelingsscores en hogere financieringssuccespercentages in vergelijking met niet-beoordelende collega's.

De kern

De Grote Vraag: Maakt "Het Zijn van een Jurylid" Je een Betere "Deelnemer"?

Stel je een enorme, hoog-risico kookwedstrijd voor. Om een prijs te winnen (een onderzoeksbeurs), moet je een recept indienen (een subsidieaanvraag). Maar voordat je recept wordt beoordeeld, moet je in de rij staan terwijl een panel van deskundige juryleden honderden andere recepten proeft en bekritiseert.

Jarenlang hebben veel chefs (wetenschappers) beweerd: "Als ik op het jurypanel mag zitten, leer ik precies waar de juryleden naar zoeken. Ik zie hoe ze redeneren, welke scores ze geven en wat een recept 'bespreekbaar' maakt. Deze ervaring zal mijn eigen recepten veel beter maken en ik zal meer prijzen winnen."

Tot dit onderzoek was er echter geen hard bewijs. Het probleem was dat de mensen die werden uitgenodigd om juryleden te worden, meestal al de beste chefs in de keuken waren. Ze hadden prijzen gewonnen, kookboeken gepubliceerd en hadden een grote reputatie. Dus, als ze later de wedstrijd wonnen, was dat dan omdat ze juryleden waren, of gewoon omdat ze al getalenteerd waren?

Het Experiment: Een "Proefproeverij"-Match

Om dit op te lossen, hebben de onderzoekers (van de NIH, de gigantische organisatie die deze "kookwedstrijden" financiert) een slim experiment opgezet met een methode genaamd Propensiteitsscore-matching.

Denk hierbij aan een datingsapp voor wetenschappers. Ze namen twee groepen mensen:

1. De Juryleden: Wetenschappers in een vroeg stadium van hun carrière die daadwerkelijk als reviewers hebben gediend (ECR's).
2. De Niet-Juryleden: Wetenschappers in een vroeg stadium van hun carrière die even gekwalificeerd waren om juryleden te zijn (ze hadden hetzelfde aantal publicaties, dezelfde functietitels en dezelfde ervaring) maar nooit de kans kregen om te dienen.

De onderzoekers gebruikten een computeralgoritme om ze perfect aan elkaar te koppelen, net als het matchen van tweelingen. Een tweeling uit de "Jurylid"-groep werd gekoppeld aan een tweeling uit de "Niet-Jurylid"-groep. Dit zorgde ervoor dat eventuele verschillen in hun toekomstige succes niet konden worden toegeschreven aan het feit dat ze van nature talentvoller waren of betere middelen hadden.

Wat Gebeurde Er Vervolgens? (De Resultaten)

De onderzoekers observeerden deze twee groepen drie jaar nadat de "Jurylid"-groep hun dienst had voltooid. Ze keken hoeveel nieuwe recepten ze indienden, hoeveel een tweede blik kregen (besproken werden), hoe hoog hun scores waren en hoeveel prijzen (financiering) ze wonnen.

Dit is wat ze vonden:

• Meer Inschrijvingen: De voormalige juryleden dienden meer recepten in dan hun gekoppelde tweelingen.
• Betere Scores: Hun recepten kregen vaker een "hoge score" (wat betekent dat de juryleden ze uitstekend vonden).
• Meer Bespreking: Hun recepten kregen vaker de kans om deel te nemen aan een levendige groepsdiscussie, wat in deze wedstrijden een groot iets is.
• Meer Winsten: Het allerbelangrijkste: de voormalige juryleden wonnen meer financieringsprijzen dan de niet-juryleden.

Het "Geheime Ingrediënt" (Waarom gebeurde dit?)

Het artikel suggereert een paar redenen waarom het zijn van een jurylid hielp:

1. Insiderkennis: Net als een deelnemer die jarenlang heeft gekeken hoe juryleden redeneren, leerden deze wetenschappers de "geheime taal" van het beoordelingsproces. Ze leerden hoe ze hun aanvragen moesten schrijven zodat ze de juiste toon troffen en veelvoorkomende valkuilen vermijden.
2. Zelfvertrouwen: Het zien hoe het proces van binnenuit werkt, heeft hen misschien zelfverzekerder gemaakt om meer aanvragen in te dienen.
3. Netwerken: In de kamer zitten met andere experts heeft misschien deuren geopend voor samenwerkingen en mentoring, hoewel de studie opmerkt dat dit moeilijk direct te meten is.

De Haken en Ogen (Beperkingen)

De auteurs zijn voorzichtig om te zeggen dat dit niet bewijst dat elk jurylid een winnaar wordt.

• De "Gemiddelde" Score: Hoewel de juryleden vaker wonnen, verbeterde de gemiddelde score van al hun recepten slechts licht. Het is mogelijk dat slechts een paar juryleden een enorme boost kregen, terwijl de rest gelijk bleef, maar die paar grote winsten trokken de groep omhoog.
• Verborgen Factoren: Er kunnen andere dingen zijn die we niet hebben gemeten (zoals hoe goed ze netwerkten op een feestje) die hen hielpen om te winnen, en niet alleen de reviewdienst zelf.
• Geen Garantie: Het zijn van een jurylid garandeert niet dat je geld krijgt. De uiteindelijke beslissing hangt van veel andere factoren af, zoals het budget en de prioriteiten van de organisatie.

De Conclusie

Deze studie biedt het eerste stevige bewijs dat het fungeren als peer-reviewer wetenschappers in een vroeg stadium van hun carrière daadwerkelijk helpt om later meer subsidies te krijgen.

Het is als zeggen: "Als je in de stoel van de jury mag zitten, leer je de regels van het spel zo goed dat je, wanneer je als deelnemer speelt, een grotere kans hebt om te winnen." De onderzoekers concluderen dat dit programma een uitstekende manier is om de volgende generatie wetenschappers op te leiden, niet alleen om de organisatie te helpen bij het runnen van hun vergaderingen, maar om die wetenschappers te helpen slagen in hun eigen carrières.

Technische samenvatting

Technische Samenvatting: Effecten van Peer Review-dienstverlening in Vroege Loopbaan op Uitkomsten van Vervolgraantaanvragen

Probleemstelling
De National Institutes of Health (NIH) is sterk afhankelijk van peer review om de wetenschappelijke kwaliteit van grantaanvragen te beoordelen, een proces dat aanzienlijke onbetaalde tijd van wetenschappers vereist. Hoewel veel reviewers subjectief geloven dat het dienen in studiegroepen hun eigen vaardigheden in het schrijven van grantaanvragen en hun concurrentiepositie verbetert, is empirisch bewijs dat deze bewering ondersteunt beperkt. Een primaire uitdaging bij het evalueren van dit verband is selectiebias: onderzoekers die worden geselecteerd voor peer review bezitten doorgaans kenmerken (bijvoorbeeld een sterk publicatierecord, eerdere financiering) die ook succesvolle grantuitkomsten voorspellen. Bijgevolg is het moeilijk te onderscheiden of betere uitkomsten worden veroorzaakt door de review-ervaring of simpelweg de reeds bestaande kwaliteit van de geselecteerde onderzoekers weerspiegelen. Deze studie adresseert deze verstorende factor door te onderzoeken of onderzoekers in een vroege loopbaan die hebben gediend als NIH Early Career Reviewers (ECRs) betere vervolgraantuitkomsten behaalden in vergelijking met een gematchte groep van in aanmerking komende onderzoekers die niet hebben gediend.

Methodologie
De studie hanteerde een retrospectief, quasi-experimenteel ontwerp met behulp van administratieve data van het NIH Center for Scientific Review (CSR) en publicatiedata van Dimensions.

• Studiepopulatie: De behandelingsgroep bestond uit 1.862 onderzoekers die hebben gediend als ECRs tijdens de raadswetjaren 2020–2021. De controlegroep werd samengesteld uit onderzoekers die voldeden aan de ECR-toelatingscriteria (bijvoorbeeld rang van universitair hoofddocent, eerdere aanvraagreview, specifieke publicatieaantallen, geen eerdere R01-financiering) maar niet als reviewers hadden gediend.
• Propensity Score Matching (PSM): Om niet-willekeurige selectie en verstorende factoren aan te pakken, gebruikten de auteurs 1:1 nearest-neighbor propensity score matching zonder vervanging. Covariaten omvatten onderzoeksgebied, geslacht, ras/etniciteit, volume van eerdere aanvragen, geschiedenis van eerdere financiering, publicatieaantallen, academische leeftijd en institutionele financieringsniveaus. Dit proces resulteerde in een gebalanceerde analytische steekproef van 1.120 ECRs en 1.120 gematchte controles.
• Uitkomsten: Uitkomsten werden beoordeeld over een follow-upperiode van drie jaar na de indexdatum (datum van dienst voor ECRs; equivalente reviewdatum voor controles). De primaire uitkomsten richtten zich op R01- en R01-equivalente aanvragen en omvatten: volume van indieningen, aantal besproken aanvragen, aantal aanvragen met hoge impactscores (≤35), aantal gefinancierde aanvragen, totale toekenningsbedragen en peer reviewscores.
• Statistische Analyse: Analyses maakten gebruik van regressiemodellen die waren aangepast voor matchende covariaten. Sensitiviteitsanalyses omvatten modellen die verder waren aangepast voor het volume van indieningen om te testen of verschillen in uitkomsten slechts een functie waren van een verhoogde frequentie van indieningen.

Belangrijkste Resultaten

• Indiening en Bespreking: ECRs dienden significant meer R01-aanvragen in dan controles (gemiddeld 2,52 versus 1,40) en hadden een grotere kans dat hun aanvragen werden besproken (gemiddeld 1,41 versus 0,68).
• Scoren en Financiering: ECRs behaalden een hoger aantal aanvragen met gunstige impactscores (≤35) (0,47 versus 0,20) en ontvingen meer R01-toekenningen (0,43 versus 0,16). De effectgroottes voor deze uitkomsten waren gemiddeld (Cohen's d variërend van 0,38 tot 0,49).
• Regressie-aanpassingen: Zelfs na aanpassing voor het verhoogde volume van indieningen (Model 2), was de kans dat ECRs ten min één gunstige score (Odds Ratio [OR] = 2,05) en ten minste één R01-toekenning (OR = 2,58) ontvingen, significant groter dan bij controles.
• Peer Review Scores: ECRs ontvingen iets gunstigere gemiddelde overall impactscores dan controles, met name voor hun laatste ingediende aanvraag tijdens de follow-upperiode, hoewel de effectgroottes voor verschillen in gemiddelde scores klein tot gemiddeld waren.

Belangrijkste Bijdragen
Deze studie biedt het eerste grootschalige, empirische bewijs dat peer review-dienstverlening in een vroege loopbaan koppelt aan verbeterde uitkomsten van grantaanvragen. Door gebruik te maken van propensity score matching om de reeds bestaande productiviteit en het carrièrestadium strikt te controleren, isoleren de auteurs de associatie tussen reviewdienst en daaropvolgend succes. De bevindingen valideren de hypothese dat het aspect "leren door te doen" van peer review – het krijgen van blootstelling aan scoringsnormen, panelbesprekingen en reviewcriteria – vertaalt naar tastbare verbeteringen in de concurrentiekracht van grants.

Betekenis en Claims
Het artikel beweert dat deelname van onderzoekers in een vroege loopbaan aan NIH peer review geassocieerd is met verbeterde uitkomsten van grantaanvragen, waaronder hogere indieningspercentages, betere reviewscores en meer financieringssucces. De auteurs interpreteren deze bevindingen als consistent met het zelfgerapporteerde geloof onder wetenschappers dat reviewdienst hun vermogen versterkt om concurrerende grants te schrijven.

Echter, de auteurs handhaven een bescheiden toon wat betreft causale inferentie. Zij erkennen expliciet dat hoewel het studiedesign gemeten verstorende factoren controleert, ongemeten factoren (zoals netwerkmogelijkheden of niet-kwantificeerbare aspecten van het selectieproces) de resultaten nog steeds kunnen beïnvloeden. Bovendien merken zij op dat peer reviewscores niet de enige determinant van financiering zijn, aangezien een tweede niveau van review rekening houdt met portfolio-balans en wetenschappelijke prioriteiten. De studie concludeert dat hoewel causale claims beperkt zijn door het observationele karakter van de data, de consistentie van positieve effecten over meerdere uitkomsten en analytische benaderingen de waarde van het ECR-programma als mechanisme voor de ontwikkeling van de wetenschappelijke beroepsbevolking ondersteunt.