Effects of Early Career Peer Review Service on Subsequent Grant Submission Outcomes&nbsp

Questo studio utilizza l'accoppiamento per punteggio di propensione su dati amministrativi degli NIH per dimostrare che il servizio di revisione paritaria nella fase iniziale della carriera è associato a un volume maggiore di richieste di sovvenzioni, a punteggi di revisione migliorati e a tassi di successo nel finanziamento più elevati rispetto ai pari che non svolgono attività di revisione.

L'essenziale

La Grande Domanda: "Essere un Giudice" Ti Rende un "Concorrente" Migliore?

Immagina una competizione culinaria enorme e ad alto rischio. Per vincere un premio (una sovvenzione per la ricerca), devi presentare una ricetta (una domanda di sovvenzione). Ma prima che la tua ricetta venga giudicata, devi aspettare in fila mentre una giuria di esperti assaggia e critica centinaia di altre ricette.

Per anni, molti chef (scienziati) hanno sostenuto: "Se riesco a sedermi nella giuria, imparerò esattamente cosa cercano i giudici. Vedrò come discutono, quali punteggi assegnano e cosa rende una ricetta 'discutibile'. Questa esperienza renderà le mie ricette molto migliori e vincerò più premi."

Tuttavia, fino a questo studio, non esisteva una prova concreta. Il problema era che le persone invitate a fare da giudici erano solitamente già i migliori chef della cucina. Avevano vinto premi, pubblicato libri di cucina e godevano di grandi reputazioni. Quindi, se vincevano la competizione in seguito, era perché erano stati giudici, o semplicemente perché erano già talentuosi?

L'Esperimento: Un "Match-Up" di Degustazione

Per risolvere il problema, i ricercatori (dall'NIH, la gigantesca organizzazione che finanzia queste "competizioni culinarie") hanno allestito un esperimento astuto utilizzando un metodo chiamato Propensity Score Matching (Abbinamento per Punteggio di Propensione).

Pensa a questo come a un'app di incontri per scienziati. Hanno preso due gruppi di persone:

1. I Giudici: Scienziati in fase iniziale di carriera che hanno effettivamente prestato servizio come revisori (ECR).
2. I Non-Giudici: Scienziati in fase iniziale di carriera che erano altrettanto qualificati per essere giudici (avevano lo stesso numero di pubblicazioni, gli stessi titoli di lavoro e la stessa esperienza) ma non avevano mai avuto l'opportunità di prestare servizio.

I ricercatori hanno utilizzato un algoritmo informatico per accoppiarli perfettamente, come se fossero gemelli. Un gemello del gruppo "Giudice" è stato accoppiato con un gemello del gruppo "Non-Giudice". Questo ha garantito che eventuali differenze nel loro successo futuro non potessero essere attribuite al fatto di essere naturalmente più talentuosi o di avere risorse migliori.

Cosa è Succeso Dopo? (I Risultati)

I ricercatori hanno osservato questi due gruppi per tre anni dopo che il gruppo "Giudice" aveva terminato il proprio servizio. Hanno esaminato quante nuove ricette avevano presentato, quante avevano ricevuto una seconda occhiata (discusso), quanto erano alti i loro punteggi e quanti avevano vinto premi (finanziamenti).

Ecco cosa hanno scoperto:

• Più Partecipazioni: Gli ex giudici hanno presentato più ricette rispetto ai loro gemelli abbinati.
• Punteggi Migliori: Le loro ricette avevano più probabilità di ottenere un "punteggio alto" (il che significa che i giudici le consideravano eccellenti).
• Più Discussione: Le loro ricette avevano più probabilità di essere selezionate per una vivace discussione di gruppo, cosa molto importante in queste competizioni.
• Più Vittorie: Soprattutto, gli ex giudici hanno vinto più premi di finanziamento rispetto ai non-giudici.

La "Salsa Segreta" (Perché è successo?)

Il documento suggerisce alcune ragioni per cui essere stati giudici ha aiutato:

1. Conoscenza Interna: Proprio come un concorrente che ha assistito alle discussioni dei giudici per anni, questi scienziati hanno imparato il "linguaggio segreto" del processo di revisione. Hanno imparato a scrivere le loro domande in modo da colpire le note giuste ed evitare le trappole comuni.
2. Fiducia: Vedere come funziona il processo dall'interno potrebbe averli resi più sicuri nel presentare più domande.
3. Networking: Sedersi nella stanza con altri esperti potrebbe aver aperto porte per collaborazioni e mentorship, sebbene lo studio noti che questo è difficile da misurare direttamente.

Il Rovescio della Medaglia (Limitazioni)

Gli autori sono cauti nel dire che questo non prova che ogni giudice diventi un vincitore.

• Il Punteggio "Medio": Sebbene i giudici abbiano vinto più spesso, il punteggio medio di tutte le loro ricette è migliorato solo leggermente. È possibile che solo pochi giudici abbiano ricevuto un enorme impulso, mentre il resto è rimasto uguale, ma quelle poche grandi vittorie hanno sollevato il gruppo.
• Fattori Nascosti: Potrebbero esserci altre cose che non abbiamo misurato (come quanto bene hanno fatto networking a una festa) che li hanno aiutati a vincere, non solo il servizio di revisione in sé.
• Non è una Garanzia: Essere un giudice non garantisce che tu ottenga denaro. La decisione finale coinvolge molti altri fattori, come il budget e le priorità dell'organizzazione.

La Conclusione

Questo studio fornisce la prima prova solida che prestare servizio come revisore paritario aiuta effettivamente gli scienziati in fase iniziale di carriera a ottenere più sovvenzioni in seguito.

È come dire: "Se riesci a sederti sulla sedia del giudice, impari le regole del gioco così bene che quando giochi come concorrente, hai più probabilità di vincere". I ricercatori concludono che questo programma è un ottimo modo per formare la prossima generazione di scienziati, non solo per aiutare l'organizzazione a gestire le sue riunioni, ma per aiutare quegli scienziati a riuscire nelle loro stesse carriere.

Sommario tecnico

Sintesi Tecnica: Effetti del Servizio di Revisione tra Pari nelle Fasi Iniziali della Carriera sui Risultati delle Successive Presentazioni di Borse di Ricerca

Dichiarazione del Problema
I National Institutes of Health (NIH) si affidano pesantemente alla revisione tra pari per valutare il merito scientifico delle domande di sovvenzione, un processo che richiede un tempo significativo e non retribuito da parte degli scienziati. Sebbene molti revisori credano soggettivamente che la partecipazione a sezioni di studio migliori le loro stesse competenze nella stesura di domande di sovvenzione e la loro competitività, le prove empiriche a sostegno di tale affermazione sono state limitate. Una sfida primaria nella valutazione di questa relazione è il bias di selezione: gli investigatori selezionati per la revisione tra pari possiedono tipicamente caratteristiche (ad esempio, un solido record di pubblicazioni, finanziamenti precedenti) che predicono anche esiti di sovvenzione di successo. Di conseguenza, è difficile distinguere se risultati migliori siano causati dall'esperienza di revisione o riflettano semplicemente la qualità preesistente degli investigatori selezionati. Questo studio affronta questo fattore confondente esaminando se gli investigatori nelle fasi iniziali della carriera che hanno prestato servizio come Revisori per la Carriera Iniziale dei NIH (ECR) abbiano ottenuto migliori risultati nelle successive domande di sovvenzione rispetto a un gruppo di controllo abbinato di investigatori eleggibili che non hanno prestato servizio.

Metodologia
Lo studio ha adottato un disegno quasi-sperimentale retrospettivo utilizzando dati amministrativi del Centro per la Revisione Scientifica (CSR) dei NIH e dati sulle pubblicazioni da Dimensions.

• Popolazione in Studio: Il gruppo di trattamento era composto da 1.862 investigatori che hanno prestato servizio come ECR durante gli anni consiliari 2020–2021. Il gruppo di controllo è stato costruito a partire da investigatori che soddisfacevano i criteri di eleggibilità per gli ECR (ad esempio, rango di Assistente Professore, revisione precedente di domande, specifici conteggi di pubblicazioni, assenza di finanziamenti R01 precedenti) ma che non avevano prestato servizio come revisori.
• Appaiamento per Punteggio di Propensione (PSM): Per affrontare la selezione non casuale e i fattori confondenti, gli autori hanno utilizzato l'appaiamento per punteggio di propensione 1:1 con il vicino più prossimo senza sostituzione. Le covariate includevano il campo di ricerca, il sesso, la razza/etnia, il volume precedente di domande, la storia dei finanziamenti precedenti, i conteggi delle pubblicazioni, l'età accademica e i livelli di finanziamento istituzionale. Questo processo ha portato a un campione analitico bilanciato di 1.120 ECR e 1.120 controlli abbinati.
• Esiti: Gli esiti sono stati valutati in un periodo di follow-up di tre anni successivo alla data indice (data di servizio per gli ECR; data di revisione equivalente per i controlli). Gli esiti primari si sono concentrati sulle domande R01 e equivalenti a R01 e includevano: volume di presentazione, numero di domande discusse, numero di domande che hanno ricevuto punteggi di impatto elevati (≤35), numero di domande finanziate, importi totali delle assegnazioni e punteggi di revisione tra pari.
• Analisi Statistica: Le analisi hanno utilizzato modelli di regressione aggiustati per le covariate di appaiamento. Le analisi di sensibilità includevano modelli che aggiustavano ulteriormente per il volume di presentazione per testare se le differenze negli esiti fossero semplicemente una funzione dell'aumentata frequenza di presentazione.

Risultati Chiave

• Presentazione e Discussione: Gli ECR hanno presentato significativamente più domande R01 rispetto ai controlli (media 2,52 vs 1,40) ed erano più propensi ad avere domande discusse (media 1,41 vs 0,68).
• Punteggi e Finanziamenti: Gli ECR hanno ottenuto un numero maggiore di domande con punteggi di impatto favorevoli (≤35) (0,47 vs 0,20) e hanno ricevuto più assegnazioni R01 (0,43 vs 0,16). Le dimensioni dell'effetto per questi esiti erano moderate (d di Cohen che variava da 0,38 a 0,49).
• Aggiustamenti di Regressione: Anche dopo l'aggiustamento per l'aumentato volume di presentazione (Modello 2), gli ECR rimanevano significativamente più propensi a ricevere almeno un punteggio favorevole (Rapporto di Probabilità [OR] = 2,05) e almeno un'assegnazione R01 (OR = 2,58) rispetto ai controlli.
• Punteggi di Revisione tra Pari: Gli ECR hanno ricevuto punteggi medi di impatto complessivo leggermente più favorevoli rispetto ai controlli, in particolare per la loro ultima domanda presentata durante il periodo di follow-up, sebbene le dimensioni dell'effetto per le differenze nei punteggi medi fossero da piccole a medie.

Contributi Chiave
Questo studio fornisce la prima prova empirica su larga scala che collega il servizio di revisione tra pari nelle fasi iniziali della carriera al miglioramento degli esiti delle domande di sovvenzione. Utilizzando l'appaiamento per punteggio di propensione per controllare rigorosamente la produttività preesistente e lo stadio della carriera, gli autori isolano l'associazione tra il servizio di revisione e il successo successivo. I risultati validano l'ipotesi che l'aspetto "imparare facendo" della revisione tra pari – acquisire esposizione alle norme di punteggio, alle discussioni di panel e ai criteri di revisione – si traduca in miglioramenti tangibili nella competitività delle domande di sovvenzione.

Significato e Affermazioni
Il documento afferma che la partecipazione nelle fasi iniziali della carriera alla revisione tra pari dei NIH è associata a un miglioramento degli esiti delle domande di sovvenzione, inclusi tassi di presentazione più elevati, migliori punteggi di revisione e maggior successo nel finanziamento. Gli autori interpretano questi risultati come coerenti con la credenza auto-dichiarata tra gli scienziati che il servizio di revisione migliori la loro capacità di scrivere domande di sovvenzione competitive.

Tuttavia, gli autori mantengono un tono modesto riguardo all'inferenza causale. Riconoscono esplicitamente che, sebbene il disegno dello studio controlli per i fattori confondenti misurati, fattori non misurati (come le opportunità di networking o aspetti non quantificabili del processo di selezione) potrebbero ancora influenzare i risultati. Inoltre, notano che i punteggi di revisione tra pari non sono l'unico determinante del finanziamento, poiché la revisione di secondo livello considera l'equilibrio del portafoglio e le priorità scientifiche. Lo studio conclude che, sebbene le affermazioni causali siano limitate dalla natura osservazionale dei dati, la coerenza degli effetti positivi su molteplici esiti e approcci analitici supporta il valore del programma ECR come meccanismo per lo sviluppo della forza lavoro scientifica.