Effects of Early Career Peer Review Service on Subsequent Grant Submission Outcomes&nbsp

Cette étude utilise l'appariement par score de propension sur des données administratives des NIH pour démontrer que le service de révision par les pairs en début de carrière est associé à un volume accru de soumissions de subventions, à des scores d'évaluation améliorés et à des taux de réussite au financement plus élevés par rapport aux pairs ne participant pas à la révision.

L'essentiel

La Grande Question : « Être Juge » Vous Rend-il un Meilleur « Concurrent » ?

Imaginez une immense compétition culinaire à hauts enjeux. Pour remporter un prix (une subvention de recherche), vous devez soumettre une recette (une demande de subvention). Mais avant que votre recette ne soit jugée, vous devez attendre dans une file d'attente pendant qu'un panel de juges experts déguste et critique des centaines d'autres recettes.

Pendant des années, de nombreux chefs (scientifiques) ont affirmé : « Si je peux siéger au panel de juges, je saurai exactement ce que les juges recherchent. Je verrai comment ils débattent, quelles notes ils attribuent et ce qui rend une recette « discutable ». Cette expérience rendra mes propres recettes bien meilleures, et je remporterai plus de prix. »

Cependant, jusqu'à cette étude, il n'existait aucune preuve tangible. Le problème était que les personnes invitées à devenir juges étaient généralement déjà les meilleurs chefs de la cuisine. Ils avaient remporté des prix, publié des livres de cuisine et jouissaient d'une grande réputation. Ainsi, s'ils gagnaient la compétition plus tard, était-ce parce qu'ils avaient été juges, ou simplement parce qu'ils étaient déjà talentueux ?

L'Expérience : Un Match de « Dégustation »

Pour résoudre ce problème, les chercheurs (de l'NIH, la gigantesque organisation finançant ces « compétitions culinaires ») ont mis en place une expérience ingénieuse utilisant une méthode appelée Appariement par Score de Propension.

Pensez-y comme à une application de rencontre pour scientifiques. Ils ont pris deux groupes de personnes :

1. Les Juges : Des scientifiques en début de carrière qui ont effectivement servi en tant que réviseurs (ECR).
2. Les Non-Juges : Des scientifiques en début de carrière qui étaient tout aussi qualifiés pour être juges (ils avaient le même nombre de publications, les mêmes titres de poste et la même expérience) mais n'ont jamais eu la chance de servir.

Les chercheurs ont utilisé un algorithme informatique pour les jumeler parfaitement, comme des jumeaux. Un jumeau du groupe « Juge » a été apparié avec un jumeau du groupe « Non-Juge ». Cela a garanti que toute différence dans leur succès futur ne pouvait être attribuée au fait qu'ils étaient naturellement plus talentueux ou qu'ils disposaient de meilleures ressources.

Que s'est-il Passé Ensuite ? (Les Résultats)

Les chercheurs ont observé ces deux groupes pendant trois ans après que le groupe « Juge » eut terminé son service. Ils ont examiné le nombre de nouvelles recettes qu'ils ont soumises, combien ont reçu un deuxième regard (été discutées), la hauteur de leurs scores et combien ont remporté des prix (financements).

Voici ce qu'ils ont découvert :

• Plus de Soumissions : Les anciens juges ont soumis plus de recettes que leurs jumeaux appariés.
• Meilleurs Scores : Leurs recettes avaient plus de chances d'obtenir un « score élevé » (ce qui signifie que les juges les considéraient comme excellentes).
• Plus de Discussions : Leurs recettes avaient plus de chances d'être sélectionnées pour une discussion de groupe animée, ce qui est une affaire importante dans ces compétitions.
• Plus de Victoires : Plus important encore, les anciens juges ont remporté plus de prix de financement que les non-juges.

Le « Secret » (Pourquoi cela s'est-il produit ?)

Le document suggère plusieurs raisons pour lesquelles le fait d'être juge a aidé :

1. Connaissance de l'Intérieur : Tout comme un concurrent qui a regardé les juges débattre pendant des années, ces scientifiques ont appris le « langage secret » du processus d'évaluation. Ils ont appris à rédiger leurs demandes pour toucher les bonnes notes et éviter les pièges courants.
2. Confiance : Voir comment le processus fonctionne de l'intérieur les a peut-être rendus plus confiants pour soumettre davantage de demandes.
3. Réseautage : S'asseoir dans la salle avec d'autres experts a peut-être ouvert des portes pour des collaborations et du mentorat, bien que l'étude note qu'il est difficile de mesurer cela directement.

Le Problème (Limites)

Les auteurs prennent soin de préciser que cela ne prouve pas que chaque juge devient un gagnant.

• Le Score « Moyen » : Bien que les juges aient gagné plus souvent, le score moyen de toutes leurs recettes n'a amélioré que légèrement. Il est possible que seuls quelques juges aient reçu un énorme coup de pouce, tandis que le reste est resté inchangé, mais ces quelques grandes victoires ont tiré le groupe vers le haut.
• Facteurs Cachés : Il pourrait y avoir d'autres choses que nous n'avons pas mesurées (comme la qualité de leur réseautage lors d'une fête) qui les ont aidés à gagner, et pas seulement le service d'évaluation lui-même.
• Pas une Garantie : Être juge ne garantit pas que vous obtiendrez de l'argent. La décision finale implique de nombreux autres facteurs, tels que le budget et les priorités de l'organisation.

La Conclusion

Cette étude fournit la première preuve solide que servir en tant que réviseur par les pairs aide effectivement les scientifiques en début de carrière à obtenir plus de subventions par la suite.

C'est comme dire : « Si vous avez la chance de vous asseoir sur le fauteuil du juge, vous apprenez les règles du jeu si bien que lorsque vous jouez en tant que concurrent, vous avez plus de chances de gagner. » Les chercheurs concluent que ce programme est un excellent moyen de former la prochaine génération de scientifiques, non seulement pour aider l'organisation à gérer ses réunions, mais aussi pour aider ces scientifiques à réussir dans leurs propres carrières.

Résumé technique

Résumé technique : Effets du service de révision par les pairs en début de carrière sur les résultats ultérieurs des demandes de subventions

Énoncé du problème
Les National Institutes of Health (NIH) s'appuient fortement sur la révision par les pairs pour évaluer le mérite scientifique des demandes de subventions, un processus exigeant un temps considérable et non rémunéré de la part des scientifiques. Bien que de nombreux réviseurs croient subjectivement que le fait de siéger dans des sections d'étude améliore leurs propres compétences en rédaction de subventions et leur compétitivité, les preuves empiriques étayant cette affirmation ont été limitées. Un défi majeur dans l'évaluation de cette relation est le biais de sélection : les chercheurs sélectionnés pour la révision par les pairs possèdent généralement des caractéristiques (par exemple, un solide dossier de publications, un financement antérieur) qui prédisent également des résultats de subventions réussis. Par conséquent, il est difficile de distinguer si de meilleurs résultats sont causés par l'expérience de révision ou reflètent simplement la qualité préexistante des chercheurs sélectionnés. Cette étude aborde cette confusion en examinant si les chercheurs en début de carrière qui ont servi en tant que réviseurs NIH en début de carrière (ECR) ont obtenu de meilleurs résultats de subventions ultérieurs par rapport à un groupe apparié de chercheurs éligibles qui n'ont pas servi.

Méthodologie
L'étude a utilisé une conception quasi-expérimentale rétrospective exploitant des données administratives du Centre pour l'examen scientifique (CSR) des NIH et des données de publication de Dimensions.

• Population de l'étude : Le groupe de traitement comprenait 1 862 chercheurs ayant servi en tant qu'ECR au cours des années de conseil 2020–2021. Le groupe témoin a été constitué de chercheurs répondant aux critères d'éligibilité des ECR (par exemple, rang de professeur adjoint, examen préalable de demande, nombres spécifiques de publications, aucun financement R01 antérieur) mais n'ayant pas servi en tant que réviseurs.
• Appariement par score de propension (PSM) : Pour traiter la sélection non aléatoire et les facteurs de confusion, les auteurs ont utilisé un appariement par score de propension de type plus proche voisin 1:1 sans remplacement. Les covariables comprenaient le domaine de recherche, le sexe, la race/origine ethnique, le volume de demandes antérieur, l'historique de financement antérieur, les nombres de publications, l'âge académique et les niveaux de financement institutionnel. Ce processus a abouti à un échantillon d'analyse équilibré de 1 120 ECR et 1 120 témoins appariés.
• Résultats : Les résultats ont été évalués sur une période de suivi de trois ans suivant la date index (date de service pour les ECR ; date d'examen équivalente pour les témoins). Les résultats principaux portaient sur les demandes R01 et équivalentes R01 et comprenaient : le volume de soumissions, le nombre de demandes discutées, le nombre de demandes recevant des scores d'impact élevés (≤35), le nombre de demandes financées, les montants totaux des récompenses et les scores de révision par les pairs.
• Analyse statistique : Les analyses ont utilisé des modèles de régression ajustés pour les covariables d'appariement. Des analyses de sensibilité comprenaient des modèles ajustant davantage pour le volume de soumissions afin de tester si les différences de résultats étaient simplement une fonction de la fréquence accrue des soumissions.

Résultats clés

• Soumission et discussion : Les ECR ont soumis significativement plus de demandes R01 que les témoins (moyenne de 2,52 contre 1,40) et avaient plus de chances d'avoir des demandes discutées (moyenne de 1,41 contre 0,68).
• Notation et financement : Les ECR ont obtenu un nombre plus élevé de demandes avec des scores d'impact favorables (≤35) (0,47 contre 0,20) et ont reçu plus de récompenses R01 (0,43 contre 0,16). Les tailles d'effet pour ces résultats étaient modérées (d de Cohen allant de 0,38 à 0,49).
• Ajustements par régression : Même après ajustement pour le volume de soumissions accru (Modèle 2), les ECR restaient significativement plus susceptibles d'obtenir au moins un score favorable (Rapport de cotes [OR] = 2,05) et au moins une récompense R01 (OR = 2,58) par rapport aux témoins.
• Scores de révision par les pairs : Les ECR ont reçu des scores moyens d'impact global légèrement plus favorables que les témoins, en particulier pour leur dernière demande soumise au cours de la période de suivi, bien que les tailles d'effet pour les différences de scores moyens soient faibles à moyennes.

Contributions clés
Cette étude fournit les premières preuves empiriques à grande échelle reliant le service de révision par les pairs en début de carrière à l'amélioration des résultats des demandes de subventions. En utilisant l'appariement par score de propension pour contrôler rigoureusement la productivité préexistante et le stade de carrière, les auteurs isolent l'association entre le service de révision et le succès ultérieur. Les résultats valident l'hypothèse que l'aspect « apprendre en faisant » de la révision par les pairs — acquérir une exposition aux normes de notation, aux discussions de panel et aux critères d'examen — se traduit par des améliorations tangibles de la compétitivité des subventions.

Signification et affirmations
L'article affirme que la participation en début de carrière à la révision par les pairs des NIH est associée à l'amélioration des résultats des demandes de subventions, notamment des taux de soumission plus élevés, de meilleurs scores d'examen et un succès accru en matière de financement. Les auteurs interprètent ces résultats comme étant cohérents avec la croyance auto-déclarée parmi les scientifiques selon laquelle le service de révision améliore leur capacité à rédiger des subventions compétitives.

Cependant, les auteurs maintiennent un ton modeste concernant l'inférence causale. Ils reconnaissent explicitement que, bien que la conception de l'étude contrôle les facteurs de confusion mesurés, des facteurs non mesurés (tels que les opportunités de réseautage ou des aspects non quantifiables du processus de sélection) pourraient encore influencer les résultats. De plus, ils notent que les scores de révision par les pairs ne sont pas le seul déterminant du financement, car un examen de deuxième niveau prend en compte l'équilibre du portefeuille et les priorités scientifiques. L'étude conclut que, bien que les affirmations causales soient limitées par la nature observationnelle des données, la cohérence des effets positifs à travers plusieurs résultats et approches analytiques soutient la valeur du programme ECR en tant que mécanisme pour le développement de la main-d'œuvre scientifique.