Effects of Early Career Peer Review Service on Subsequent Grant Submission Outcomes&nbsp

Diese Studie nutzt Propensity-Score-Matching auf administrativen NIH-Daten, um nachzuweisen, dass der Peer-Review-Dienst im frühen Berufsstand im Vergleich zu nicht rezensierenden Kolleginnen und Kollegen mit einer höheren Anzahl von Anträgen, verbesserten Bewertungsergebnissen und höheren Erfolgsquoten bei der Mittelvergabe einhergeht.

Das Wesentliche

Die große Frage: Macht „Richter sein" dich zu einem besseren „Teilnehmer"?

Stellen Sie sich einen riesigen, hochriskanten Kochwettbewerb vor. Um einen Preis (ein Forschungsstipendium) zu gewinnen, müssen Sie ein Rezept (eine Stipendienantrag) einreichen. Doch bevor Ihr Rezept bewertet wird, müssen Sie in einer Schlange warten, während ein Gremium aus Expertenrichtern hunderte anderer Rezepte probiert und kritisiert.

Seit Jahren behaupten viele Köche (Wissenschaftler): „Wenn ich auf dem Richterpanel sitzen darf, lerne ich genau, wonach die Richter suchen. Ich sehe, wie sie argumentieren, welche Noten sie vergeben und was ein Rezept ‚diskussionswürdig' macht. Diese Erfahrung wird meine eigenen Rezepte deutlich besser machen, und ich werde mehr Preise gewinnen."

Bis zu dieser Studie gab es jedoch keinen harten Beweis. Das Problem war, dass die Personen, die als Richter eingeladen wurden, normalerweise bereits die besten Köche in der Küche waren. Sie hatten Preise gewonnen, Kochbücher veröffentlicht und einen hervorragenden Ruf. Wenn sie also später den Wettbewerb gewannen, lag das daran, dass sie Richter waren, oder einfach nur daran, dass sie bereits talentiert waren?

Das Experiment: Ein „Probier"-Match-up

Um dies zu lösen, richteten die Forscher (von den NIH, der riesigen Organisation, die diese „Kochwettbewerbe" finanziert) ein cleveres Experiment mit einer Methode namens Propensity Score Matching (Neigungswert-Matching) ein.

Denken Sie daran wie an eine Dating-App für Wissenschaftler. Sie nahmen zwei Gruppen von Personen:

1. Die Richter: Wissenschaftler im frühen Karrierestadium, die tatsächlich als Gutachter dienten (ECRs).
2. Die Nicht-Richter: Wissenschaftler im frühen Karrierestadium, die genauso qualifiziert waren, Richter zu sein (sie hatten die gleiche Anzahl an Veröffentlichungen, die gleichen Jobtitel und die gleiche Erfahrung), aber nie die Chance bekamen, zu dienen.

Die Forscher verwendeten einen Computeralgorithmus, um sie perfekt zu paaren, wie Zwillinge. Ein Zwilling aus der „Richter"-Gruppe wurde mit einem Zwilling aus der „Nicht-Richter"-Gruppe gepaart. Dies stellte sicher, dass alle Unterschiede in ihrem zukünftigen Erfolg nicht darauf zurückgeführt werden konnten, dass sie von Natur aus talentierter waren oder über bessere Ressourcen verfügten.

Was geschah dann? (Die Ergebnisse)

Die Forscher beobachteten diese beiden Gruppen drei Jahre lang, nachdem die „Richter"-Gruppe ihren Dienst beendet hatte. Sie schauten, wie viele neue Rezepte sie einreichten, wie viele eine zweite Prüfung erhielten (diskutiert wurden), wie hoch ihre Noten waren und wie viele Preise (Fördermittel) sie gewannen.

Hier ist, was sie fanden:

• Mehr Einreichungen: Die ehemaligen Richter reichten mehr Rezepte ein als ihre gepaarten Zwillinge.
• Bessere Noten: Ihre Rezepte erhielten eher eine „hohe Note" (was bedeutet, dass die Richter sie als hervorragend betrachteten).
• Mehr Diskussion: Ihre Rezepte wurden eher für eine lebhafte Gruppendiskussion ausgewählt, was in diesen Wettbewerben eine große Sache ist.
• Mehr Siege: Am wichtigsten: Die ehemaligen Richter gewannen mehr Förderpreise als die Nicht-Richter.

Die „Geheimsauce" (Warum passierte das?)

Das Papier schlägt einige Gründe vor, warum das Richtersein half:

1. Insiderwissen: Genau wie ein Teilnehmer, der jahrelang zugehört hat, wie die Richter argumentieren, lernten diese Wissenschaftler die „Geheimsprache" des Begutachtungsprozesses. Sie lernten, wie man ihre Anträge so schreibt, dass sie die richtigen Töne treffen und gängige Fallstricke vermeiden.
2. Selbstvertrauen: Zu sehen, wie der Prozess von innen funktioniert, könnte sie selbstbewusster gemacht haben, mehr Anträge einzureichen.
3. Netzwerken: Im Raum mit anderen Experten zu sitzen, könnte Türen für Zusammenarbeit und Mentoring geöffnet haben, obwohl die Studie feststellt, dass dies schwer direkt zu messen ist.

Der Haken (Einschränkungen)

Die Autoren betonen sorgfältig, dass dies nicht beweist, dass jeder Richter zum Gewinner wird.

• Die „durchschnittliche" Note: Obwohl die Richter öfter gewannen, verbesserte sich die durchschnittliche Note aller ihrer Rezepte nur geringfügig. Es ist möglich, dass nur wenige Richter einen enormen Schub erhielten, während der Rest gleich blieb, aber diese wenigen großen Siege zogen die Gruppe nach oben.
• Versteckte Faktoren: Es könnte andere Dinge geben, die wir nicht gemessen haben (wie gut sie auf einer Party netzwerkten), die ihnen halfen zu gewinnen, und nicht nur der Begutachtungsdienst selbst.
• Keine Garantie: Richter zu sein, garantiert nicht, dass Sie Geld bekommen. Die endgültige Entscheidung hängt von vielen anderen Faktoren ab, wie dem Budget und den Prioritäten der Organisation.

Das Fazit

Diese Studie liefert den ersten soliden Beweis dafür, dass das Dienen als Peer-Reviewer Wissenschaftlern im frühen Karrierestadium tatsächlich hilft, später mehr Stipendien zu erhalten.

Es ist wie zu sagen: „Wenn Sie den Richterstuhl einnehmen dürfen, lernen Sie die Regeln des Spiels so gut, dass Sie, wenn Sie als Teilnehmer spielen, eher gewinnen." Die Forscher kommen zu dem Schluss, dass dieses Programm eine großartige Möglichkeit ist, die nächste Generation von Wissenschaftlern nicht nur zu trainieren, um dem Unternehmen bei der Abhaltung seiner Treffen zu helfen, sondern um diesen Wissenschaftlern zu helfen, in ihren eigenen Karrieren erfolgreich zu sein.

Technische Zusammenfassung

Technische Zusammenfassung: Auswirkungen des Peer-Review-Services in der frühen Karriere auf nachfolgende Ergebnisse bei Grant-Einreichungen

Problemstellung
Die National Institutes of Health (NIH) stützen sich bei der Bewertung des wissenschaftlichen Wertes von Grant-Anträgen stark auf das Peer-Review-Verfahren, ein Prozess, der von Wissenschaftlern erhebliche unbezahlte Zeit erfordert. Obwohl viele Gutachter subjektiv der Ansicht sind, dass die Tätigkeit in Studienausschüssen ihre eigenen Fähigkeiten im Grant-Schreiben und ihre Wettbewerbsfähigkeit verbessert, gibt es nur begrenzte empirische Belege, die diese Behauptung stützen. Eine Haupt Herausforderung bei der Bewertung dieses Zusammenhangs ist die Selektionsverzerrung: Untersuchungen, die für das Peer-Review ausgewählt werden, weisen typischerweise Merkmale auf (z. B. starke Publikationslisten, frühere Förderungen), die auch erfolgreiche Grant-Ergebnisse vorhersagen. Folglich ist es schwierig zu unterscheiden, ob bessere Ergebnisse durch die Review-Erfahrung verursacht werden oder einfach die bereits bestehende Qualität der ausgewählten Untersuchungen widerspiegeln. Diese Studie adressiert diese Störvariable, indem sie untersucht, ob frühe Karriereforscher, die als NIH Early Career Reviewers (ECRs) tätig waren, im Vergleich zu einer gematchten Gruppe geeigneter Untersuchungen, die nicht als Gutachter tätig waren, bessere nachfolgende Grant-Ergebnisse erzielten.

Methodik
Die Studie verwendete ein retrospektives, quasi-experimentelles Design mit administrativen Daten des NIH Center for Scientific Review (CSR) und Publikationsdaten von Dimensions.

• Studienpopulation: Die Behandlungsgruppe bestand aus 1.862 Untersuchungen, die während der Council-Jahre 2020–2021 als ECRs tätig waren. Die Kontrollgruppe wurde aus Untersuchungen zusammengesetzt, die die ECR-Berechtigungskriterien erfüllten (z. B. Rang als Assistant Professor, vorherige Antragsprüfung, spezifische Publikationszahlen, keine vorherige R01-Förderung), aber nicht als Gutachter tätig gewesen waren.
• Propensity-Score-Matching (PSM): Um nicht-zufällige Selektion und Störvariablen zu adressieren, verwendeten die Autoren ein 1:1-Nachbar-Propensity-Score-Matching ohne Zurücklegen. Kovariaten umfassten Forschungsfeld, Geschlecht, Rasse/Ethnizität, vorheriges Antragsvolumen, vorherige Förderhistorie, Publikationszahlen, akademisches Alter und institutionelle Fördermittel. Dieser Prozess führte zu einer ausgewogenen analytischen Stichprobe von 1.120 ECRs und 1.120 gematchten Kontrollen.
• Ergebnisse: Die Ergebnisse wurden über einen dreijährigen Follow-up-Zeitraum nach dem Indexdatum (Dienstdatum für ECRs; entsprechendes Prüfdatum für Kontrollen) bewertet. Die primären Ergebnisse konzentrierten sich auf R01- und R01-äquivalente Anträge und umfassten: Einreichungsvolumen, Anzahl der diskutierten Anträge, Anzahl der Anträge mit hohen Impact-Scores (≤35), Anzahl der geförderten Anträge, Gesamtfördersummen und Peer-Review-Scores.
• Statistische Analyse: Die Analysen verwendeten Regressionsmodelle, die für Matching-Kovariaten adjustiert waren. Sensitivitätsanalysen umfassten Modelle, die zusätzlich für das Einreichungsvolumen adjustierten, um zu testen, ob Unterschieden in den Ergebnissen lediglich eine Funktion der erhöhten Antragsfrequenz waren.

Hauptergebnisse

• Einreichung und Diskussion: ECRs reichten signifikant mehr R01-Anträge ein als Kontrollen (Durchschnitt 2,52 vs. 1,40) und hatten eine höhere Wahrscheinlichkeit, dass ihre Anträge diskutiert wurden (Durchschnitt 1,41 vs. 0,68).
• Bewertung und Förderung: ECRs erzielten eine höhere Anzahl von Anträgen mit günstigen Impact-Scores (≤35) (0,47 vs. 0,20) und erhielten mehr R01-Awards (0,43 vs. 0,16). Die Effektstärken für diese Ergebnisse waren moderat (Cohens d im Bereich von 0,38 bis 0,49).
• Regressions-Adjustierungen: Selbst nach Adjustierung für das erhöhte Einreichungsvolumen (Modell 2) blieben ECRs im Vergleich zu Kontrollen signifikant wahrscheinlicher, mindestens einen günstigen Score (Odds Ratio [OR] = 2,05) und mindestens einen R01-Award (OR = 2,58) zu erhalten.
• Peer-Review-Scores: ECRs erhielten leicht günstigere durchschnittliche Gesamt-Impact-Scores als Kontrollen, insbesondere für ihren letzten eingereichten Antrag während des Follow-up-Zeitraums, obwohl die Effektstärken für die Unterschiede in den Durchschnittswerten klein bis mittel waren.

Hauptbeiträge
Diese Studie liefert den ersten groß angelegten, empirischen Beleg, der den Peer-Review-Service in der frühen Karriere mit verbesserten Grant-Antragsergebnissen verknüpft. Durch die Nutzung von Propensity-Score-Matching zur rigorosen Kontrolle der bereits bestehenden Produktivität und des Karrierestadiums isolieren die Autoren die Assoziation zwischen Review-Service und nachfolgendem Erfolg. Die Ergebnisse validieren die Hypothese, dass der Aspekt des „Lernens durch Tun" beim Peer-Review – der Gewinn von Einblicken in Bewertungsstandards, Panel-Diskussionen und Review-Kriterien – in greifbare Verbesserungen der Grant-Wettbewerbsfähigkeit übersetzt wird.

Bedeutung und Behauptungen
Die Studie behauptet, dass die Teilnahme von Karriereforschern am NIH-Peer-Review mit verbesserten Grant-Antragsergebnissen verbunden ist, einschließlich höherer Einreichungsraten, besserer Review-Scores und erhöhtem Förderungserfolg. Die Autoren interpretieren diese Ergebnisse als konsistent mit der selbstberichteten Überzeugung unter Wissenschaftlern, dass Review-Tätigkeit ihre Fähigkeit verbessert, wettbewerbsfähige Grants zu schreiben.

Allerdings bewahren die Autoren einen bescheidenen Ton bezüglich kausaler Schlussfolgerungen. Sie erkennen ausdrücklich an, dass das Studiendesign zwar für gemessene Störvariablen kontrolliert, aber nicht gemessene Faktoren (wie Networking-Möglichkeiten oder nicht quantifizierbare Aspekte des Auswahlprozesses) die Ergebnisse dennoch beeinflussen könnten. Ferner stellen sie fest, dass Peer-Review-Scores nicht der alleinige Bestimmungsfaktor für Förderungen sind, da eine zweite Prüfrunde die Portfolio-Balance und wissenschaftliche Prioritäten berücksichtigt. Die Studie schließt, dass zwar kausale Behauptungen durch den beobachtenden Charakter der Daten begrenzt sind, die Konsistenz positiver Effekte über mehrere Ergebnisse und analytische Ansätze hinweg jedoch den Wert des ECR-Programms als Mechanismus für die Entwicklung der wissenschaftlichen Arbeitskräfte unterstützt.