Effects of Early Career Peer Review Service on Subsequent Grant Submission Outcomes&nbsp

本研究は、NIH の行政データにプロペンシティ・スコア・マッチングを適用し、初期キャリア段階でのピアレビュー業務への参加が、ピアレビューを行わない同僚と比較して、助成金申請数の増加、審査スコアの向上、および資金獲得成功率の上昇と関連していることを示す。

要約

この論文を、平易な言葉と創造的な比喩を用いて解説します。

大きな問い：「審査員になること」は、あなたをより優れた「出場者」にするか？

巨大で、賭け金の高い料理コンペティションを想像してください。賞（研究助成金）を獲得するためには、レシピ（助成金申請書）を提出しなければなりません。しかし、あなたのレシピが審査される前に、専門家の審査員パネルが何百もの他のレシピを試食し、批評するのを並んで待たなければなりません。

長年、多くのシェフ（科学者）がこう主張してきました。「もし私が審査員パネルに座ることができれば、審査員が何を求めているかを正確に学べるだろう。彼らがどのように議論し、どのようなスコアを与え、何がレシピを『議論に値するもの』にするのかを視覚的に理解できる。この経験は、私自身のレシピを格段に向上させ、より多くの賞を勝ち取るだろう」。

しかし、この研究が行われるまで、それを裏付ける確固たる証拠はありませんでした。問題点は、審査員に招かれた人々が通常、すでに厨房で最高のシェフたちだったことです。彼らは賞を受賞し、料理本を出版し、素晴らしい評判を持っていました。したがって、彼らが後にコンペティションで勝利したとしても、それは審査員を務めたからなのか、それとも元々才能があったからなのか、区別がつかないのです。

実験：「試食マッチアップ」

これを解決するため、研究者たち（これらの「料理コンペティション」に資金を提供する巨大組織、NIH からの研究者）は、傾向スコアマッチングと呼ばれる手法を用いた巧妙な実験を設計しました。

これを科学者のためのデートアプリだと考えてみてください。彼らは 2 つのグループを取りました。

1. 審査員グループ：実際にレビュー担当（ECR）を務めた初期キャリアの科学者。
2. 非審査員グループ：審査員になるのに全く同じ資格を持っていた（同じ数の論文、同じ職歴、同じ経験）が、一度も務める機会を得られなかった初期キャリアの科学者。

研究者たちはコンピュータアルゴリズムを用いて、これらを完璧にペアリングしました。まるで双子をマッチングさせるようにです。「審査員」グループの一人の双子を、「非審査員」グループの双子とペアにしました。これにより、将来の成功におけるいかなる違いも、彼らが生まれつき才能があったり、より良いリソースを持っていたりすることのせいにはできないことが保証されました。

その後何があったか？（結果）

研究者たちは、「審査員」グループが任務を終えてから 3 年間、この 2 つのグループを観察しました。彼らが提出した新しいレシピの数、再検討（議論）された数、スコアの高低、そして賞（資金）を獲得した数に注目しました。

彼らが発見したのは以下の通りです。

• 提出数の増加：元審査員たちは、マッチングされた双子たちよりも多くのレシピを提出しました。
• スコアの向上：彼らのレシピは、「高スコア」（審査員が卓越していると判断したもの）を獲得する可能性が高まりました。
• 議論の増加：彼らのレシピは、活発なグループ討論に選ばれる可能性が高く、これはこれらのコンペティションにおいて大きな意味を持ちます。
• 勝利の増加：最も重要なのは、元審査員たちが非審査員たちよりも多くの資金賞を獲得したことです。

「秘密のソース」（なぜこれが起きたのか）

この論文は、審査員を務めることがなぜ役立ったのか、いくつかの理由を挙げています。

1. 内部事情の知識：何年も審査員の議論を見てきた出場者のように、これらの科学者は審査プロセスの「秘密の言語」を学びました。彼らは、適切なポイントを押さえ、一般的な落とし穴を避けるように申請書を書く方法を学びました。
2. 自信：プロセスを内部から見ることは、より多くの申請書を提出することへの自信を高めたかもしれません。
3. ネットワーキング：他の専門家と同じ部屋に座ることは、協力やメンターシップの扉を開いたかもしれませんが、研究ではこれを直接測定することは難しいと指摘されています。

注意点（限界）

著者らは、これがすべての審査員を勝者にするわけではないと慎重に述べています。

• 「平均」スコア：審査員たちはより頻繁に勝利しましたが、彼ら全員のレシピの平均スコアはわずかにしか向上しませんでした。ごく一部の審査員だけが大幅なブーストを受け、残りは同じままだった可能性がありますが、その数少ない大きな勝利がグループ全体を引き上げたのかもしれません。
• 隠れた要因：彼らの勝利を助けたのはレビューサービスそのものだけでなく、 party でのネットワーキングの上手さなど、私たちが測定しなかった他の要素もあるかもしれません。
• 保証ではない：審査員を務めることが、資金獲得を保証するわけではありません。最終決定には、組織の予算や優先順位など、多くの他の要素が関わります。

結論

この研究は、ピアレビュー担当を務めることが、実際には初期キャリアの科学者が後々より多くの助成金を獲得するのに役立つという、最初の確固たる証拠を提供します。

これは、「もしあなたが審査員の椅子に座る機会を得れば、ゲームのルールを非常に良く学ぶので、出場者としてプレイする際に勝利する可能性が高まる」と言うようなものです。研究者たちは、このプログラムは組織の会議を運営するのを助けるだけでなく、その科学者たちが自らのキャリアで成功するための次世代の科学者を育成する素晴らしい方法であると結論付けています。

技術概要

技術的サマリー：早期キャリアにおけるピアレビュー業務がその後の助成金申請結果に与える影響

問題提起
国立衛生研究所（NIH）は、助成金申請の科学的価値を評価する際、ピアレビューに大きく依存しており、このプロセスには科学者による多額の無償時間が要求される。多くのレビュアーは主観的に、研究部会への参加が自身の助成金作成スキルや競争力を向上させると信じているが、この主張を支持する実証的証拠は限られていた。この関係を評価する上での主要な課題は選択バイアスである：ピアレビューに選出される研究者は、通常、強い出版実績や過去の資金獲得など、助成金の成功も予測する特性を有している。したがって、より良い結果がレビュー経験によって引き起こされたのか、それとも単に選ばれた研究者の事前の質を反映しているのかを区別することは困難である。本研究は、NIH 早期キャリアレビュアー（ECR）として務めた早期キャリアの研究者と、条件を満たしたがレビュアーとして務めなかったマッチングされたグループを比較することで、この交絡を解消し、ECR としての経験がその後の助成金結果に寄与するかどうかを検討した。

方法論
本研究は、NIH 科学審査センター（CSR）の行政データおよび Dimensions の出版データを用いた、回顧的かつ準実験的なデザインを採用した。

• 研究対象集団：治療群は、2020〜2021 年の評議年度中に ECR として務めた 1,862 名の研究者で構成された。対照群は、ECR の資格基準（例：准教授職、過去の申請レビュー経験、特定の出版数、R01 資金の未獲得など）を満たしたが、レビュアーとして務めていなかった研究者から構築された。
• プロペンスティスコアマッチング（PSM）：非無作為な選択と交絡に対処するため、著者は復元なしの 1:1 最隣接プロペンスティスコアマッチングを用いた。共変量には、研究分野、性別、人種・民族、過去の申請数、過去の資金獲得歴、出版数、学術的経歴年数、および機関の資金レベルが含まれた。このプロセスにより、1,120 名の ECR と 1,120 名のマッチングされた対照群からなるバランスの取れた分析サンプルが得られた。
• 結果指標：結果指標は、基準日（ECR についてはサービス日、対照群については同等のレビュー日）以降の 3 年間のフォローアップ期間で評価された。主要な結果指標は R01 および R01 同等の申請に焦点を当て、以下の項目を含んだ：申請数、審議された申請数、高インパクトスコア（≤35）を獲得した申請数、資金獲得した申請数、総授与額、およびピアレビュースコア。
• 統計解析：解析には、マッチングされた共変量で調整した回帰モデルが用いられた。感度分析には、申請頻度の増加が単に結果の違いをもたらすものかどうかをテストするため、申請数でさらに調整したモデルが含まれた。

主要な結果

• 申請と審議：ECR は対照群に比べて有意に多くの R01 申請を提出し（平均 2.52 対 1.40）、申請が審議される可能性も高かった（平均 1.41 対 0.68）。
• スコアリングと資金獲得：ECR は、有利なインパクトスコア（≤35）を獲得した申請数が多く（0.47 対 0.20）、R01 資金の獲得数も多かった（0.43 対 0.16）。これらの結果に対する効果量は中等度であった（Cohen の d は 0.38 から 0.49 の範囲）。
• 回帰調整：増加した申請数で調整した後でも（モデル 2）、ECR は対照群に比べて、少なくとも 1 つの有利なスコア（オッズ比 [OR] = 2.05）および少なくとも 1 つの R01 資金（OR = 2.58）を獲得する可能性が有意に高かった。
• ピアレビュースコア：ECR は対照群に比べて、特にフォローアップ期間中の最終提出申請において、わずかに有利な平均総合インパクトスコアを獲得したが、平均スコア差の効果量は小から中程度であった。

主要な貢献
本研究は、早期キャリアにおけるピアレビュー業務と助成金申請結果の改善を結びつける、初の大規模な実証的証拠を提供する。プロペンスティスコアマッチングを用いて事前の生産性やキャリア段階を厳密に統制することで、著者はレビュー業務とその後の成功との関連性を孤立させた。これらの知見は、「実践による学習」というピアレビューの側面（スコアリング基準、パネルディスカッション、審査基準への曝露を得ること）が、助成金の競争力向上という具体的な改善に転換するという仮説を裏付けるものである。

意義と主張
本論文は、NIH ピアレビューへの早期キャリアの参加が、より高い申請率、より良いレビュースコア、そして増加した資金獲得の成功を含む、改善された助成金申請結果と関連していることを主張する。著者は、これらの知見を、科学者間の自己申告に基づく信念（レビュー業務が競争力のある助成金作成能力を向上させる）と一致すると解釈している。

ただし、著者は因果推論に関しては控えめなトーンを維持している。研究デザインは測定された交絡因子を統制しているが、測定されていない要因（ネットワーキングの機会や選択プロセスの定量化不可能な側面など）が結果に影響を与えうることを明示的に認めている。さらに、ピアレビュースコアは資金決定の唯一の要因ではなく、第二層の審査ではポートフォリオのバランスや科学的優先事項が考慮されることに言及している。本研究は、データの観察的性質により因果主張は制限されるものの、複数の結果および解析アプローチにわたる肯定的な効果の一貫性が、科学 workforce 開発のメカニズムとしての ECR プログラムの価値を支持すると結論付けている。