Effects of Early Career Peer Review Service on Subsequent Grant Submission Outcomes&nbsp

본 연구는 NIH 행정 데이터를 활용한 성향 점수 매칭을 통해 초기 경력 동료 심사 참여가 비심사 동료에 비해 제출된 보조금 건수 증가, 심사 점수 향상, 그리고 자금 지원 성공률 상승과 연관되어 있음을 입증합니다.

핵심

이 논문은 쉬운 언어와 창의적인 비유를 사용하여 설명합니다.

핵심 질문: "심사위원이 되는 것"이 당신을 더 나은 "참가자"로 만들까?

거대하고 중대한 요리 대회를 상상해 보세요. 상금 (연구 보조금) 을 따기 위해서는 레시피 (보조금 신청서) 를 제출해야 합니다. 하지만 당신의 레시피가 심사되기 전에, 전문가 심사위원 패널이 수백 가지의 다른 레시피를 시식하고 비평하는 동안 줄을 서서 기다려야 합니다.

수년 동안 많은 셰프 (과학자) 들은 이렇게 주장해 왔습니다. "내가 심사위원단에 앉게 되면, 심사위원들이 무엇을 원하는지 정확히 배울 수 있을 거야. 그들이 어떻게 논쟁을 벌이고, 어떤 점수를 주며, 어떤 레시피가 '논의 대상'이 되는지 보게 될 테니까. 이 경험은 내 레시피를 훨씬 더 훌륭하게 만들고, 더 많은 상을 따게 해 줄 거야."

그러나 이 연구가 있기 전까지는 확실한 증거가 없었습니다. 문제는 심사위원으로 초대받은 사람들이 이미 주방에서 가장 뛰어난 셰프들이라는 점입니다. 그들은 상을 받았고, 요리책을 출판했으며, 훌륭한 명성을 가지고 있었습니다. 따라서 그들이 나중에 대회를 이겼다면, 그것은 심사위원이었기 때문이었을까, 아니면 이미 재능이 있었기 때문이었을까요?

실험: "시식 테스트" 매칭

이를 해결하기 위해 연구자들 (이러한 "요리 대회"에 자금을 지원하는 거대 기관인 NIH 소속) 은 성향 점수 매칭 (Propensity Score Matching) 이라는 방법을 사용하여 교묘한 실험을 설계했습니다.

이를 과학자들을 위한 데이트 앱이라고 생각해 보세요. 연구자들은 두 그룹의 사람들을 선정했습니다.

1. 심사위원: 실제로 심사관으로 활동한 초기 경력 과학자 (ECR).
2. 비심사위원: 심사위원이 될 자격이 동일하게 충분했던 초기 경력 과학자 (동일한 수의 논문, 동일한 직함, 동일한 경험을 가졌지만, 심사위원으로 활동할 기회를 전혀 얻지 못한 사람들).

연구자들은 컴퓨터 알고리즘을 사용하여 이들을 완벽하게 짝지어 주었습니다. 마치 쌍둥이를 매칭하듯, "심사위원" 그룹의 한 쌍둥이를 "비심사위원" 그룹의 쌍둥이와 짝지었습니다. 이를 통해 향후 성공 차이는 그들이 본래 더 재능이 있거나 더 나은 자원을 가졌기 때문이라고 비난할 수 없도록 보장했습니다.

그 후 무슨 일이 일어났을까? (결과)

연구자들은 "심사위원" 그룹이 임무를 마친 후 3 년 동안 두 그룹을 관찰했습니다. 그들이 제출한 새로운 레시피의 수, 재심사 (논의) 를 받은 수, 점수 수준, 그리고 상 (보조금) 을 딴 수를 확인했습니다.

그들이 발견한 바는 다음과 같습니다.

• 더 많은 제출: 전 심사위원들은 짝지어진 쌍둥이들보다 더 많은 레시피를 제출했습니다.
• 더 높은 점수: 그들의 레시피는 "높은 점수"를 받을 가능성이 더 높았습니다 (즉, 심사위원들이 이를 훌륭하다고 생각함).
• 더 많은 논의: 그들의 레시피는 생생한 그룹 논의를 위해 선정될 가능성이 더 높았습니다. 이는 이러한 대회에서 매우 중요한 일입니다.
• 더 많은 승리: 가장 중요한 점은 전 심사위원들이 비심사위원들보다 더 많은 보조금 상을 차지했다는 것입니다.

"비밀 소스" (왜 이런 일이 일어났을까?)

이 논문은 심사위원이 되는 것이 어떻게 도움이 되었는지에 대한 몇 가지 이유를 제시합니다.

1. 내부 정보: 심사위원들의 논쟁을 수년 동안 지켜본 참가자처럼, 이 과학자들은 심사 과정의 "비밀 언어"를 배웠습니다. 그들은 신청서를 작성할 때 올바른 포인트를 전달하고 일반적인 함정을 피하는 법을 배웠습니다.
2. 자신감: 내부에서 과정이 어떻게 작동하는지 목격함으로써 더 많은 신청서를 제출하는 데 자신감이 생겼을 수 있습니다.
3. 네트워킹: 다른 전문가들과 함께 방에 앉아 있는 것이 협력과 멘토링의 문을 열었을 수 있지만, 연구는 이를 직접 측정하기는 어렵다고 지적합니다.

함정 (한계점)

저자들은 이것이 모든 심사위원이 승자가 된다는 것을 증명하지는 않는다고 조심스럽게 말합니다.

• "평균" 점수: 심사위원들이 더 자주 우승했지만, 모든 레시피의 평균 점수는 약간만 향상되었습니다. 소수의 심사위원만 큰 부스트를 받았고 나머지는 그대로였을 가능성이 있으며, 그 소수의 큰 승리가 그룹 전체를 끌어올렸을 수 있습니다.
• 숨겨진 요인: 심사 서비스 그 자체뿐만 아니라, 파티에서 얼마나 잘 네트워킹했는지와 같이 우리가 측정하지 않은 다른 요소들이 그들이 우승하는 데 도움이 되었을 수 있습니다.
• 보장 없음: 심사위원이 된다고 해서 반드시 돈을 받는 것은 아닙니다. 최종 결정에는 기관의 예산과 우선순위 등 많은 다른 요소들이 관여합니다.

결론

이 연구는 동료 심사위원으로 봉사하는 것이 실제로 초기 경력 과학자들이 나중에 더 많은 보조금을 받는 데 도움이 된다는 첫 번째 확실한 증거를 제공합니다.

이는 다음과 같은 말과 같습니다. "심사위원의 자리에 앉게 되면 게임의 규칙을 너무 잘 배우게 되어, 참가자로 플레이할 때 우승할 가능성이 더 높아진다." 연구자들은 이 프로그램이 기관의 회의를 운영하는 데 도움을 주는 것뿐만 아니라, 차세대 과학자들이 자신의 경력에서 성공할 수 있도록 훈련시키는 훌륭한 방법이라고 결론지었습니다.

기술 요약

기술 요약: 초기 경력 동료 검토 서비스의 이후 보조금 제출 결과에 미치는 영향

문제 제기
국립보건원 (NIH) 은 보조금 신청서의 과학적 가치를 평가하는 데 동료 검토에 크게 의존하며, 이 과정은 과학자들의 상당한 무보수 시간을 요구합니다. 많은 검토자가 연구 위원회 참여가 자신의 보조금 작성 능력과 경쟁력을 향상시킨다고 주관적으로 믿지만, 이 주장을 뒷받침하는 실증적 증거는 제한적이었습니다. 이 관계를 평가하는 데 있어 주요한 과제는 선택 편향입니다. 동료 검토에 선정된 연구자들은 일반적으로 강력한 출판 기록이나 이전 자금 지원과 같은 특성을 지니고 있는데, 이러한 특성들은 또한 성공적인 보조금 결과를 예측합니다. 따라서 더 나은 결과가 검토 경험으로 인해 발생한 것인지, 아니면 단순히 선정된 연구자들의 기존 질을 반영하는 것인지를 구분하기 어렵습니다. 본 연구는 NIH 초기 경력 검토자 (ECR) 로서 활동한 초기 경력 연구자들이 자격 요건을 충족했으나 검토자로 활동하지 않은 매칭 그룹의 연구자들보다 이후 보조금 결과를 더 잘 달성했는지 검토함으로써 이러한 교란 요인을 해결합니다.

방법론
본 연구는 NIH 과학적 검토 센터 (CSR) 의 행정 데이터와 Dimensions 의 출판 데이터를 활용한 후향적 준실험 설계 방식을 채택했습니다.

• 연구 대상: 처리군은 2020~2021 회계연도에 ECR 로서 활동한 1,862 명의 연구자로 구성되었습니다. 대조군은 ECR 자격 요건 (예: 조교수 직급, 이전 신청서 검토 경험, 특정 출판 수, 이전 R01 자금 지원 부재) 을 충족했으나 검토자로 활동하지 않은 연구자들로부터 구성되었습니다.
• 성향 점수 매칭 (PSM): 비무작위 선택과 교란 요인을 해결하기 위해 저자들은 교체 없는 1:1 최단 거리 성향 점수 매칭을 사용했습니다. 공변량에는 연구 분야, 성별, 인종/민족, 이전 신청 건수, 이전 자금 지원 이력, 출판 수, 학문적 경력, 기관 자금 지원 수준이 포함되었습니다. 이 과정을 통해 1,120 명의 ECR 과 1,120 명의 매칭된 대조군으로 구성된 균형 잡힌 분석 표본이 도출되었습니다.
• 결과 지표: 결과 지표는 기준일 (ECR 의 경우 서비스 날짜, 대조군의 경우 이에 상응하는 검토 날짜) 이후 3 년간의 추적 기간 동안 평가되었습니다. 주요 결과 지표는 R01 및 R01 동등 신청서에 초점을 맞추었으며, 제출 건수, 논의된 신청서 수, 높은 영향력 점수 (≤35) 를 받은 신청서 수, 자금 지원된 신청서 수, 총 수여 금액, 그리고 동료 검토 점수를 포함했습니다.
• 통계 분석: 분석은 매칭 공변량을 보정한 회귀 모형을 사용했습니다. 민감도 분석에는 제출 건수를 추가로 보정한 모형이 포함되어 결과 차이가 단순히 신청 빈도 증가의 함수인지 여부를 검증했습니다.

주요 결과

• 제출 및 논의: ECR 들은 대조군보다 훨씬 더 많은 R01 신청서를 제출했으며 (평균 2.52 대 1.40), 신청서가 논의될 가능성도 더 높았습니다 (평균 1.41 대 0.68).
• 점수 및 자금 지원: ECR 들은 유리한 영향력 점수 (≤35) 를 받은 신청서 수 (0.47 대 0.20) 가 더 많았으며, 더 많은 R01 보조금을 수령했습니다 (0.43 대 0.16). 이러한 결과에 대한 효과 크기는 중간 정도였습니다 (Cohen's d는 0.38~0.49 범위).
• 회귀 보정: 제출 건수 증가를 보정한 후에도 (모델 2), ECR 들은 대조군에 비해 적어도 하나의 유리한 점수를 받을 가능성 (오즈비 [OR] = 2.05) 과 적어도 하나의 R01 보조금을 수령할 가능성 (OR = 2.58) 이 여전히 유의미하게 높았습니다.
• 동료 검토 점수: ECR 들은 대조군보다 평균 전체 영향력 점수가 약간 더 유리하게 받았으며, 특히 추적 기간 동안 제출한 마지막 신청서의 경우 그 차이가 두드러졌으나, 평균 점수 차이에 대한 효과 크기는 작음에서 중간 정도였습니다.

주요 기여
본 연구는 초기 경력 동료 검토 서비스와 보조금 신청서 결과 개선 사이의 연관성을 입증하는 최초의 대규모 실증적 증거를 제공합니다. 성향 점수 매칭을 활용하여 기존 생산성과 경력 단계를 엄격하게 통제함으로써 저자들은 검토 서비스와 이후 성공 사이의 연관성을 분리해냈습니다. 이러한 발견은 점수 기준, 패널 토론, 검토 기준에 대한 노출을 얻는 동료 검토의 '실천을 통한 학습' 측면이 보조금 경쟁력 향상이라는 구체적인 개선으로 이어진다는 가설을 검증합니다.

의의 및 주장
본 논문은 초기 경력 연구자의 NIH 동료 검토 참여가 제출률 증가, 더 나은 검토 점수, 그리고 자금 지원 성공률 향상 등 개선된 보조금 신청 결과와 연관되어 있다고 주장합니다. 저자들은 이러한 발견들이 과학자들이 검토 서비스 참여가 경쟁력 있는 보조금 작성 능력을 향상시킨다고 보고하는 신념과 일치한다고 해석합니다.

그러나 저자들은 인과 추론에 관해 겸손한 어조를 유지합니다. 연구 설계가 측정된 교란 요인들을 통제하지만, 네트워크 기회나 선정 과정의 정량화 불가능한 측면과 같은 측정되지 않은 요인들은 여전히 결과에 영향을 미칠 수 있음을 명시적으로 인정합니다. 또한, 동료 검토 점수가 자금 지원의 유일한 결정 요인이 아니며, 2 차 검토는 포트폴리오 균형과 과학적 우선순위를 고려한다는 점을 지적합니다. 본 연구는 데이터의 관찰적 성격으로 인해 인과적 주장은 제한적이지만, 여러 결과와 분석 접근법 전반에 걸쳐 일관되게 나타나는 긍정적 효과는 과학적 인력 개발을 위한 메커니즘으로서 ECR 프로그램의 가치를 지지한다고 결론지었습니다.