Efficient Threshold-based Model for Scientific Productivity Evaluation: a Proposal

기술 요약: 과학적 생산성 평가를 위한 효율적인 임계값 기반 모델

문제 제기
현재의 연구 평가 시스템, 특히 이탈리아의 경우, 자원 집약도, 시간적 지연, 복잡성 측면에서 상당한 과제에 직면해 있다. 주요 국가 평가 메커니즘인 VQR(연구 품질 평가)과 ASN(국가 과학 자격 인증)은 엄격하지만 상당한 재정적, 시간적 자원을 필요로 한다. 예를 들어, VQR은 다년 주기(통상 3년의 기간을 다루며 1년의 평가 과정을 거침)로 운영되므로, 현재의 연구 생산성에 관한 최신 데이터를 온전히 반영하지 못한다. 또한, VQR이 기관을 평가하는 반면 ASN은 개인을 평가하므로, 지속적이고 저비용인 기관 성과 모니터링을 어렵게 만드는 파편화된 환경을 조성한다. 따라서 새로운 데이터 수집이나 복잡한 알고리즘 오버헤드 없이도 기존 데이터를 활용하여 실시간적이고 투명하며 개인정보를 준수하는 과학적 생산성 통찰력을 제공할 수 있는 간소화되고 효율적인 도구가 필요하다.

방법론
저자들은 이탈리아 국가 과학 자격(ASN)의 기존 프레임워크를 활용하는 간소화된 임계값 기반 모델을 제안한다. 이 방법론은 이탈리아 대학 및 연구부(MUR)가 다양한 학술 직급(조교수, 부교수, 정교수) 및 과학 분야(계량서지학적 및 비계량적 분야)에 대해 이미 계산해 놓은 "임계값(threshold values)"에 의존한다.

모델의 핵심 기술 구성 요소는 다음과 같다:

1. 데이터 소스:

   • 임계값 삼중항 ($T$): 다음 학술 직급에 대한 공식 ASN 임계값(예: 부교수는 정교수 임계값에 대해 평가되며, 정교수는 위원회 위원 임계값에 대해 평가됨)을 포함한다. 여기에는 세 가지 지표가 포함된다:
     • 계량서지학적 분야: 논문 수, 총 인용 수, h-index.
     • 비계량적 분야: 논문/기여 수, Class A 저널 논문 수, 단행본 수.
   • 실제 값 삼중항 ($t$): 기관 연구 정보 시스템(IRIS)에서 추출한 개별 연구자의 실시간 데이터이다.

2. 개인 생산성 지수 (PI):
   각 연구자 $S_i$에 대하여, 생산성 지수는 자신의 실제 값과 그에 대응하는 다음 직급 임계값 사이의 비율의 산술 평균으로 계산된다:
   $$PI(S_i) = \frac{1}{3} \sum_{j=1}^{3} \frac{t^i_j}{T^i_j}$$

   • 값이 1 미만이면 평균 임계값보다 낮은 성과를 나타낸다.
   • 값이 1 이상이면 임계값을 충족하거나 초과함을 나타낸다.
   • 임계값이 0인 경우, 해당 지표는 제외되며 남은 값들을 기준으로 평균을 재계산한다.

3. 학과 및 기관 집계:

   • 학과 생산성 지수 (DPI): 학과 내 $n$명의 학자들의 $PI(S_i)$ 점수의 산술 평균이다.
   • 대학 수준 지표: 각 학과의 교수진 수($n_j$)를 가중치로 하여 모든 학과에 대해 가중 평균($\bar{X}$)을 계산한다.
   • 분산 지표: 동질성을 평가하기 위해 가중 표준 편차($WST$)와 변동 계수($CoV$)를 계산한다.

4. 구현:
   모델은 IRIS 저장소와 인터페이스하는 간단한 코드(보충 자료로 제공됨)를 통해 구현되도록 설계되었다. 이를 통해 과학 분야, 학술 직급 또는 특정 교수 그룹(예: 신규 임용 인력)별로 세분화된 분석이 가능하다.

주요 기여

• 즉각적 적용 가능성: 모델은 이미 부처 테이블과 IRIS 데이터베이스에 존재하는 데이터만을 사용하므로 새로운 데이터 수집이 필요 없다.
• 실시간 모니터링: 과거의 스냅샷을 제공하는 VQR과 달리, 이 모델은 연구자들이 IRIS 프로필을 업데이트함에 따라 매일 업데이트되는 연속적인 생산성 뷰를 제공한다.
• 세밀함 및 유연성: 프레임워크는 특정 과학 분야, 학술 직급 또는 기관 내 특정 하위 그룹 간의 비교를 가능하게 하는 "드릴다운(drill-down)" 분석을 허용한다.
• 개인정보 준수: 모델은 개별 연구자의 생산성 지수를 공개적으로 드러내지 않고 집계된 기관 지표(DPI)를 생성하므로 개인정보 보호 규정을 준수한다.
• 학문적 적응성: 분야별 임계값을 사용함으로써, 모델은 계량서지학적 분야(STEM)와 비계량적 분야(인문/사회과학) 사이의 이질성을 본질적으로 반영한다.

결과
본 논문은 가상의 학과에 모델을 적용한 시뮬레이션과, 익명성을 보장하기 위해 실제 데이터와 시뮬레이션 데이터를 혼합하여 사용한 9개 이탈리아 대학(대형, 중형, 소형으로 분류)의 사례 연구 분석을 제시한다.

• 시뮬레이션: 10명의 학자로 구성된 가상 학과는 DPI 1.24를 기록하였으며, 이는 전반적인 생산성이 국가 임계값보다 높음을 나타내지만, 개인별로는 차이(일부는 1.0 미만)가 존재함을 보여준다.
• 대학 분석:
  • 분석 결과, 높은 가중 평균이 반드시 균일한 탁월함을 의미하는 것은 아님이 입증되었다. 높은 표준 편차와 변동 계수는 동일한 대학 내에서도 학과 간 상당한 격차가 있음을 드러냈다.
  • 예를 들어, "대형 대학 1"은 몇몇 고성과 학과에 의해 주도되어 높은 평균을 보였으나 높은 분산을 나타냈고, 반면 "중형 대학 3"은 절반 미만의 학과만이 임계값을 초 exceed하여 높은 변동성을 보였다.
  • 학술 직급별 분석에서는 조교수와 부교수가 경력 발전 동기에 의해 임계값 대비 더 높은 생산성 지수를 보이는 경 تط 현상을 보였으며, 정교수는 기관 내 역할 또는 내부 평가 지표로 인해 다소 낮은 지수를 보였다.
  • 모델은 동일 기관 내의 "탁월한 영역(pockets of excellence)"과 성과 미달 영역을 성공적으로 식별하였다.

의의 및 주장
저자들은 이 연구를 VQR와 같은 포괄적인 동료 검토 기반의 국가 평가를 대체하는 것이 아니라, 보완적인 저비용 도구로 위치시킨다.

• 전략적 가치: 모델은 내부 거버넌스를 지원하고, 개인의 경력 계획을 돕고, 기관이 적시에 결정적인 문제나 탁월한 영역을 감지할 수 있도록 하는 "중간적이고 역동적인 모니터링 계층" 역할을 한다.
• 효율성: 대규모 평가와 관련된 상당한 시간 및 인력 비용 없이도 연구 성과를 추적하고자 하는 기관에 실용적인 솔루션을 제공한다.
• 일반화 가능성: 이 모델은 이탈리아 맥락 내에서 개발되었으나, 비교 가능한 데이터가 존재한다면 임계값 기반 또는 출판 데이터 기반 평가 시스템을 사용하는 다른 국가적 맥락에도 수출 가능하다는 점을 저자들은 주장한다.
• 투명성: 기존의 투명한 임계값을 활용함으로써, 복잡한 평가 알고리즘과 관련된 불투명성을 줄이고 책임감과 지속적인 개선의 문화를 조성하는 것을 목표로 한다.

본 논문은 이러한 임계값 기반 접근 방식이 학문적 다양성과 경력 단계를 존중하면서 연구 성과에 대한 압축적이고 해석 가능하며 민감한 측정치를 제공하여, 전 세계적으로 평가 전략을 정교화할 수 있는 실행 가능한 프레임워크를 제공한다고 결론짓는다.