Regulatory effect of document samples on the fluctuation of journal impact factor

기술 요약: 문서 표본이 저널 임팩트 팩터(JIF) 변동에 미치는 규제적 효과

문제 제기
저널 임팩트 팩터(JIF)는 학술 저널의 품질을 평가하는 데 널리 활용되는 지표이지만, 그 계산 방식은 본질적으로 인용 횟수가 극단적으로 높거나 낮은 개별 문서에 의해 발생하는 극심한 수치적 변동에 취약하다. 표준 JIF 계산은 분모에 모든 "소스 문서"(논문 및 리뷰)를 포함하고, 분자에는 이들의 총 인용 횟수를 포함한다. 이러한 방법론은 단 하나의 고인용 논문이 저널의 JIF를 불균형하게 부풀릴 수 있게 하며, 이는 장기적이고 종합적인 학술적 품질을 반영하고자 하는 지표의 본래 의도에서 벗어나게 한다. 선행 연구들은 단일 논문이 JIF를 비정상적으로 급등시키거나 폭락시킨 사례(예: Acta Crystallographica Section A)를 강조해 왔으며, 이는 저널 평가 시스템의 과학적 엄밀성과 공정성을 저해한다. 비분모 문서 유형을 늘리거나 인용 동맹을 결성하는 등의 현재 JAF 조작 전략은 상황을 더욱 복잡하게 만들고 있으며, 이에 따라 지표의 근본적인 정의를 변경하지 않으면서도 이러한 왜곡을 완화할 수 있는 통계적 접근법이 필요하다.

연구 방법론
본 연구는 JIF 계산 모델을 수정하기 위한 "양방향 절단(dual-end trimming)" 전략을 제안한다. 방법론은 다음 단계들을 포함한다:

1. 표본 선정: 9개의 대표 저널을 선정하였다: 3개의 최상위 국제 저널(Nature, Science, Cell)과 중국 및 미국의 6개 전문 물리 저널(Chinese Physics Letters, Chinese Physics B, Chinese Physics C 및 Physical Review Letters, Physical Review B, Physical Review C).
2. 데이터 수집: 2010년부터 2025년 사이에 발표된 모든 유효한 소스 문서(논문 및 리뷰)에 대한 인용 데이터를 Web of Science(WoS) 데이터베이스에서 추출하였다.
3. 절단 전략: 각 저널과 연도별로 문서를 인용 횟수 내림차순으로 정렬하였다. 본 연구는 이 순위에서 상위 $n\%$와 하위 $n\%$의 문서를 체계적으로 제거하였다(여기서 $n$은 0에서 로서 25까지의 범위를 갖는다).
4. 재계산: 남은 문서($P_n$)와 그 총 인용 횟수($C_n$)를 사용하여 수정된 JIF($R_n$)를 계산하였으며, 이는 $R_n = C_n / P_n$으로 정의된다.
5. 통계 분석: 다양한 유지 비율(100%에서 50%까지 감소)에 따른 수정 JIF의 안정성을 표준 편차(SD)와 상대 표준 편차(RSD)를 사용하여 평가하였다. 또한 추가적인 문서 제거의 한계 효용을 결정하기 위해 "상대적 JIF 감소값"을 분석하였다.

주요 결과

• 변동 억제: 양 끝단의 문서를 제외하는 것이 JIF의 변동 폭을 효과적으로 줄인다는 결과가 나타났다. 가장 유의미한 JBF 값의 감소와 변동 억제는 초기 2%의 문서(각 꼬리에서 1%씩)를 제거했을 때 발생하였다.
• 한계 효용 체감: 유지되는 문서의 비율이 더 낮아짐에 따라, JIF 감소에 대한 한계 영향은 점차 감소하였다. 유지율이 80% 미만으로 떨어지면 곡선이 평탄해지며, 이는 추가적인 절단이 지표에 미치는 변화가 미미함을 나타낸다.
• 사례 연구 검증:
  • 최상위 저널(Nature, Science, Cell)의 경우, 수정 모델은 극단적인 인용이 JIF 변동의 대부분을 주도한다는 것을 보여주었다. 꼬리 부분을 제거함으로써 절대적인 수치의 하향 추세는 유지하면서도 지표를 안정화시켰다.
  • 전문 저널의 경우, 본 연구는 Chinese Physics C(CPC)에서 나타난 비정상적인 변동 사례를 식별하였다. 2014년과 2016년의 두 건의 고인용 리뷰가 JIF를 5.861까지 급등시켰으나, 양방향 절단(단 2%의 문서 제거)을 적용한 후 이러한 급등 현상은 사라졌으며, JIF는 안정적인 기저치(예: 2018년 5.861에서 1.201로 하락)로 복귀하여 저널의 정규 성과를 객관적으로 반영하였다.
• 안정성 지표: 표본 크기가 줄어듦에 따라 JIF의 표준 편차(SD)와 상대 표준 편차(RSD)가 지속적으로 감소하였으며, 이는 수정된 지표가 더 안정적임을 확인시켜 준다. 역사적으로 안정적인 성과를 보인 저널(예: Physical Review 시리즈)은 절단에 대한 민감도가 낮았으나, 변동성이 컸던 저널은 상당한 안정화 효과를 보였다.

최적 임계값 결정
JIF의 안정성(방해 요소에 대한 저항력)과 표본의 대표성 사이의 균형을 고려하여, 본 연구는 최적의 표본 유지 임계값을 결정하였다.

• 양쪽 꼬리에서 각각 1%를 제거(98% 유지)하면 가장 심각한 비정상적 진동을 제거할 수 있다.
• 그러나 극단적인 이상치에 대한 견고성을 확보하면서 표본의 대표성을 극대화하기 위해, 본 연구는 90% 유지(상위 5% 및 하위 5% 제거)를 최적의 임계값으로 식별하였다. 이 수준에서는 추가적인 절단에 따른 한계 효과가 미미하며, 지표는 상당한 양의 저널 출력을 버리지 않으면서도 극단적인 인용으로 인한 통계적 편차를 효과적으로 걸러낸다.

의의 및 주장
본 논문은 제안된 양방향 절단 전략이 JIF의 표준화된 계산을 위한 새로운 관점을 제공한다고 주장한다. 적절하게 표본 크기를 줄여 극단적인 이상치를 제외함으로써, 이 방법은 다음과 같은 효과를 가진다:

1. 과학적 엄밀성 회복: 개별 문서로 인한 우발적인 통계적 편차를 완화하여, JIF가 저널의 본질적인 학술적 품질과 장기적 안정성을 더 잘 반영할 수 있도록 한다.
2. 평가 시스템 개선: 본 연구의 결과는 현재 조작과 극단적인 인용 사건에 취약한 기존 저널 평가 시스템의 합리성과 공정성을 개선하기 위한 참고 자료를 제공한다.
3. 실무적 적용 가능성: 본 연구는 90% 유지 임계값을 채택하는 것이 충분한 데이터를 유지하면서도 비정상적인 JIF 변동을 효과적으로 피할 수 있는 실용적인 해결책임을 시사하며, 대표적인 평가를 위한 충분한 데이터를 유지한다.

저자들은 이 접근 방식이 새로운 지표를 발명하는 것이 아니라, 양적 평가 지표로서의 신뢰성을 높이기 위해 기존의 JIF 계산 방식을 정교화하는 것이라고 결론짓는다.