📊 statistics

Assessing Methodological Distortions in the Clarivate Highly Cited Researchers List: International Comparisons and a Reform Framework

이 논문은 전체 카운팅(whole counting)과 인용 격차가 국제적 비교를 어떻게 왜곡하는지를 입증함으로써 클라리베이트(Clarivate)의 '가장 많이 인용된 연구자(Highly Cited Researchers)' 목록의 방법론적 한계를 비판하고, 분수 카운팅(fractional counting), 분야별 정규화, 그리고 개선된 저자 식별을 통해 이러한 편향을 해결하기 위한 개혁 프레임워크를 제안한다.

원저자: F. PACHECO-TORGAL

게시일 2026-07-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: F. PACHECO-TORGAL

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

과학의 세계를 하나의 거대한 글로벌 스포츠 리그라고 상상해 보십시오. 매년 Clarivate라는 유명한 조직은 **Highly Cited Researchers (HCR)**라는 이름의 "명예의 전당" 명단을 발표합니다. 이 명단은 자신의 연구가 동료들에게 가장 많이 읽히고 인용되는 상위 1%의 과학자들을 식별하기 위한 것입니다. 대학과 정부는 이 명단을 보고 누가 자금을 지원받을지, 누가 승진할지, 그리고 누구에게 명성을 부여할지를 결정합니다.

하지만 이 논문은 게임의 규칙이 조작되어 있다고 주장합니다. 저자인 F. Pacheco-Torgal은 Clarivate가 점수를 계산하는 방식에 결함이 있으며, 이로 인해 누가 실제로 "최고"의 과학자인지에 대한 왜곡된 시각을 초래한다고 제안합니다.

다음은 쉬운 비유를 사용하여 이 논문의 논거를 정리한 내용입니다.

1. "전체 카운팅" 문제: 단체 사진의 결함

문제점: 현재 Clarivate는 "전체 카운팅(whole counting)"이라는 방식을 사용합니다. 200명의 과학자로 구성된 한 팀이 획기적인 논문 한 편을 썼다고 가정해 봅시다. 만약 이 논문이 500번 인용되었다면, Clarivate는 200명의 모든 저자에게 각각 500점을 부여합니다.
비유: 이것은 마치 사진을 직접 찍었거나 실질적인 노력을 기울였는지와 상관없이, 단지 사진 속에 함께 있다는 이유만으로 모든 사람이 금메달을 받는 것과 같습니다.
결과: 이는 대규모 팀 단위 연구(생물학이나 물리학 분야에서 흔함)를 수행하는 과학자들의 점수를 엄청나게 부풀립니다. 이는 개인의 탁월함보다는 큰 클럽의 일원이 되는 것에 보상을 주는 격입니다. 논문은 500점을 200명으로 나누어 각 과학자에게 2.5점씩만 부여하는 "분할 카운팅(fractional counting)" 방식으로 전환할 것을 제나합니다. 이것이 개인의 기여도를 더 공정하게 반영할 수 있기 때문입니다.

2. "사과와 오렌지" 문제: 서로 다른 종목, 같은 트로피

문제점: 과학 분야마다 "인용 문화"가 다릅니다. 의학처럼 논문을 수천 편 발행하고 서로 끊임없이 인용하는 분야가 있는 반면, 수학이나 공학처럼 논문 발행량도 적고 인용도 적게 하는 분야가 있습니다.
비유: 단거리 선수(의학)는 100미터를 10초에 달리고, 마라톤 선수(수학)는 42킬로미터를 3시간에 달리는 경주를 상상해 보십시오. 만약 트로피가 단일 시간 동안 '가장 빠른 거리'를 달린 사람에게 주어진다면, 마라톤 선수가 매우 숙련되었음에도 불구하고 단거리 선수가 항상 우승하게 될 것입니다.
결과: 현재의 명단은 이러한 차이를 제대로 조정하지 못합니다. 자연스럽게 더 많은 인용을 생성하는 분야에 유리하게 작와하여, 속도가 느린 분야의 과학자들이 실제보다 덜 훌륭해 보이게 만듭니다.

3. "자기 홍보" 및 "이름 혼동" 문제

문제점: 현재의 명단은 과학자가 자신의 연구를 스스로 인용하는 경우(자기 인용)를 엄격하게 제거하지 않으며, 동일한 이름을 가진 두 명의 과학자(예: "J. Smith")를 완벽하게 구분하지 못합니다.
비유: 이것은 군중 속에서 자신의 이름을 크게 외침으로써 자신의 점수를 높일 수 있는 인기 투표와 같으며, 이름표가 같아서 두 사람이 실수로 같은 상을 받게 될 수도 있는 상황과 같습니다.
결과: 이는 점수를 인위적으로 부풀리거나, 엉뚱한 사람에게 공로를 잘못 돌리는 결과를 초래할 수 있습니다.

"왜곡 비율": 두 개의 점수판 비교

이러한 결함을 증명하기 위해, 저자는 Clarivate의 명단을 또 다른 유명한 명단인 Stanford Top 0.5% Scientists 명단과 비교합니다. 스탠퍼드 명단은 더 공정한 규칙(점수 분할, 자기 인용 제거, 더 나은 이름 확인)을 사용합니다.

저자는 두 명단이 얼마나 다른지를 보기 위해 **"왜곡 비율(Distortion Ratio)"**을 만들었습니다.

비율이 1.0인 경우: 두 명단이 특정 국가의 과학자 수를 동일하게 파악하고 있음을 의미합니다.
비율이 높은 경우 (2.0 이상 등): Clarivate 명단이 더 공정한 스탠퍼드 명단에 비해 해당 국가의 과학자 수를 과다 계상하고 있음을 의미합니다.
비율이 낮은 경우 (0.5 등): Clarivate 명단이 해당 국가를 과소 계상하고 있음을 의미합니다.

연구 결과:

중국: 가장 높은 왜곡을 보였습니다. Clarivate 명단은 스탠퍼드 명단이 제시하는 것보다 중국의 상위 과학자 수가 두 배나 더 많은 것으로 나타났습니다. 저자는 이것이 중국 연구자들이 "전체 카운팅" 규칙의 혜택을 받는 대규모 협업 팀에 속해 있기 때문이라고 제안합니다.
노르웨이, 일본, 이탈리아, 캐나다: 이 국가들은 Clarivate 명단에서 "과소 대표"되었습니다. 이들의 과학자들은 스탠퍼드 명단보다 Clarivate 명단에 적게 등장했는데, 이는 이들의 연구 문화가 소규모 팀 중심이거나 현재의 규칙이 불리하게 작용하는 인용 습관을 가지고 있기 때문일 가능성이 큽니다.
노벨상 테스트: 논문은 충격적인 통계를 언급합니다. Clarivate 명단에는 노벨상 수상자의 약 **10%**만이 포함되어 있습니다. 반면, 스탠퍼드 명단에는 90% 이상이 포함되어 있습니다. 이는 Clarivate 명단이 세계의 진정한 위대한 과학적 지성 중 상당수를 놓치고 있음을 시사합니다.

해결책: 3대 개혁안

저자는 명단을 폐지해야 한다고 말하는 것이 아니라, 세 가지 기둥을 통한 대대적인 개편이 필요하다고 주장합니다.

점수 분할: 기여도를 공정하게 나누기 위해 "분할 카운팅"으로 전환할 것.
공정한 경쟁 환경 조성: 과학자들을 그들의 구체적이고 좁은 분야 내에서 비교할 수 있도록(예: 심장 외과의를 물리학자가 아닌 다른 심장 외과의와 비교) 더 나은 수학적 모델을 사용할 것.
데이터 정화: 자기 인용을 엄격히 제거하고, 올바른 "J. Smith"에게 공로가 돌아가도록 고유 식별 번호(ORCID 등)를 사용할 것.

핵심 요약

이 논문은 Clarivate의 Highly Cited Researchers 명단이 대중적이고 영향력이 있지만, 현재의 규칙은 현실을 왜곡하는 필터 역할을 한다고 결론짓습니다. 이 명단은 대규모 팀과 높은 인용 분야에 유리한 반면, 다른 분야의 개인 연구자들의 실제 영향력을 가릴 수 있습니다. 규칙이 수정될 때까지, 우리는 이 명단을 자금 지원이나 대학 순위를 결정하는 데 사용하는 것에 매우 주의해야 합니다.

기술 요약: Clarivate Highly Cited Researchers 리스트의 방법론적 왜곡 평가

문제 제기
본 논문은 과학적 영향력의 지표로 널리 사용되는 Clarivate의 Highly Cited Researchers (HCR) 리스트가 가진 중대한 방법론적 한계를 다룬다. 연구는 현재의 HCR 방법론이 "전체 카운팅(whole counting, 팀 규모와 관계없이 모든 공동 저자에게 전체 인용 실적을 할당하는 방식)"과 광범위한 학문 분야 분류에 의존하고 있다고 주장한다. 이러한 관행은 대규모 협업 네트워크와 인용 밀도가 높은 분야(예: 생명과학)에서 연구자의 외견상 영향력을 부풀리는 반면, 인용률이 낮거나 소규모 팀 구조를 가진 분야의 연구자들에게는 체계적으로 불이익을 주는 것으로 상정된다. 또한, 본 논문은 HCR 리스트가 노벨상 수상자의 약 10%만을 포착하고 있다는 점을 지적하며, 다른 지표들과 비교했을 때 진정으로 뛰어난 과학적 기여를 식별하는 능력에 의문을 제기한다.

연구 방법론
본 연구는 2024년 출판 주기의 두 가지 주요 데이터셋을 사용하여 비교 정량 분석을 수행한다:

Clarivate HCR 리스트 (2024): Web of Science 코퍼스에서 추출된 6,886명의 연구자 포함.
Stanford Top 0.5% Scientists 데이터셋 (2025): Scopus에서 추출되었으며, 분수 카운팅(fractional counting), 저자 식별(author disambiguation), 자기 인용 제외 방식을 활용한 57,508명의 연구자 포함.

두 방법론적으로 상이한 리스트 간의 괴리를 정량화하기 위해, 저자는 다음과 같이 정의된 **왜곡 비율(Distortion Ratio, DR)**을 도입한다:
$DR = \frac{\text{국가별 HCR 점유율 (\%)}}{\text{국가별 Stanford 연간 점유율 (\%)}}$

해석: DR > 1.0은 Stanford 벤치마크 대비 HCR 리스트에서의 과대 대표성을 나타내며, DR < 1.0은 과소 대표성을 나타낸다.
통계적 엄밀성: 분석은 이항 비율 표준 오차에 적용된 델타 방법(delta method)을 사용하여 DR에 대한 95% 신뢰 구간을 계산한다. 이는 특히 절대적인 HCR 수가 적은 국가들의 샘플링 불확실성을 고려한 것이다.
범위: 분석은 HCR 수가 가장 많은 상위 20개국을 대상으로 한다. 본 연구는 DR이 두 불완전한 도구 사이의 교차 리스트 불일치를 측정하는 것이지 절대적인 편향을 측정하는 것이 아님을 명시적으로 인정하며, 데이터베이스 차이(Web of Science vs. Scopus) 및 집계 데이터에서의 분야별 세분화 부재와 같은 한계점을 언급한다.

주요 기여

왜곡 비율(DR)의 도입: HCR 리스트와 Stanford 순위 간의 국가적 수준의 괴리를 체계적으로 정량화하기 위한 새로운 지표를 제시한다.
체계적 편향의 실증적 증거: HCR 방법론이 특정 국가들에 대해 유의미한 왜곡을 발생시킨다는 통계적 증거를 제공하며, 이를 대규모 협업과 분야별 인용 관행에 따른 구조적 이점으로 돌린다.
통계적 타당성 검증: 신뢰 구간을 계산함으로써, 본 연구는 통계적으로 견고한 결과와 샘플 변동에 의한 결과물을 구분하며, 표본 크기가 작은 국가의 점 추정치를 과도하게 해석하지 않도록 주의를 준다.
개혁 프레임워크: 기존의 과학계량학 문헌을 종합하여 HCR 리스트를 위한 구체적인 3대 개혁 제안을 제시한다.

결과
2024년 데이터 분석 결과, 국가별로 상당한 왜곡 비율의 차이가 나타났다:

중국 본토: 샘플 내에서 가장 높은 DR을 기록했다 (연간 데이터셋 2.10, 생애 전체 데이터셋 8.05). 95% 신뢰 구간 [1.99, 2.21]은 이러한 과대 대표성이 통계적으로 견고함을 확인시켜 준다. 본 논문은 이것이 대규모 협업 네트워크에서의 전체 카운팅 인플레이션과 고인용 분야로의 집중 때문일 가능성이 높다고 제안한다.
통계적으로 견고한 과소 대표성: 여러 국가가 1.0 미만의 DR 값을 보였으며, 신뢰 구간이 1.0을 포함하지 않아 Stanford 성과 대비 HCR 리스트에서 과소 대표되고 있음을 나타냈다. 해당 국가는 다음과 같다:
- 노르웨이: DR = 0.46 (CI [0.24, 0.68])
- 이탈리아: DR = 0.65 (CI [0.52, 0.77])
- 일본: DR = 0.69 (CI [0.53, 0.85])
- 스웨덴: DR = 0.74 (CI [0.54, 0.94])
- 캐나다: DR = 0.76 (CI [0.66, 0.87])
- 영국: DR = 0.87 (CI [0.80, 0.95])
통계적으로 판별 불가능한 사례: 독일, 프랑스, 호주를 포함한 20개국 중 11개국은 95% 신뢰 구간이 영가치(null value)인 1.0을 통과했다. 이들 국가의 경우, 점 추정치는 패리티(parity)와 통계적으로 구별될 수 없으며, 본 논문은 종단적 재현 없이 정책적 결론을 내리는 것에 주의를 권고한다.
노벨상 수상자 불일치: 본 논문은 HCR 리스트가 노벨상 수상자의 약 10%만을 포함하는 반면, 분수 카운팅과 저자 식별을 사용하는 Stanford 순위는 90% 이상을 포함한다는 점을 재차 강조한다.

의의 및 주장
본 논문은 현재의 HCR 방법론이 전체 카운팅에 대한 의존과 불충분한 분야 정규화로 인해 개인의 과학적 영향력을 정확하게 반영하지 못한다고 주장한다. 이러한 방법론적 결함이 기관 순위(예: 세계 대학 학술 순위)에 전파되어 펀딩과 채용 결정에 영향을 미친다고 주장한다.

본 연구는 이러한 문제를 해결하기 위해 3대 개혁 프레임워크를 제안한다:

의무적 분수 카운팅(Fractional Counting): 전체 카운팅을 대체하여 인용 실적이 공동 저자들 사이에 나누어지도록 함으로써, 대규모 협업 네트워크의 이점을 줄인다.
강력한 교차 분야 정규화(Cross-Field Normalization): 더 세분화된 분야 분류(예: ARWU에서 사용하는 54개 분야)를 채택하고 각 분야 내에서 백분위 순위 정규화를 적용하여 학문 간의 구조적 편향을 제거한다.
저자 식별 및 자기 인용 제외: 엄격한 저자 식별(예: ORCID 활용)을 구현하고 자기 인용을 제외하여 영향력의 인위적 팽창을 방지한다.

본 논문은 HCR 리스트가 여전히 중요한 지표이기는 하나, 이러한 개혁이 채택될 때까지 "상당한 주의"를 기울여 해석되어야 한다고 결론짓는다. 연구는 중국, 미국, 영국, 캐나다, 이탈리아, 벨기에, 일본, 스웨덴, 노르웨이에 관한 결과가 즉각적인 주목을 요할 만큼 통계적으로 견고하다고 강조하는 한편, 다른 국가들에 대한 결과는 추가적인 종단적 연구가 필요하다고 강조한다. 본 분석은 Stanford 데이터셋이 "실제 진리(ground truth)"라고 주장하는 것이 아니라, HCR 방식의 체계적 불일치를 강조하기 위한 대조적인 방법론적 참조점으로 사용한다.