Science-wide mapping and ranking of institutions based on affiliated authors' impact and research integrity proxies

이 논문은 6,979 개 기관의 저자 영향력과 연구 정직성 (자기 인용, 중단된 저널 게재, 철회 논문 등) 을 종합적으로 반영하여 기관을 순위화하고, 특히 중동 및 아시아 국가의 기관들이 높은 패널티로 인해 낮은 순위를 기록하는 경향을 규명한 연구 결과를 제시합니다.

핵심

🏆 "단순한 점수"가 아닌 "진짜 실력"을 보는 새로운 평가 시스템

1. 기존 평가의 문제점: "키 큰 사람만 뽑는 줄다리기"

기존의 대학 랭킹이나 연구 평가는 주로 **"누가 더 많은 논문을 썼고, 누가 더 많이 인용되었는가?"**를 따졌습니다.

• 비유: 마치 줄다리기 대회에서 팀원 수가 많은 팀이 무조건 이긴다고 생각하는 것과 같습니다.
  • Harvard 나 Stanford 같은 거대 대학은 연구원 수가 수만 명이라, 인용 횟수나 논문 수에서 압도적인 1 위를 차지합니다.
  • 하지만 작은 연구소나 특정 분야의 전문 기관은 팀원이 적어서 아무리 뛰어난 성과를 내도, '총량'만 보면 뒤처집니다.
  • 또한, **부정 행위 (조작, 표절 등)**로 인해 인위적으로 점수를 올린 경우를 전혀 걸러내지 못했습니다. 마치 도핑을 한 선수가 기록을 인정받는 것과 비슷합니다.

2. 이 연구의 핵심 아이디어: "팀의 평균 실력"과 "부정 행위 감시"

이 연구는 두 가지 새로운 기준을 도입했습니다.

A. "팀원 수"가 아닌 "진짜 스타의 비율"을 본다

• 비유: 축구 팀을 평가할 때, 단순히 "선수 100 명 중 10 명을 뽑은 팀"이 아니라, **"선수 10 명 중 5 명이나 국가대표급인 팀"**을 더 높이 평가하는 것입니다.
• 이 연구는 기관의 전체 규모와 상관없이, **"이 기관 소속 연구자들 중 상위 2% 의 '스타 연구자'가 얼마나 많은 비율을 차지하는가?"**를 계산합니다.
• 결과: 거대 대학들도 좋지만, 생각보다 작지만 정예 스타들이 모여있는 **특수 연구소나 IT 기업 (예: 구글, 메타 등)**들이 상위권에 올라와 놀라움을 줍니다.

B. "부정 행위"를 점수에서 깎아준다 (연구 윤리 감시)
영향력만 보고 점수를 주면, "논문을 많이 내고 인용도 많이 받지만, 그 과정이 깨끗한가?"를 모릅니다. 그래서 세 가지 '경고 신호'를 감시합니다.

1. 자신에게만 인용하는 행위 (자기 인용 과다):
   • 비유: 친구들끼리만 서로 칭찬하며 "우리가 최고야!"라고 외치는 것. (실제 대중의 인정 없이 점수만 올리는 것)
2. 품질이 떨어진 잡지에 실은 논문:
   • 비유: 유명한 신문사 대신, 검증되지 않은 가짜 뉴스 사이트나 쓰레기 통에 논문을 실은 것.
3. 논문 철회 (Retraction):
   • 비유: 발표했던 논문이 "사실은 틀렸다"거나 "조작이었다"는 이유로 거둬들여진 경우. (저자가 저지른 실수나 부정으로 인한 철회)

이 세 가지 중 하나라도 많으면, 아무리 유명한 스타 연구자가 많아도 점수를 깎아줍니다.

3. 놀라운 결과: "국가별" 특징이 드러나다

이 새로운 점수 시스템으로 다시 랭킹을 매기자, 기존과는 완전히 다른 풍경이 나타났습니다.

• 미국, 영국, 스위스, 네덜란드 등:
  • 여전히 상위권입니다. 스타 연구자 비율도 높고, 부정 행위 지표도 낮아 정직한 실력을 인정받았습니다.
• 중국, 사우디아라비아, 인도, 이란, 말레이시아, 인도네시아 등:
  • 논문 수나 인용 횟수만 보면 상위권인 기관들이 많았지만, 부정 행위 지표 (자기 인용, 철회 논문 등) 가 너무 높게 나와 점수가 크게 떨어졌습니다.
  • 특히 사우디아라비아와 중국은 '부정 행위 감점'이 너무 커서, 원래 점수에서 2~3 배나 깎여 하위권으로 밀려났습니다.
  • 비유: 마치 "점수 조작을 많이 한 선수"가 원래 기록이 아무리 좋아도, 도핑 테스트에서 적발되어 실격 처리되거나 벌점을 받아 순위가 급락한 것과 같습니다.

4. 결론: "양"보다 "질"과 "정직"이 중요하다

이 연구는 우리에게 다음과 같은 메시지를 줍니다.

"단순히 논문이 많고 인용이 많은 '큰 기관'이 무조건 좋은 게 아닙니다. 작지만 정직한 스타들이 모여있는 곳이 더 훌륭할 수 있습니다. 그리고 점수 조작이나 부정 행위로 얻은 성과는 결국 점수에서 깎여 나옵니다."

이 데이터는 각 기관이 스스로를 점검하고, 연구 윤리를 지키며 진정한 실력을 키우도록 유도하는 나침반 역할을 할 것입니다.

---

한 줄 요약:

"단순히 '많이' 하는 것보다 '잘' 하고 '정직하게' 하는 기관을 찾아내는, 연구계의 새로운 '공정한 심판'이 등장했습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 평가 시스템의 한계: 현재 대학 및 연구 기관의 평가와 랭킹은 주로 논문 수, 인용 횟수, 영향력 지표 등 '성과 (Impact)'에 집중되어 있습니다. 그러나 이러한 평가는 연구 정직성 (Research Integrity) 문제 (예: 논문 철회, 조작된 자기 인용, 품질 저하된 저널 게재 등) 를 거의 고려하지 않습니다.
• 규모 편향 (Size Bias): 기관의 절대적인 논문 수나 인용 수를 기준으로 할 경우, 연구 인력이 많은 대형 기관이 유리한 반면, 소규모 연구소나 특정 분야의 전문 기관은 그 영향력이 제대로 평가받지 못합니다. 또한, 기관별 고용된 연구원의 정확한 수를 표준화하여 비교하는 것은 전 세계적으로 매우 어렵습니다.
• 데이터의 불일치: 연구 정직성 위반 사례 (철회된 논문 등) 가 있는 기관이 높은 인용 지표를 가지고 있을 수 있어, 단순한 영향력 지표만으로는 기관의 실제 질적 수준을 판단하기 어렵습니다.

2. 연구 방법론 (Methodology)

이 연구는 Scopus 데이터베이스 (2025 년 8 월 기준) 를 활용하여 전 세계 기관을 평가하는 새로운 프레임워크를 제시합니다.

• 데이터 소스 및 필터링:

  • Scopus 에 등록된 1,093 만 명 이상의 저자 중 5 편 이상의 논문이 있는 저자 (약 1,093 만 명) 를 대상으로 함.
  • 주요 분석 대상 (Primary Analysis): 1980 년 이후 저술 활동을 시작한 저자 중, 총 40 편 이상의 논문을 발표했으며, 그중 5 편 이상이 단독/1 저자/최후저자 (Single/First/Last authorship) 인 '경험 있고 생산적인' 저자로 필터링함. 이는 기관의 현재 핵심 연구 인력을 대표하도록 설계됨.
  • 기관 집계 (Aggregation): Scopus 의 조직 계층 구조를 활용하여 하위 조직 (예: 의과대학, 병원 등) 을 상위 기관 (예: 하버드 대학교) 으로 통합하여 집계함.

• 핵심 지표 (Metrics):

  1. 상위 인용 저자 수 (Top-cited authors): 각 하위 분야에서 상위 2% 에 속하거나, 전체 과학 분야에서 상위 10 만 명 이내에 드는 저자 수 (복합 인용 지표 기반).
  2. 연구 정직성 대리 지표 (Research Integrity Proxies):
     • 철회된 논문 (Retractions): 출판사/저널 오류가 아닌 저자 책임으로 철회된 논문의 저자 수 합계 ($\Sigma R$).
     • 과도한 자기 인용 (High Self-citations): 상위 인용 저자 중 자기 인용 비율이 해당 분야 상위 95 백분위수를 초과하는 비율.
     • 중단된 저널 게재 (Discontinued Titles): Scopus 의 콘텐츠 선정 자문위원회 (CSAB) 가 품질 문제로 중단 (Discontinued) 한 저널에 게재된 논문 비율이 상위 95 백분위수를 초과하는 비율.

• 종합 점수 산출 (Summary Score):

  • 기관의 영향력 (상위 인용 저자 비율) 에서 연구 정직성 위반에 따른 패널티를 차감하는 공식을 사용함.
  • 공식 개념: $Score = \frac{N(t) - \text{Penalties}}{N(a)}$
    • $N(t)$: 주요 분석 대상 상위 인용 저자 수
    • $N(a)$: 주요 분석 대상 전체 저자 수
    • 패널티: 철회된 논문 저자 수 (가중치 적용), 고자기인용/중단저널 비율이 5% 를 초과할 경우의 감점.
  • 민감도 분석: 패널티 가중치와 백분위수 임계값 (80, 95, 99%) 을 변경하여 결과의 견고성을 검증함.

3. 주요 기여 (Key Contributions)

• 규모 보정된 기관 평가: 기관의 절대적 크기가 아닌, '상위 인용 저자의 비율'을 기준으로 기관의 질적 성과를 평가할 수 있는 표준화된 데이터를 제공함.
• 연구 정직성 통합 평가: 단순한 영향력 지표를 넘어, 철회, 자기 인용, 저널 품질 문제 등을 '대리 지표'로 활용하여 기관의 연구 윤리 리스크를 정량화하고 점수에 반영함.
• 공개 데이터셋: 전 세계 6,979 개 기관에 대한 상세 데이터 (저자 수, 상위 인용 저자 수, 정직성 지표 등) 를 공개하여 (DOI: 10.17632/jn5j7gjpzj.1), 향후 연구 및 정책 수립에 활용 가능하게 함.
• 새로운 랭킹 체계 제안: 기존 랭킹과 달리, '고영향력'과 '연구 정직성'을 균형 있게 고려한 새로운 기관 순위 체계를 제시함.

4. 주요 결과 (Results)

• 기관 유형별 차이:

  • 최대 논문/인용 수 기준: 하버드, 스탠포드, MIT 등 미국의 대형 대학과 중국 주요 대학이 상위권을 차지함.
  • 상위 인용 저자 비율 기준: 대형 대학보다는 소규모 연구소 (Max Planck, Howard Hughes 등) 와 기술 기업 (Meta FAIR, Alphabet 등) 이 높은 비율을 보임. 이는 대형 대학의 경우 초기 경력 연구자나 비주류 연구자가 많아 분모가 커지기 때문임.
  • 최고 비율 기관 (최소 100 명 이상 기준): 미국 (프린스턴, UC 버클리 등), 영국 (캠브리지, 옥스퍼드), 독일 (막스플랑크 연구소), 캐나다 (퍼imeter 연구소) 등의 기관이 상위권.

• 국가별 연구 정직성 패널티 분포:

  • 패널티가 높은 국가: 사우디아라비아, 중국, 말레이시아, 이란, 인도, 인도네시아 등의 기관들이 철회, 자기 인용, 중단 저널 게재 지표에서 높은 패널티를 받아 순위가 크게 하락함.
  • 패널티가 낮은 국가: 미국, 영국, 네덜란드, 스위스, 캐나다, 호주, 스웨덴 등은 패널티가 적어 조정된 순위에서도 높은 위치를 유지함.
  • 구체적 패턴:
    • 중국: 철회된 논문 (Retractions) 으로 인한 패널티가 가장 큼.
    • 러시아: 과도한 자기 인용 (Self-citations) 으로 인한 패널티가 두드러짐.
    • 사우디아라비아, 인도, 말레이시아: 중단된 저널 (Discontinued titles) 게재 비율이 높아 패널티를 받음.

• 순위 변동: 연구 정직성 지표를 반영한 조정된 순위 (Adjusted Ranking) 는 기존 영향력 기반 순위와 상당한 차이를 보임. 특히 일부 국가의 기관들은 패널티 적용 후 순위가 급격히 하락하거나 음수 (-) 점수를 기록하기도 함.

5. 의의 및 시사점 (Significance)

• 연구 생태계의 투명성 제고: 기관 평가 시 '양 (Volume)'과 '질 (Integrity)'을 동시에 고려해야 함을 강조하며, 데이터 기반의 투명한 평가 체계를 마련함.
• 부정행위 억제 효과: 연구 정직성 지표가 랭킹에 직접적인 패널티로 작용함으로써, 기관과 연구자들이 논문 수나 인용 수를 조작하려는 유인을 줄이고 연구 윤리를 강화하도록 유도할 수 있음.
• 정책적 활용: 각국 정부와 기관은 이 데이터를 통해 자국 연구 생태계의 강점과 약점 (특히 정직성 리스크) 을 파악하고, 연구 지원 정책이나 평가 기준을 개선하는 데 활용할 수 있음.
• 주의점: 이 지표들은 연구 부정행위의 '완전한 증거'가 아니라 '경고 신호 (Warning Signals)'로 해석되어야 하며, 데이터의 정확성 (저자 소속 할당 오류 등) 과 소규모 기관의 통계적 불안정성 등의 한계가 존재함.

이 논문은 과학 연구 평가의 패러다임을 '단순한 영향력'에서 '영향력과 정직성의 균형'으로 전환하려는 중요한 시도이며, 전 세계 기관들의 연구 질을 다각도로 진단할 수 있는 강력한 도구를 제공합니다.