One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
본 연구는 700개의 합성 대학을 대상으로 한 재현 가능한 몬테카를로 시뮬레이션을 활용하여, 기관 순위가 커버리지 및 인용 척도와 같은 데이터베이스별 메커니즘으로 인해 OpenAlex, Scopus, Web of Science 간에 유의미하게 달라짐을 입증하며, 높은 시스템 수준의 일치도가 실질적인 기관 수준의 순위 불안정성과 지역적 편향을 은폐하고 있음을 밝힌다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
매년 전 세계의 대학들은 마치 산의 높이처럼 그 순위가 고정된 사실인 양, 첫 번째부터 마지막까지 하나의 단일한 열로 나열됩니다. 이러한 관행은 수백만 개의 연구 논문, 인용, 그리고 저자 이름을 저장하는 거대한 디지털 도서관에 의존합니다. 이 도서관들은 흔히 데이터베이스라고 불리며, 연구자들이 대학이 얼마나 많은 성과를 내는지, 그리고 그 작업이 다른 이들에게 얼마나 자주 읽히는지를 측정하는 데 사용하는 도구입니다. 이러한 순위의 이면에 깔린 가정은 만약 동일한 대학을 두 개의 서로 다른 도서관에서 센다면 대략 비슷한 결과가 나올 것이라는 점입니다. 그러나 현실에서는 그 어떤 두 도서관도 정확히 동일한 작업물을 포함하고 있지 않습니다. 어떤 도서관은 영어 이외의 언어로 작성된 논문을 더 많이 포함할 수도 있고, 또 다른 도서관은 특정 과학 분야에 집중하거나 학술대회 논문(conference proceedings)과 같은 특정 유형의 문서를 제외할 수도 있습니다. 시작점이 되는 논문의 목록이 다르기 때문에, 대학 자체의 연구 성과는 전혀 변하지 않았음에도 불구하고 최종 집계와 그에 따른 순위는 극적으로 변할 수 있습니다.
무스타파 카얄리(Mustafa Kayyali)라는 연구자는 이러한 차이가 실제로 얼마나 중요한지를 이해하기 위해 연구를 시작했습니다. 그는 현재의 순위를 수정하거나 실제 대학을 비교하려 하는 대신, 시스템의 메커니즘을 테스트하기 위한 컴퓨터 시뮬레이션을 구축했습니다. 그는 700개의 합성 대학이 존재하는 가상의 세계를 만들었습니다. 각각의 가공의 기관에는 규모, 연구 품질, 출판 언어, 그리고 의학, 공학, 예술과 같은 주제의 혼합 정도를 포함한 고유한 프로필이 부여되었습니다. 그런 다음 그는 이 동일한 대학 그룹을 '관찰'하도록 세 가지 서로 다른 디지털 도서관을 프로그래밍했습니다. 이 도서관들은 현실 세계의 시스템이 보이는 알려진 행동들을 모방하도록 설계되었습니다. 하나는 폭넓고 포용적이었고, 다른 하나는 중간 정도였으며, 세 번째는 더 선택적이고 엄격하게 포함 여부를 결정했습니다. 목표는 어떤 도서관이 가장 좋은지를 보는 것이 아니라, 어떤 도서관을 사용하여 측정하느냐에 따라 단일 대학의 순위가 얼마나 요동치는지를 보는 것이었습니다.
결과는 놀라운 모순을 보여주었습니다. 연구자가 전체 목록을 살펴보았을 때, 서로 다른 도서관들의 순위는 매우 잘 일치하는 것처럼 보였습니다. 대학들의 순서는 서로 밀접하게 연관되어 움직이며 강한 연결성을 시사했습니다. 그러나 개별 대학을 살펴보았을 때, 그림은 완전히 바뀌었습니다. 한 도서관에서 상위 100위 안에 들었던 대학이 다른 도서관에서는 수십 계단 아래로 떨어질 수 있었습니다. 평균적으로, 한 대학은 가장 포용적인 도서관과 가장 선택적인 도서관 사이에서 약 41계단 정도 이동했습니다. 이는 관찰자가 바뀌었다는 이유만으로 약 18개의 대학이 상위 100위 안으로 진입하거나 밖으로 밀려났음을 의미했습니다. 높은 전체적 일치도는 특정 기관들이 겪는 상당한 불안정성을 숨기고 있었습니다.
이 연구는 또한 이러한 움직임이 무작위가 아님을 밝혀냈습니다. 그것들은 대학의 위치와 사용 언어에 따라 명확한 패턴을 따랐습니다. 글로벌 사우스(Global South)에 위치하거나 영어 이외의 언어로 된 작업물을 상당 부분 발표하는 대학들은 더 넓고 포용적인 도서관에서 훨씬 높은 순위를 기록하는 경향이 있었습니다. 더 선택적인 도서관에서는 이와 동일한 기관들이 크게 하락했습니다. 반대로, 다른 지역의 대학들은 도서관이 더 포용적이 될 때 순위가 떨어지는 것을 목격했습니다. 이는 순위 시스템이 제로섬 게임이기 때문인데, 한 집단이 더 많은 작업물이 계산됨으로써 상승한다면 다른 집단은 반드시 내려가야 합니다. 시뮬레이션은 순위의 변화 방향이 실제 연구의 질이 아니라, 도서관에 구축된 규칙에 전적으로 달려 있음을 보여주었습니다.
이러한 격차가 왜 존재하는지 이해하기 위해, 연구자는 차이점을 네 가지 주요 원인으로 세분화했습니다: 발견된 논문의 수, 대학의 이름이 논문과 얼마나 잘 연결되었는지, 인용이 어떻게 계산되었는지, 그리고 데이터의 무작위 오류입니다. 가장 큰 요인은 커버리지, 즉 도서관이 얼마나 많은 논문을 찾아냈느냐였습니다. 이 단일 요인이 순위 차이의 거의 3분의 2를 설명했습니다. 대학과 논문을 연결하는 방식은 더 작은 요인이었으며, 어떤 경우에는 연결 방식을 수정하는 것이 오히려 불일치를 개선하기 전에 약간 더 악화시키기도 했습니다. 연구는 이러한 변동이 더 나은 계산을 통해 해결해야 할 실수가 아니라, 서로 다른 소스를 사용하는 데서 오는 근본적인 특징이라고 결론지었습니다.
이 논문은 대학의 순위를 단일 숫자로 보고하는 것이 그 숫자 뒤에 숨겨진 불확실성을 가리기 때문에 오해의 소지가 있다고 주장합니다. 어떤 대학은 한 시스템에서는 47위이고 다른 시스템에서는 52위일 수 있는데, 이는 작은 차이지만, 어떤 경우에는 62위였다가 181위가 될 수도 있습니다. 연구자는 단일 순위 대신, 가능한 순위의 범위와 상위 100위 안에 들 확률을 함께 보여주어야 한다고 제안합니다. 이러한 접근 방식은 대학의 위치가 고정된 지점이 아니라, 어떤 렌즈를 통해 보느냐에 따라 변하는 위치임을 명확히 해줄 것입니다. 이 연구는 순위 문제를 해결했다고 주장하는 것이 아니라, 데이터 소스의 선택이 결과에 얼마나 많은 변화를 주는지 측정하는 명확한 방법을 제공하며, 이 불확실성이 이 목록을 사용하는 모든 이들에게 가시화되어야 한다고 촉구하고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.