Promotion-linked authorship signals: A five-signal bibliometric framework and validation study of highly cited researchers in China

과학의 보이지 않는 점수판

학술 연구의 세계를 거대하고 판돈이 큰 비디오 게임이라고 상상해 보세요. 이 게임에서 플레이어는 과학자이며, 이들의 목표는 새로운 것을 발견하고 이를 세상과 공유하는 것입니다. 하지만 누가 실제로 이기고 있는지는 어떻게 알 수 있을까요? 누가 다음 단계로 승격될지, 누가 자신의 실험실에 더 많은 돈을 가져올지, 누가 연구 팀의 '보스'가 될지를 어떻게 결정할까요? 오랫동안 이 게임은 종이 위에 적힌 이름 목록이라는 매우 단순한 점수판을 사용해 왔습니다. 만약 당신의 이름이 종이에 적혀 있다면, 당신은 공로를 인정받습니다. 만약 당신이 많은 논문을 가지고 있다면, 당신은 많은 공로를 인정받습니다.

이 시스템은 몇 가지 큰 아이디어에 의존합니다. 첫째, **저자(authorship)**는 과학적 발견에 붙는 이름표입니다. 그것은 "내가 이 일을 했다"라는 의미를 담아야 합니다. 둘째, **계량서지학(bibliometrics)**은 단순히 이 이름표들을 세고 그것들이 얼마나 자주 나타나는지 확인하는 데 쓰는 멋진 말입니다. 마지막으로, **경력 발전(career progression)**은 과학자들이 오르는 사다리입니다. 승진을 하거나 높은 직함을 얻는 것은 대개 당신이 게임을 잘 해냈음을 의미하며, 이는 흔히 많은 논문을 발표했기 때문입니다. 하지만 여기에 결함이 있습니다. 점수판은 이름만을 보여줄 뿐, 실제로 누가 힘든 일을 했는지는 보여주지 않습니다. 목록의 맨 위에 있는 사람이 실험을 설계했을까요? 목록의 맨 아래에 있는 사람이 모든 지저분한 실험실 일을 다 했을까요? 아니면 누군가가 현미경을 만지지도 않았으면서 단지 보스라는 이유로 논문에 이름을 올린 것일까요? 가시적인 이름과 숨겨진 작업 사이의 이 간극가 바로 이 논문이 해결하고자 하는 미스터리입니다.

---

5가지 신호 탐정 키트

더럼 대학교(Durham University)의 연구자 케핑 루안(Keping Ruan)이 등장했습니다. 그는 새로운 종류의 탐정 키트를 만들기로 결고했습니다. 단순히 점수판을 보고 추측하는 대신, 루안은 과학자가 승진할 때 어떤 일이 일어나는지 조사하기 위해 "5가지 신호 프레임워크"를 구축했습니다. 아이디어는 간단합니다. 만약 누군가 승진 직후에 갑자기 엄청나게 많은 논문을 발표하기 시작했다면, 그것은 그가 초능력을 가진 생산자이기 때문일까요, 아니면 다른 무언가가 일어나고 있는 것일까요?

루안은 단순히 추측하지 않았습니다. 그는 이를 테스트하기 위한 구체적인 워크플로우를 구축했습니다. 이것은 마치 당신이 "좋아, 이 플레이어는 시스템을 속치고 있을지도 몰라"라고 말하기 전에 다섯 가지 다른 단서들을 확인해야 하는 비디오 게임 레벨과 같습니다. 이 논문은 이 키트를 중국의 329명의 "가장 많이 인용된 연구자(Highly Cited Researchers)" 그룹, 즉 학술 게임의 최상위 플레이어들에게 적용했습니다. 이들 중 27명이 심층적으로 조사될 수 있을 만큼 충분한 공개 정보를 가지고 있었습니다.

다음은 탐정 키트가 찾는 다섯 가지 신호입니다:

1. 출력 급증 (양 체크): 이것은 가장 명백한 단서입니다. 승진 후에 논문 수가 급증했나요? 연구 결과, 대부분의 27개 상세 사례에 대해 답은 우렁찬 "예"였습니다. 승진 전, 이 연구자들은 연평인 평균 약 9.5편의 논문을 발표했습니다. 승진 후, 그 숫자는 연간 16.0편으로 뛰었습니다. 이는 엄청난 증가이며, 출력이 거의 두 배가 된 것입니다.
2. 팀 확장 (공동 저자 체크): 연구자가 더 많은 사람과 일하기 시작했나요? 이 신호는 성장이 더 큰 팀 덕분인지 확인합니다. 그러나 논문은 여기서 난관을 발견했습니다: 공개 데이터에는 모든 사람에 대해 새로운 팀원을 정확하게 셀 수 있을 만큼 상세한 정보가 부족했습니다. 따라서 이 단서는 무시된 것이 아니라 "누락된 조각들"로 표시되었습니다.
3. 분야 이동 (주제 체크): 연구자가 완전히 다른 주제에 대해 쓰기 시작했나요? 예를 들어, 물고기 전문가였던 사람이 갑자기 우주 로켓에 대해 쓰기 시작했을까요? 다시 한번, 공개 데이터는 모든 사례에 대해 이러한 변화를 완벽하게 추적할 만큼 상세하지 않았기에, 이 단서 역시 "더 나은 데이터 필요"로 표시되었습니다.
4. 이름표 위치 (크레딧 체크): 연구자의 이름이 목록의 어디에 나타납니까? 과학에서 첫 번째 저자가 되는 것은 보통 주된 작업을 수행했음을 의미하며, 마지막 저자가 되는 것은 종종 보스나 지도자임을 의미합니다. 연구는 이 연구자들이 더 많은 논문을 발표함에 따라, 더 이상 제1 저자가 아니라 주로 "보스" 저자(마지막 또는 교신 저자)로 등장한다는 것을 발견했습니다. 이는 그들이 작업을 조직하고 있음을 시사하지만, 직접 수행하고 있지는 않을 수도 있음을 뜻합니다.
5. 보스의 부담 (관리 체크): 이것은 까다로운 부분입니다. 연구자가 많은 논문을 발표하는 동안 관리자(예: 학과장)와 같은 관리직을 맡게 되었나요? 연구는 많은 연구자들이 실제로 무거운 관리 역할을 맡고 있다는 것을 발견했습니다. 프레임워크가 던지는 질문은 이것입니다: "어떻게 누군가가 대학 학과 전체를 관리하면서 동시에 연간 16편의 논문을 쓸 수 있는가?" 이 연구는 그들이 거짓말을 하고 있다고 말하는 것이 아니라, 이 조합을 면밀한 검토가 필요한 것으로 표시합니다.

탐정이 발견한 것 (그리고 발견하지 못한 것)

이 논문은 손가락질을 하지 않도록 매우 주의를 기울입니다. 루안은 이 연구가 누구도 속였거나, 공로를 훔쳤거나, 잘못된 행동을 했다는 것을 증명하는 것이 아님을 명시합니다. 이 연구는 과학자들의 순위를 매기거나 누가 "나쁜 행위자"인지 말하지 않습니다. 대신, 이것은 연기 감지기처럼 작동합니다. 특정 패턴을 볼 때 경보를 울립니다: 엄청난 논문 증가, 연구자가 저자 목록에서 "보스" 위치로 이동함, 그리고 무거운 관리 업무를 맡음.

연구는 27개의 상세 사례에 대해 이 "연기"가 눈에 보인다는 것을 발견했습니다. 연구자들은 더 많은 논문을 발표했고, 더 많은 리더십 역할을 맡았으며, 선임 저자로 더 자주 등장했습니다. 하지만 연구는 또한 두 가지 단서(팀 규모와 주제 변화)가 공개 기록이 충분히 상세하지 않아 확인하기 어려웠음을 인정했습니다. 이것은 마치 증거의 절반이 열 수 없는 금고 안에 잠겨 있는 상태에서 미스터리를 풀려고 노력하는 것과 같습니다.

핵심 요점

이 논문의 주요 목적은 누군가를 비난하려는 것이 아닙니다. 그것은 "이봐, 우리가 과학적 성공을 확인하는 방식은 더 나은 도구가 필요해"라고 말하는 것입니다. 현재 우리는 종종 그저 논문의 수를 셉니다. 이 논문은 만약 어떤 과학자가 보스가 된 직후에 갑자기 두 배나 많은 논문을 발표한다면, 우리는 단순히 "와, 정말 대단하다!"라고 말할 것이 아니라, "이게 어떻게 가능하지?"라고 물어야 한다고 제안합니다.

이 프레임워크는 비난하거나 이야기를 지어내지 않고도 그런 질문을 던질 수 있는 방법을 제공합니다. 그것은 막연한 의심을 구조화된 체크리스트로 바꿉니다. 그것은 우리가 "무엇"(더 많은 논문, 더 많은 보스 직함)은 볼 수 있지만, 공개 데이터는 종종 "어떻게"(그들이 직접 일을 했는지, 아니면 단지 일하는 사람들을 관리했는지)를 말해주지 못한다는 것을 보여줍니다.

결국, 이 논문은 우리가 점수판을 읽는 방식에 대해 더 똑똑해져야 한다고 제안합니다. 갑작스러운 점수 상승은 슈퍼 플레이어의 신호일 수도 있지만, 게임의 메커니즘이 변했다는 신호일 수도 있습니다. 이 5가지 신호 프레임워크를 사용함으로써, 우리는 과학적 발견에 대한 공로가 단지 가장 큰 이름표를 가진 사람이 아니라, 적절한 사람에게 돌아갈 수 있도록 두 번의 검토가 필요한 패턴을 포착할 수 있습니다.