Consensus and fragmentation in academic publication preferences
이 논문은 3,510 명의 미국 tenure-track 교수를 대상으로 한 대규모 조사를 통해 학술 출판 선호도가 학문 분야 (경제학, 화학, 물리학의 높은 합의 대 컴퓨터 과학, 공학의 분열) 에 따라 크게 달라지며, 기관의 위상과 성별에 따른 체계적 차이와 함께 학술지 영향력 지수 (JIF) 가 실제 선호도를 완전히 설명하지 못함을 규명했습니다.
원저자:Ian Van Buskirk, Marilena Hohmann, Ekaterina Landgren, Johan Ugander, Aaron Clauset, Daniel B. Larremore
연구진은 미국 전역의 3,500 여 명의 교수들에게 "당신은 어디에 논문을 발표하고 싶나요?"라고 물었습니다. 결과는 놀라웠습니다. 학문 분야마다 '명문 식당'에 대한 생각이 완전히 달랐기 때문입니다.
합의가 높은 분야 (경제학, 물리학, 화학): 이 분야는 마치 올림픽 같습니다. "메달을 따려면 반드시 이 3~5 개 경기장에 나가야 한다"는 것이 모두의 공통된 생각입니다. 경제학자들은 거의 다 같은 '톱 5' 저널을 꼽고, 물리학자들도 마찬가지입니다. 서로의 선택을 예측하기 매우 쉽습니다.
합의가 낮은 분야 (컴퓨터 과학, 공학): 이 분야는 마치 수천 개의 다양한 맛집이 난립한 푸드 트럭 축제 같습니다. 컴퓨터 과학자들은 "이곳이 최고야!"라고 주장하는 곳이 수백 개나 됩니다. A 는 '이 컨퍼런스'가 최고라고 하고, B 는 '저 저널'이 최고라고 합니다. 서로의 선택을 예측하기 어렵고, "어디가 진짜 좋은 곳인지"에 대한 합의가 거의 없습니다.
2. "누가 어디에 있느냐"와 "누구냐"가 중요합니다
단순히 학문 분야뿐만 아니라, 학자의 신분과 성별도 선호도에 영향을 미칩니다.
명문 대학 (엘리트) 교수들: 명문대에 있는 교수들은 더 높은 곳 (더 유명한 저널) 을 목표로 합니다. 마치 부유한 동네 주민들이 더 비싼 고급 레스토랑을 선호하는 것과 같습니다.
성별 차이: 흥미롭게도, 남성이 여성보다 더 높은 순위의 저널을 선호하는 경향이 있었습니다. 이는 성별에 따라 '위험 감수'나 '네트워크'의 차이가 있을 수 있음을 시사합니다.
꿈 (Aspiration) vs 현실 (Preference): 교수들은 "나는 정말 이 최고의 저널에 내고 싶다 (꿈)"고 말하지만, 실제로는 "내 실력에 맞는 이 저널에 내는 게 낫겠다 (현실)"고 선택합니다. 특히 비명문대 교수일수록 이 '꿈과 현실의 간격'이 더 큽니다.
3. '영향력 점수 (Impact Factor)'는 믿을 수 없습니다?
지금까지 학계는 **'저널 영향력 지수 (JIF)'**라는 점수표로 저널의 가치를 매겼습니다. 마치 식당의 '별점'처럼요. 하지만 이 연구는 그 점수표가 현실과 많이 다르다고 지적합니다.
점수표의 함정: JIF 는 인용 횟수만 따지기 때문에, 특정 분야의 '진짜 명문 저널'을 과소평가하거나, 일반 과학 잡지 (Nature, Science 등) 를 과대평가하는 경우가 많습니다.
예시: 경제학자들에게는 '경제학 전문 저널'이 천국이지만, JIF 점수표에서는 '일반 과학 잡지'가 더 높은 점수를 받을 수 있습니다. 하지만 경제학자들은 그 일반 잡지에 논문을 내지 않습니다.
결론: JIF 점수는 학자들이 실제로 무엇을 원하는지 64% 만 설명할 뿐입니다. 나머지 36% 는 점수표로 설명할 수 없는 '각 분야의 고유한 문화' 때문입니다.
💡 이 연구가 우리에게 주는 교훈
이 연구는 **"학문마다 규칙이 다르다"**는 사실을 숫자로 증명했습니다.
평가할 때 주의하세요: 컴퓨터 공학 교수를 평가할 때 경제학의 기준 (톱 5 저널) 을 적용하면 안 됩니다. 컴퓨터 과학에는 '톱 5'가 없고, 수백 개의 중요한 곳이 있기 때문입니다.
점수표만 믿지 마세요: 저널의 점수 (Impact Factor) 만 보고 논문의 가치를 판단하면, 실제 학계에서 인정받는 중요한 연구를 놓칠 수 있습니다.
다양성을 인정하세요: 학계는 하나의 거대한 위계질서가 아니라, 각기 다른 문화와 규칙을 가진 여러 개의 작은 공동체들이 모여 있는 곳입니다.
한 줄 요약: 학자들이 논문을 어디에 낼지 결정하는 방식은 분야마다 천차만별이며, 기존의 점수표 (Impact Factor) 는 이 복잡한 현실을 제대로 반영하지 못합니다. 따라서 학자를 평가할 때는 해당 분야의 '현실적인 문화'를 이해해야 합니다.
1. 연구 문제 (Problem)
학술 출판은 수천 개의 가능한 출판처 중에서 어디에 관심을 기울일지 결정해야 하는 **집단적 조정 문제 (Collective Coordination Problem)**입니다.
합의의 중요성: 명확한 합의가 존재하면 학계는 저널의 명성만으로 논문의 중요성을 추정할 수 있고, 지원서를 적절한 곳에 제출하며, 채용 및 승진 심사를 효율적으로 수행할 수 있습니다.
현재의 한계: 출판 선호도는 중앙에서 조정되지 않으며, 각 학문 분야마다 시간이 지남에 따라 독립적으로 형성됩니다.
연구 질문:
모든 학문 분야가 출판 선호도에서 유사한 수준의 합의에 도달했는가?
선호도가 기관 명성, 경력 단계, 성별과 같은 개인 특성과 체계적으로 연관되어 있는가?
학자들은 자신의 선호를 실제로 출판 성과로 실현하는 데 얼마나 성공적인가?
2. 방법론 (Methodology)
A. 데이터 수집 및 설문 설계
대상: 미국의 박사 학위 수여 기관에 재직 중인 tenure-track 교수 3,510 명.
데이터 규모: 8,044 개의 출판처 (Venue) 에 대한 163,002 개의 쌍별 비교 (Pairwise Comparisons) 데이터.
3 단계 적응형 설문 (Adaptive Survey):
** Aspirations (희망):** 응답자가 가장 출판하고 싶은 최상위 저널 3 개를 지정.
Consideration Set (고려 집합): 출판하고 싶거나 희망하는 저널들의 집합을 구성.
Pairwise Comparisons (쌍별 비교): 고려 집합에 포함된 저널들 간의 순위를 결정하기 위해 쌍별 비교를 수행.
B. 분석 기법
SpringRank 알고리즘: 쌍별 비교 데이터를 기반으로 개인 및 학문 분야 수준의 연속적 순위 (Continuous Rankings) 를 산출.
합의 지표 측정:
Venue Accumulation Curves: 응답자 수가 증가함에 따라 고유한 저널 수가 어떻게 증가하는지 (생태학의 종 누적 곡선과 유사).
Overlap: 응답자들이 서로의 고려 집합과 얼마나 겹치는지.
Top-5 Agreement: 개인이 선택한 상위 5 개 저널이 분야별 합의 상위 5 개와 일치하는 비율.
Prediction Accuracy: 분야별 합의 순위가 개인의 선택을 얼마나 잘 예측하는지 (Leave-one-out 방식).
회귀 분석: 선호도 순위와 기관 명성 (Prestige), 성별 (Gender), 경력 단계 간의 상관관계 분석.
실현도 (Realization) 분석: Google Scholar 프로필을 통해 응답자의 실제 출판 기록과 선호도 (개인별 및 분야별 합의) 를 비교하여 'Top-5 Tick Rate' 계산.
3. 주요 결과 (Key Results)
A. 학문 분야별 합의의 스펙트럼
높은 합의 분야 (High-Consensus): 경제학, 화학, 물리학.
응답자들이 엘리트 저널에 대해 높은 수준의 일치를 보임.
예: 경제학 응답자의 93-96% 가 가장 인기 있는 저널을 선택.
분야별 합의 순위가 개인의 선택을 잘 예측함 (경제학 79.2% 정확도).
낮은 합의/분열 분야 (Low-Consensus): 컴퓨터 과학, 공학.
수백 개의 출판처에 선호도가 분산되어 겹침이 적음.
예: 컴퓨터 과학 응답자의 8% 만이 다른 응답자의 고려 집합에 포함된 저널을 선택.
분야별 합의 순위의 예측 정확도가 낮음 (컴퓨터 과학 66.5%).
B. 개인 특성과의 상관관계
기관 명성 (Institutional Prestige): 명성 있는 기관의 교수일수록 더 높은 순위의 저널을 선호함. (명성 상위 10% vs 하위 10% 비교 시 선호도 순위 유의미한 차이).
성별 (Gender): 남성이 여성보다 상대적으로 더 높은 순위의 저널을 선호하는 경향이 있음. (명성과 경력 단계를 통제해도 유의미).
경력 단계: 선호도나 희망 사항과 경력 단계 (조교수, 부교수, 교수) 사이에는 유의미한 연관성이 발견되지 않음. 이는 선호도가 교수 임용 전 (대학원/포닥 시절) 에 형성됨을 시사.
C. 선호도와 출판 성과의 괴리 (Gap)
개인 선호 vs 분야 합의: 학자들은 자신의 개인적 선호를 분야 전체의 합의보다 더 성공적으로 실현함.
예: 생물학 명성 상위 교수들은 개인 Top-5 중 평균 3.6 개를 출판했으나, 분야 합의 Top-5 중에서는 2.0 개만 출판.
이는 학계 출판이 단순한 위계적 선택뿐만 아니라, 연구자들의 이질적인 선호 (Heterogeneity) 에 의해 구조화됨을 의미.
희망 (Aspiration) 과 선호 (Preference) 의 차이: 응답자들이 실제로 출판하고 싶은 곳 (Aspiration) 은 그들이 최우선으로 꼽는 곳 (Preference) 보다 순위가 낮음. 특히 명성이 낮은 기관일수록 이 격차가 더 큼.
D. 저널 임팩트 팩터 (JIF) 의 한계
예측력 부족: JIF 는 응답자의 선택을 64% 만 정확히 예측함 (분야별 합의 순위는 71% 예측).
체계적 왜곡:
다학제적 저널 (Nature, Science, PNAS) 이 핵심인 분야 (심리학, 화학 등) 에서는 JIF 가 실제 선호를 과소평가.
반대로 해당 저널이 주변적인 분야 (수학, 경제학 등) 에서는 JIF 가 과대평가.
분야별 플래그십 저널들은 JIF 순위보다 평균 5.9 단계 더 높은 선호도를 보임.
4. 주요 기여 및 의의 (Contributions & Significance)
학문적 인프라의 다양성 규명: 학술 출판 시스템이 모든 분야에서 균일하게 작동하지 않으며, 경제학처럼 높은 합의가 있는 분야와 컴퓨터 과학처럼 분열된 분야가 공존함을 처음으로 대규모 데이터로 입증.
평가 체계에 대한 경고:
JIF 의 한계: JIF 는 학문 분야별 실제 선호를 반영하지 못하므로, 채용 및 승진 심사 시 JIF 만 의존하는 것은 오류를 초래할 수 있음. 특히 분야별 플래그십 저널이 JIF 가 낮더라도 해당 분야에서는 매우 중요할 수 있음.
평가자의 편향: 합의가 낮은 분야 (예: 컴퓨터 과학) 에서 외부 평가자는 자신의 선호를 해당 분야의 표준으로 착각하여 학자를 불공정하게 평가할 위험이 있음.
사회적 불평등 구조: 명성 있는 기관과 남성 연구자가 더 높은 순위의 저널을 선호하고, 이를 더 잘 실현한다는 사실은 학술 출판 시스템 내의 구조적 불평등과 사회적화 (Socialization) 과정을 시사함.
실천적 함의: 채용 위원회와 자금 지원 기관은 학문 분야별 합의 수준을 고려하여 평가 기준을 유연하게 적용해야 함을 권고.
결론
이 연구는 학술 출판이 단순한 '품질'의 문제가 아니라, 각 학문 분야가 어떻게 집단적 조정을 이루는지에 대한 구조적 문제임을 보여줍니다. 저널 임팩트 팩터와 같은 단일 지표는 이러한 복잡한 선호 구조를 설명하지 못하며, 학문 분야별 특성과 연구자의 개인적 맥락을 고려한 정교한 평가 체계가 필요함을 강조합니다.