The Academic Journal Guide: A View from Category Theory.

기술 요약: 학술 저널 가이드(AJG): 범주화 이론의 관점

문제 제기
영국 경영대학 협회(CABS)가 발행하는 학술 저널 가이드(AJG)는 경영학 분야에서 연구 품질을 나타내는 주요 대리 지표 역할을 한다. AJG의 방법론은 독점적인 인용 영향력 데이터와 질적 전문가 판단을 균형 있게 결려 저널을 5개의 불연속적 계층(1등급에서 4*등급까지)으로 배정한다고 주장하지만, 이러한 범주화의 이론적 견고함에 대해서는 아직 평가되지 않았다. 구체적으로, CABS의 범주화가 범주화 이론(categorization theory)의 관점에서 정당화될 수 있는지에 대한 이해가 부족하다. 핵심 질문은 다음과 같다: 인용 데이터와 전문가 의견 중 무엇이 순위에 더 큰 영향을 미치는가? 정의된 기준(예: 심사 엄격성, 지표 가용성)이 실제로 등급을 구분하는가? 등급 간의 상당한 중첩이 존재하여 불연속적 계층 구조의 유용성을 저해하고 있는가?

연구 방법론
본 연구는 범주화 이론에 기반한 혼합 방법론을 채택하여, AJG 2022년판의 실증 데이터를 대상으로 네 가지 특정 가설을 검증한다. 분석은 마케팅, 경영학, 국제 경영(IB), 전략 분야를 중심으로 하며, 총 324개의 저널을 대상으로 한다.

1. 데이터 구축: 본 연구는 AJG가 제공하는 세 가지 독점 영향력 지표(CiteScore, SNIP, SJR)를 활용하며, 해당 지표들의 높은 상관관계(r > 0.85)로 인해 이를 합산하여 복합 영향력 척도를 생성하였다(대상 기간: 2017–2021).
2. 통계적 검증:
   • H1 (영향력 분산): 일원 배치 분산 분석(One-way ANOVA)과 크러스컬-월리스 검정(Kruskal-Wallis tests)을 사용하여 인용 데이터가 AJG의 인접한 등급 간 및 등급 내에서 유의미하게 차이가 나는지 평가하였다.
   • H1b (영향력의 지배력): 서수 로지스틱 회귀 분석(Ordinal Logistic Regression)을 사용하여 인용 데이터가 등급 결정에 미치는 영향력을 측정하였다.
   • H2 (심사 엄격성): 저널 웹사이트와 인터넷 검색을 통한 질적 감사를 실시하여 "이중 맹검(double-blind)" 심사 과정과 심사위원 수에 대한 주장을 검증하였으며, 특히 1등급 저널이 "상대적으로 가볍게" 심사된다는 정의를 테스트하였다.
   • H3 (지표 가용성): 인용 영향력 지표의 가용성을 분석하여, 낮은 등급의 저널들이 그러한 데이터를 갖추지 못했다는 가설을 검증하였다.
   • H4 (지리적 편향): 서수 로지스틱 회귀 분석을 통해 인용 데이터상으로는 다른 등급에 속해야 할 것으로 보이는 '이상치(outlier)' 저널들을 식별하였다. 이 저널들의 국가적 기원을 비교하여 영국 중심의 편향성이 있는지 테스트하였다.

주요 결과

• 인용 데이터의 지배력 (H1a & H1b): 인용 데이터는 범주화의 분산을 상당 부분 설명하였다(의사 R² 값이 0.66에서 0.73 사이로, 약 3분의 2에서 4분의 3에 달함). 그러나 인접한 등급 간(특히 2–3 및 3–4 등급 사이)에 상당한 중첩이 발견되었으며, 이 구간의 쌍체 비교 p-값은 유의미하지 않았다. 이는 인용 데이터가 주요 동인이기는 하지만, AJG가 설정한 불연속적 경계와 완벽하게 일치하지는 않음을 시사한다.
• 심사 엄격성 (H2): 등급에 따라 심사 기준이 유의미하게 달라진다는 가설은 지지되지 않았다. 저널 웹사이트 분석 결과, 1등급 저널조차도 주로 다수의 심사위원을 둔 이중 맹검 심사를 활용하고 있었으며, 이는 1등급 논문이 "상대적으로 가볍게" 심사된다는 AJG의 정의와 모순된다.
• 지표 가용성 (H3): 1등급 저널들이 인용 지표를 갖추지 못했다는 가설은 대체로 지지되지 않았다. 일부 1등급 저널이 특정 지표를 보유하지 않은 경우는 있었으나, 대다수는 AJG에서 사용하는 세 가지 주요 지표 모두에 대한 데이터를 보유하고 있었다.
• 지리적 편향 (H4): 영국 기반 저널이 우대받는다는 가설과 달리, 재범주화 가능성을 분석한 결과 영국 기반 저널들이 비영국 저널들보다 오히려 더 많이 '승격'(인용 데이터에 근거하여 상위 등급으로 이동)되는 경향을 보였다. 다만, 본 연구는 현재 시스템상 저널의 특성 변화 없이는 지표 불일치에 근거한 이의 제기가 불가능하다는 점을 언급한다.
• 재범주화 가능성: 회귀 모델에 따르면, 샘플 내 저널의 약 1/3이 인용 데이터만을 기준으로 재범주화(승격 또는 강등)될 수 있는 것으로 나타났다. 이는 그룹 간 중첩을 줄이기 위한 조치로서 가능하다.

주요 기여
본 논문의 주요 기여는 저널 순위 시스템을 평가하는 데 있어 범주화 이론을 적용한 것이다. 저서는 AJG를 연구 지형에 일관성을 부여하기 위한 사회적 구성물로 취급하며, 다음과 같은 핵심적인 이론적 격차를 식별하였다:

1. 경계의 모호성: 본 연구는 인접 그룹 간 인용 지표의 상당한 중첩을 입증함으로써, AJG의 등급 경계가 실제로는 명확하게 정의되어 있지 않음을 보여준다.
2. 판단의 불투명성: AJG는 단순 지표 기반 순위와 차별화하기 위해 전문가 의견의 역할을 강조하지만, 데이터는 인용 지표가 변량의 대부분을 주도하고 있음을 시사한다. '질적 판단' 요소에 관한 데이터가 공개되지 않아, 특정 저널이 지표 기반 기대치에서 왜 벗어나는지를 사용자가 이해할 수 없다.
3. 정의의 불일치: 실증적 결과는 AJG의 명시된 정의(예: 심사 엄격성 및 지표 가용성 관련)와 해당 등급 내 저널들의 실제 특성 사이에 괴리가 있음을 보여준다.

의의 및 주장
본 논문은 현재의 AJG 방식이 영향력 있는 모델이긴 하나, 명확한 경계와 투명한 기준이라는 범주화 이론의 표준을 충족하지 못한다고 주장한다. 저자는 다음과 같이 주장한다:

• 독점적인 인용 데이터와 불투명한 전문가 판단의 결합은, 전체 저널의 상당 부분(약 1/3)이 인용 데이터와 비교했을 때 잘못 범주화되었을 가능성을 만든다.
• 현재 시스템에는 지표 불일치에 근거하여 등급에 이의를 제기할 수 있는 메커니즘이 부족하다. 재범주화는 저널의 '성격'이나 지표의 실질적인 변화가 있을 때만 제한적으로 허용되기 때문이다.
• 투명성 원칙(DORA 선언 등)과 범주화 이론에 부합하기 위해서는, CABS가 질적 판단 데이터를 공개하거나, 등급 정의를 실제 포함된 저널들의 실태에 맞게 수정해야 한다.

본 연구는 기준을 투명하게 공개하고 정의를 데이터와 일치시키지 않는 한, AJG가 진정한 연구 품질을 반영하기보다는 의도치 않게 '순위 쫓기(rank chasing)'를 조장하는 "대리 지표"로 기능할 것이라고 결론짓는다. 본 논문은 새로운 순위 시스템을 제안하는 것이 아니라, 2027년에 차기 AJG가 예정되어 있음을 언급하며 기존 체계에 대한 이론에 기반한 개정을 촉구한다.