Non-synchronism in Global Usage of Research Methods in Library and Information Science from 1990 to 2019

기술 요약: 문헌정보학의 연구 방법론 사용에 있어서의 비동기성 (1990–2019)

문제 제기
문헌정보학(LIS)은 다양한 학문에서 유래한 연구 방법들을 사용하는 학제 간 분야이다. 이러한 방법론을 이해하는 것이 학문의 독립성과 발전을 위해 중요하다는 점은 잘 알려져 있으나, 국가별로 연구 방법의 사용이 어떻게 다르게 나타나는지에 대한 포괄적이고 정량적인 이해는 부족한 실정이다. 기존 연구들은 주로 일반적인 국제적 추세, 특정 지역 또는 단일 국가에 초점을 맞추었으며, 대개 수동 코딩에 의존해 왔다. 또한, 새로운 연구 방법들이 등장함에 따라 지난 20년간의 국제적 차이와 추세의 진화 과정은 여전히 불분명하다. 본 연구는 81개국을 대상으로 30년 동안 나타난 연구 방법의 "비동기적(non-synchronism)" 발전, 즉 비동기적 전개에 대한 이해의 공백을 다룬다.

연구 방법론
본 연구는 연구 방법의 분포와 진화를 매핑하기 위해 학술 문헌에 대한 대규모 자동화된 정량 분석을 수행한다.

• 데이터 소스: 데이터셋은 1990년부터 2019년 사이에 발표된 세 개의 국제 대표 저널인 Journal of the Association for Information Science and Technology (JASIST), Journal of Documentation (JDoc), Library and Information Science Research (LISR)에 게재된 5,281편의 전체 텍스트 연구 논문으로 구성된다. 81개국의 논문이 포함되었으며, 공동 저자 논문은 관련 있는 모든 국가에 귀속되었다.
• 코딩 체계: 저자들은 Chu & Ke (2017)의 코딩 체계를 채택하여, 방법론을 15가지 유형(예: 계량서지학, 내용 분석, 실험, 설문조사 등)과 "기타(Other)" 범주로 분류하였다.
• 데이터 확장: 훈련 데이터의 클래스 불균형 문제(일부 방법론의 샘로가 300개 미만인 경우)를 해결하기 위해 저자들은 데이터셋을 확장하였다. TextRank를 사용하여 기존 논문에서 키워드를 추출하였고, 과소 대표된 방법론들에 대해 상위 키워드를 선택한 후 Web of Science에서 추가 초록을 검색하였다. 이를 수동으로 주석 처리하여 2,799편의 논문으로 확장된 훈련 세트를 구축하였다.
• 자동 분류 모델: 딥러닝 모델인 CogFT(Full-text cognitive-based classification)를 개발하였다.
  • 구조: CogLTX에서 영감을 받은 이 모델은 전체 텍스트 논문을 128개의 블록으로 분할한다. 요약 네트워크(Summary Network, SciBERT 및 Self-Attention 사용)는 연구 방법에 가장 관련이 높은 블록을 식별하여 불필요한 내용을 필터링한다. 상위 4개의 블록을 병합하여 분류 네트워크(Classification Network, SciBERT 및 Sigmoid 출력층 사용)에 입력함으로써 다중 레이블 분류를 수행한다.
  • 노이즈 감소: 저자들은 신뢰 학습(Confident Learning)을 활용하여 데이터셋 내의 잠재적 노이즈 레이블을 식별하고 수동으로 검증하였으며, 이를 통해 모델의 정확도를 높였다.
  • 성능: 최종 모델은 Macro-F1 점수 0.8299, Micro-F1 점수 0.8171을 달성하였다.
• 분석 기법:
  • 유사도 분석: 연구 방법의 분포를 벡터화하였다. UMAP을 사용하여 2D 시각화를 수행하였고, K-means 클러스터링(유클리드 거리에 기반)을 통해 유사한 방법 프로필을 가진 국가들을 그룹화하였다.
  • 통계적 검정: 국가 간 방법 분포의 통계적으로 유의미한 차이를 식별하기 위해 Kolmogorov-Smirnov (K-S) 검정을 사용하였다.
  • 시계열 분석: Shannon Variety Index를 사용하여 시간 경과에 따른 방법 및 주제의 다양성을 측정하였다. 방법 다양성의 궤적을 기준으로 국가들을 그룹화하기 위해 Dynamic Time Warping (DTW)과 계층적 클러스터링을 사용하였다. Jensen-Shannon divergence를 사용하여 특정 주제에 대한 국가별 분포와 국제적 분포 사이의 거리를 측정하였다.

주요 결과

• 출판 집중도: 상위 20개국이 전체 논문의 90% 이상을 차지한다. 미국이 압도적인 기여도(저자의 약 37-40%)를 보였으며, 영국, 중국, 캐나다가 그 뒤를 이었다.
• 방법 분포의 차이: 방법 사용에 있어 상당한 이질성이 존재한다. 예를 들어, 벨기에와 네덜란드는 계량서지학(45-60% 이상의 논문)을 선호하는 반면, 노르웨이는 설문조사를 주로 사용한다. 대부분의 국가에서 상위 5개 방법론이 전체 출판물의 60% 이상을 차지하며, 이는 한정된 방법론 세트에 대한 의존도를 나타낸다.
• 통계적 발산: K-S 검정 결과, 많은 국가 쌍 사이, 특히 출판량이 많은 국가와 적은 국가 사이에서 방법 분포의 유의미한 차이가 확인되었다.
• 시간적 추세:
  • 다중 방법론: 30년 동안 여러 연구 방법을 혼용하는 경향이 크게 증가했다. 그러나 이 추세는 주로 출판량이 적은 국가들(특히 2008년 이후)에 의해 주도되었으며, 미국이나 영국과 같은 주요 출판국들은 다중 방법론 사용에서 뚜렷한 상승 추세를 보이지 않았다.
  • 방법 다양성: 대부분의 국가는 사용하는 연구 방법의 다양성 측면에서 상승 추세를 보인다. 이는 연구 주제의 확장과 상관관계가 있다.
  • 클러스터링: 국가들은 방법 다양성 궤적에 따라 세 그룹으로 분류되었다: (1) 지속적으로 높은 다양성을 보이는 선진국(미국, 영국, 캐나다), (2) 다양성이 급격히 증가하는 신흥 개발도상국(예: 중국, 호주, 핀란드), (3) 전통의 영향을 받아 안정적인 패턴을 보이는 특수 국가(벨기에).
• 수렴: 국가 간 차이는 지속되고 있으나, 특정 주제(예: "정보 탐색 행태")에 대한 국가별 분포와 국제적 분포 사이의 Jensen-Shannon divergence는 지난 30년 동안 감소하였다. 이는 국제적 규범을 향한 점진적인 수렴을 시사한다.

의의 및 기여
본 논문은 문헌정보학 분야에 다음과 같은 몇 가지 기여를 한다고 주장한다:

1. 글로벌 관점: 단일 국가 또는 지역 연구를 넘어, 30년 동안 81개국을 대상으로 한 최초의 대규모 자동화된 연구 방법 사용 분석을 제공한다.
2. 방법론적 혁신: 연구 방법의 자동 분류를 위해 딥러닝(CogFT)과 전체 텍스트 분석을 사용하는 것의 효용성을 입증하였으며, 이를 통해 수동 코딩 및 초록 중심 분석의 한계를 극복하였다.
3. 학문적 통찰: 연구 방법 사용의 "비동기성"을 강조함으로써, 서로 다른 국가적 맥락에서 나타나는 문헌정보학의 고유한 발전 경로를 이해하기 위한 틀을 제공한다. 이는 학문적 발전이 현지의 경제적, 사회적, 문화적 요인 및 학문적 전통의 영향을 받는다는 것을 시사한다.
4. 실무적 지침: 본 연구의 결과는 특정 방법론에 대한 과도한 의존이나 공백을 식별함으로써 국가 차원의 학문 발전을 안내할 수 있다. 나아가, 이러한 차이를 이해하는 것은 기대치와 방법론을 일치시킴으로써 더 나은 초국가적 과학 협력과 학술 교류를 촉진할 수 있다.

저자들은 연구 방법의 차이는 여전히 존재하지만, 학계가 점차 통합되고 있으며 국가적 관행과 국제적 추세 사이의 격차가 점진적으로 줄어들고 있다고 결론짓는다.