Usage frequency and application variety of research methods in library and information science: Continuous investigation from 1991 to 2021

기술 요약: 문헌정보학 연구 방법의 사용 빈도 및 적용 다양성 (1991–2021)

문제 제기
문헌정보학(LIS) 내 연구 방법에 대한 기존의 조사들은 수동 내용 분석에 크게 의존해 왔다. Järvelin과 Vakkari(1990), 그리고 Chu(2015)와 같은 학자들에 의해 구축된 분류 체계가 기초를 마련했으나, 이러한 분석의 수동적 특성은 처리할 수 있는 데이터의 양을 제한한다. 결과적으로, 대부분의 선행 연구는 단일 연도나 작은 문헌 집합에 국한되어 있어, 방법론적 진화에 대한 포괄적이고 종단적인 이해를 방해한다. 또한, 기존 연구들은 연구 방법과 연구 주제를 별개의 개체로 취급하는 경우가 많아, 장기간에 걸친 이들의 역동적인 상호 관계 분석이 부족하다. 본 연구는 31년(1991–2021)에 걸친 연구 방법의 사용 빈도와 적용 다양성을 분류하기 위한 대규모 자동화 접근 방식의 필요성을 다룬다.

연구 방법론
본 연구는 21개의 핵심 문헌정보학 저널에 수록된 26,965편의 연구 논문을 분석하기 위해 머신러닝(ML) 파이프라인을 활용한다. 방법론은 세 가지 주요 구성 요소로 구조화되어 있다:

1. 데이터셋 구축 및 확장:

   • 데이터셋은 1991년부터 2021년까지를 포괄한다. (Chu와 Ke, 2017에 기반한) 1,977편의 수동 주석 처리된 논문으로 구성된 예비 훈련 세트가 사용되었다.
   • 클래스 불균형 문제(예: "델파이 조사"와 같이 특정 방법의 사례가 300개 미만인 경우)를 해결하기 위해 저자들은 훈련 데이터를 확장하였다. TextRank를 사용하여 키워드를 추출하고, 이를 통해 Web of Science에서 관련 초록을 검색한 후 수동으로 필터링 및 주석을 달았다. 이 과정을 통해 훈련을 위한 확장된 데이터셋이 생성되었다.
   • 신뢰 학습(Confident Learning): 데이터 확장 과정에서 발생할 수 있는 노이즈를 완화하기 위해, 본 연구는 최종 모델 훈련 전 잘못 레이블링된 데이터를 식별하고 제거하는 Cleanlab 도구를 통한 "신뢰 학습"을 활용하였다.

2. 연구 방법의 자동 분류:

   • 코딩 체계: 본 연구는 Chu와 Ke(2017)의 16가지 연구 방법(예: 계량서지학, 내용 분석, 인터뷰, 이론적 접근법 등)에 대한 분류 체계를 채택하였다.
   • 모델 아키텍처: 전통적인 다중 레이블 분류기(BR-XGB, CC-XGB 등)와 딥러닝 아키텍처를 포함한 여러 모델을 평가하였다. 최종 선정된 모델은 특징 추출 및 분류를 위해 SciBERT(과학 텍스트로 사전 학습된 BERT 모델)와 TextCNN을 결합하였다.
   • 훈련 전략: 모델은 Adam 및 SGD 옵티마이저와 이진 교차 엔트로피(BCE) 손실 함수를 사용하여 훈련되었다. 평가는 5-겹 교차 검증(five-fold cross-validation)을 사용하였다.
   • 검증: 모델의 성능은 수동으로 레이블링된 테스트 세트(N=80)를 통해 검증되었으며, Kappa 값 0.74를 기록하여 기계와 인간의 주석 간에 수용 가능한 일치도를 보였다.

3. 토픽 모델링 및 지표 계산:

   • 토픽 식별: 토픽 모델링을 위해 Top2Vec이 사용되었다. 최적의 토픽 수는 CV(컨텍스트 벡터 기반 응집도) 점수에 따라 18개로 결정되었다.
   • 지표: 두 가지 핵심 지표가 계산되었다:
     • 사용 빈도(Usage Frequency): 특정 연도에 특정 방법이 보고된 논문의 비율.
     • 적용 다양성(Application Variety): 특정 방법이 특정 연도에 적용된 연구 주제의 다양성을 정량화하는 엔트로피 기반 측정치. 엔트로피가 높을수록 다양한 주제에 걸친 광범위한 적용 가능성을 의미한다.

주요 결과

• 분류 정확도: SciBERT-TextCNN 모델은 정제된 데이터셋에서 Micro-F1 0.850, Macro-F1 0.848, Samples-F1 0.859를 달성하며 가장 높은 성능을 보였다. 이는 자동화된 접근 방식이 수동 코딩과 대등한 정확도를 달성함을 입증한다.
• 사용 빈도 추세:
  • 내용 분석(18.63%)과 계량서지학(17.70%)이 가장 빈번하게 사용되는 방법이었다.
  • 종단적 변화가 관찰되었다: 이론적 접근과 내용 분석은 하락 추세를 보인 반면, 인터뷰와 설문조사는 상승 추세를 보였다. 이는 문헌정보학 연구가 개념적 연구에서 경험적 연구 전략으로 전략적 전환이 이루어지고 있음을 나타낸다.
• 적용 다양성 패턴:
  • 내용 분석은 가장 높은 적용 다양성(7.084)을 보여, 광범위한 주제에 적용 가능한 "슈퍼 방법론"으로서의 면모를 보였다.
  • 델파이 조사는 가장 낮은 다양성(0.134)을 보여, 적용 범위가 좁음을 나타냈다.
  • 네 가지 뚜렷한 패턴이 나타났다: 전반적으로 다양성이 증가한 방법(예: 계량서지학, 인터뷰), 증가 후 감소한 방법(예: 설문조사, 로그 기록 분석), 전반적으로 감소한 방법(예: 이론적 접근), 감소 후 증가한 방법(예: 역사적 방법).
• 토픽-방법 관계:
  • 연구 주제는 시스템 중심 이슈(예: "정보 검색/모델 및 알고리즘")에서 사용자 중심 주제(예: "정보 서비스")로 이동하였다.
  • 구체적인 방법-토픽 쌍이 식별되었다: 실험은 "텍스트 처리/검색" 및 "정보 탐색 행태"에 집중적으로 사용되었고, 이론적 접근은 "정보 윤리/정보 철학"과 연결되었으며, 계량서지학은 "과학 평가" 및 "웹서지학"의 중심 역할을 했다.
  • 본 연구는 이러한 역동적 관계를 인터랙티브 맵으로 시각화하여 연도별 종단적 관찰을 가능하게 하였다.

의의 및 기여
본 논문은 문헌정보학 연구 방법론 분야에 세 가지 주요 기여를 한다고 주장한다:

1. 머신러닝을 통한 확장성: 딥러닝과 신뢰 학습을 활용함으로써, 본 연구는 수동 내용 분석의 데이터 한계를 극복하였다. 약 27,000편의 논문을 31년에 걸쳐 성공적으로 처리함으로써, 이전에는 불가능했던 방법론적 트렌드에 대한 파노라마적 뷰를 제공하였다.
2. 이중 관점 분석: 방법과 주제를 별개로 취급했던 기존 연구와 달리, 본 연구는 사용 빈도와 적용 다양성을 동시에 분석한다. 이는 특정 방법의 적용 폭이 시간이 지남에 따라 어떻게 변화하는지를 밝혀냄으로써, 방법론적 효용성에 대한 더 미묘한 이해를 제공한다.
3. 자동 분류의 타당성 검증: 본 연구는 머신러닝이 수동 코딩에 필적하는 분류 정확도(Kappa = 0.74)를 달성할 수 있음을 입증하였다. 이는 대규모 계량서지학 연구를 수행함에 있어 자동화된 기법의 활용 가능성을 검증하며, 코딩 체계를 정교화하는 데는 수동 코딩이 여전히 필수적이지만, 대규모 분석 실행에는 머신러닝이 유효한 보완재가 될 수 있음을 시사한다.

저자들은 연구 방법이 진화함에 따라 코딩 체계를 정교화하기 위해 인간의 전문성이 여전히 필요하다는 점을 들어, 자신들의 방법론이 수동 분석의 완전한 대체가 아닌 보완재라는 겸허한 입장을 유지한다. 본 연구는 새로운 이론적 틀을 제안하기보다는 엄격한 데이터 기반 분석을 통해 학계의 진화를 보여주는 실증적 근거를 제공한다.