기술 요약: 문헌정보학 연구 방법의 데이터 기반 진화 (1990–2022)

문제 정의

1990년대 이후, 문헌정보학(LIS) 분야는 빅데이터, 월드 와이드 웹(World Wide Web), 인공지능의 발전에 힘입어 경험 중심의 질적 연구에서 데이터 중심의 양적 연구로 패러다임 전환을 겪어왔다. 기존 문헌들은 서지학적 관점에서 연구 방법의 진화를 탐구해 왔으나, 이러한 분석은 대개 이론 및 방법론 사용의 텍스트적 특성에 집중하는 "거시적(coarse-grained)" 분석에 머물러 있다. 즉, 변화하는 데이터 자원 및 기술에 대응하여 구체적인 데이터 기반 방법론 엔티티(entity)가 어떻게 진화하는지에 대한 미시적이고 정량적인 분석이 부족하다. 본 연구는 학술 문헌으로부터 특정 명명된 방법 엔티티를 추출하고 분석함으로써, 문헌정보학 연구 방법의 진화적 추세를 밝혀내고자 하는 필요성을 다룬다.

방법론

본 연구는 1990년부터 2022년 사이에 발표된 14개의 우수한 문헌정보학 저널에 수록된 25,351편의 논문 전문(full-text)을 분석하기 위해 다단계 계산 프레임워크를 채택하였다.

1. 데이터 수집 및 전처리:

   • 14개의 대표 저널(2021년 JCR 기준 Q1–Q3)로부터 코퍼스를 구축하였으며, 비학술 문서 및 전문 내용이 누락된 문서는 제외하였다.
   • 데이터셋은 153,230개의 장(chapter)을 포함하는 25,351편의 유효한 논문으로 구성된다.

2. 장(Chapter) 구조 식별:

   • 연구에서 사용된 구체적인 방법을 격리하기 위해 "방법(Methods)" 장을 정확하게 식별해야 한다.
   • 본 연구는 6가지 범주의 구조적 분류 체계(서론, 관련 연구, 방법, 평가 및 결과, 논의 및 결론, 기타)를 수립하였다.
   • 전통적인 머신러닝(SVM, RF, LR), 딥러닝(SciBERT 변형 모델), 거대 언어 모델(T5 변형 모델)을 포함한 11개의 머신러닝 모델을 평가하였다.
   • 선택: T5_base 모델이 가중 평균 F1 점수 **84.23%**로 가장 높은 성능을 기록하였으며, 이를 사용하여 코퍼스 전반의 장 구조를 분류하였다.

3. 미시적 방법 엔티티 추출:

   • 네 가지 범주의 연구 방법 엔티티(RME)를 정의하였다: 알고리즘 및 모델(Algorithms and Models), 데이터 자원(Data Resources), 소프트웨어 및 도구(Software and Tools), 지표(Metrics).
   • ChatGPT를 활용한 용어 생성과 수동 검증을 통해 "실버 스탠다드(silver standard)" 주석 코퍼스를 구축하였다.
   • 모델 아키텍처: 시퀀스 레이블링(sequence labeling)을 위해 SciBERT+BiLSTM+CRF 모델을 학습시켰다.
   • 성능: 모델은 종합 F1 점수 **73.38%**를 달성하였다. 데이터 증강(증강된 데이터를 10% 추가)을 통해 성능을 더욱 최적화하였다.
   • 모델을 전체 코퍼스에 적용하여 방법 엔티티를 포함하는 6,145,694개의 문장을 추출하였다.

4. 진화 분석 지표:

   • 분포 밀도(Distribution Density): "방법" 장이 RME를 가장 높은 밀도로 포함하고 있음을 확인하기 위해, 해당 장 내 전체 토큰 대비 방법 엔티티 토큰의 비율을 계산하였다.
   • 자카드 거리(Jaccard Distance): 인접한 시간 창(3년 단위) 사이의 RME 그룹 간 불일치(분포 차이)를 측정하는 데 사용되었다.
   • 자카드 거리 성장률: 방법론 사용의 차이가 벌어지고 있는지(출현) 또는 좁혀지고 있는지(안정화)를 결정하기 위해 계산되었다.
   • 주제 및 방법 계층화: Top2Vec 모델을 통해 19개의 연구 주제를 식별하였으며, 자동 분류기(Zhang & Tian, 2023)를 사용하여 논문을 연구 방법(예: 실험, 서지학)별로 분류하여 다양한 차원에서 진화 패턴을 분석하였다.

주요 기여

• 미시적 엔티티 추출: 본 연구는 학술 논문 전문에서 네 가지 유형의 데이터 기반 방법 엔티티(알고리즘, 데이터, 도구, 지표)를 자동으로 추출함으로써 거시적 서지 분석을 넘어선다.
• 방법론적 프레임워크: 구조적 식별(T5)과 엔티티 추출(SciBERT+BiLSTM+CRF)을 결러 미시적 수준에서 연구 방법의 진화를 분석하는 견고한 파이프라인을 제안한다.
• 정량적 진화 지표: 자카드 거리와 그 성장률의 적용을 통해 시간 경과에 따른 연구 방법의 "안정성" 대 "출현"을 정량적으로 측정한다.
• 다차원 분석: 연구 방법의 진화를 세 가지 뚜와 차원(시간적 추세, 서로 다른 연구 주제, 서로 다른 연구 방법론)에서 분석한다.

결과

• 장 분포: "방법" 장은 RME의 평균 분포 밀도(~1.94%)가 가장 높게 나타났으며, 이는 실제 연구 방법을 식별하기 위해 이 섹션에 집중하는 접근 방식의 타당성을 입증한다.
• 시간적 진화 (1990–2022):
  • 데이터 자원: 시간 경과에 따라 가장 큰 분포 차이를 보였으며, 이는 데이터 자원이 방법론적 변화의 주요 동인임을 나타낸다.
  • 순환 패턴: 본 연구는 새로운 도구/데이터의 등장으로 인한 "출현"(증가하는 자카드 거리)과 정상화로 인한 "안정화/실제 적용"(감소하는 자카드 거리)의 순환 패턴을 확인하였다.
  • 구체적 추세: 알고리즘 및 모델 엔티티는 특히 2015년 이후 비중이 점진적으로 증가하였는데, 이는 거대 언어 모델의 영향으로 보인다. 지표(Metric) 엔티티는 비중이 감소하는 추세를 보였으며, 이는 평가 표준의 안정화를 시사한다.
• 주제별 진화:
  • 정보 탐색(Information Seeking) 및 *계량정보학/계량역사학(Informetrics/Scientometrics)*과 같은 주제는 데이터 자원의 분포 분산이 감소했다가 다시 증가하는 경향을 보였는데, 이는 오픈 액세스 운동 및 자원의 풍부함과 연관되어 있다.
  • 과학적 평가(Scientific Evaluation) 주제는 지표 엔티티에서는 안정화를 보였으나, 다른 범주에서는 분산이 감소하는 모습을 보였다.
• 방법별 진화:
  • 실험적 방법(Experimental Methods): 알고리즘 및 모델 엔티티를 중심으로 초기에는 분산이 감소하다가 최근 다시 증가하는 양상을 보였으며, 이는 데이터 기반 실험의 진화하는 성격을 반영한다.
  • 내용 분석 및 서지학(Content Analysis and Bibliometrics): 지속적인 분포 분산 감소를 보여, 확립된 안정적인 사용 패턴을 나타냈다.

의의 및 주장

본 논문은 데이터 자원이 문헌정보학 방법론 진화의 핵심 동력이라고 주장한다. 데이터의 풍부함과 데이터 지능의 부상은 연구 문제를 해결하는 방식을 근본적으로 변화시켰으며, 학문을 데이터 중심 모델로 전환시켰다.

본 연구는 문헌정보학의 연구 방법이 선형적으로 진화하는 것이 아니라, "출현"과 "안정화/실제 적용"의 순환 패턴을 따른다고 상정한다. 미시적인 방법 엔티티에 집중함으로써, 저자들은 이 접근 방식이 기존의 거시적 서지 분석보다 학문적 발전에 대해 더 객적이고 해석 가능한 관점을 제공한다고 주장한다. 본 방법론은 특정 지식 엔티티의 관점을 통해 연구 방법의 발전 과정을 이해하기 위해 다른 분야에도 적용될 수 있는 보편적인 프레임워크로 제시된다.

저자들은 현재의 엔티티 분류가 모든 방법론적 사용 특성을 포괄하지 못할 수 있고, 코퍼스가 규모는 크지만 완전한 주제적 진화 분석을 수행하기에는 여전히 부족할 수 있다는 한계를 인정하였다. 향-후 연구로는 더 큰 규모의 데이터와 더 보편적인 분류 체계를 활용하여 결과의 객관성과 적응성을 높이는 것을 제안하였다.