Pretraining Language Models for Diachronic Linguistic Change Discovery

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 지식 발견 도구로 널리 사용되고 있지만, 역사 언어학이나 문학 연구와 같은 인문학 분야에서는 다음과 같은 근본적인 한계가 존재합니다.

• 시대적 오염 (Anachronistic Contamination): 기존 LLM 은 방대하고 다양한 시대의 데이터를 혼합하여 학습합니다. 이로 인해 모델이 특정 역사적 시기의 언어적 특징을 분석할 때, 미래의 정보 (예: 19 세기 텍스트를 분석할 때 20 세기의 단어 의미) 가 모델 내부에 "누출 (leakage)"되어 부정확한 결론을 도출할 수 있습니다.
• 방법론적 불일치: 인문학 연구는 시간적 경계 (시대 구분) 나 장르와 같은 엄격한 구분을 전제로 합니다. 반면, 기존 LLM 은 이러한 경계를 무시하고 광범위한 데이터를 소비하여 일반화된 능력을 키우는 데 최적화되어 있습니다.
• 기존 접근법의 한계: 기존 LLM 을 미세 조정 (Fine-tuning) 하거나 프롬프트를 사용하는 방식은 모델이 특정 시대의 지식만 사용했음을 보장하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 효율적인 사전 학습 (Efficient Pretraining) 기법을 활용하여, 특정 역사적 시기에만 국한된 데이터를 기반으로 모델을 처음부터 (From Scratch) 학습시키는 방식을 제안합니다.

• 데이터 구축:

  • 소스: 프로젝트 구텐베르크 (Project Gutenberg) 의 텍스트 코퍼스 사용.
  • 시기 구분: 1750 년부터 1940 년까지를 5 개의 연속된 역사적 구간 (1750-1820, 1820-1850, 1850-1880, 1880-1910, 1910-1940) 으로 분할.
  • 데이터 양: 각 구간당 약 1 천만 토큰 (10M tokens) 의 훈련 데이터와 500 만 토큰의 테스트 데이터, 100 만 토큰의 검증 데이터를 확보.
  • 날짜 할당: 위키데이터 (WikiData), 프로젝트 구텐베르크 카탈로그 (PGC), 그리고 LLM 추론을 결합하여 각 문서의 출판 연도를 정밀하게 추정.

• 모델 학습 전략:

  1. Scratch 모델 (제안 방식): BabyLlama-2 (BabyLM 커뮤니티에서 개발된 효율적 학습 레시피) 를 사용하여 각 역사적 구간 데이터로 처음부터 학습된 5 개의 모델.
  2. Fine-tuned 모델 (비교 대상): 기존 Llama3-8B 모델을 기반으로 DoRA (Weight-Decomposed Low-Rank Adaptation) 를 적용하여 동일한 역사적 데이터 조각으로 미세 조정된 모델.
  3. 비교: 두 방식의 성능, 역사적 특이성 (Specificity), 그리고 계산 효율성을 비교 분석.

• 평가 지표:

  • Perplexity (Perplexity): 자체 시기의 텍스트에 대한 낮은 퍼플렉시티 (유창성) 와 타 시기의 텍스트에 대한 높은 퍼플렉시티 (역사적 특이성) 를 측정.
  • BLiMP: 언어적 유창성을 측정하는 벤치마크.
  • Cloze Evaluation (새로운 평가 세트): 옥스퍼드 영어 사전 (OED) 의 단어 의미 (Sense) 와 최초 등재 연도를 활용. 모델이 미래에 등장할 단어 의미를 예측하는지 (Leakage) 를 측정하여 "역사적 정보 누출"을 정량화.

3. 주요 기여 (Key Contributions)

1. 역사적 경계 보장 모델: 사전 학습된 LLM 을 미세 조정하는 대신, 제한된 역사적 데이터로 모델을 처음부터 학습시킴으로써 시대적 정보의 누출을 방지하고 엄격한 역사적 경계를 유지하는 모델을 구축했습니다.
2. 효율성과 성능의 트레이드오프 분석:
   • Scratch 모델은 미세 조정 모델보다 약 2 배 빠르게 학습되며, 역사적 특이성 (특정 시대의 언어만 잘 이해) 을 훨씬 잘 유지합니다.
   • Fine-tuned 모델은 전반적인 언어 유창성은 높지만, 미래의 정보를 현재 시기의 모델에 누출시켜 역사적 분석에는 부적합함을 증명했습니다.
3. 새로운 평가 프레임워크: 단어 의미의 시대적 변화를 탐지하기 위해 OED 기반의 Cloze 태스크와 'Leakage(누출)' 지표를 개발하여, 모델이 역사적 시점을 얼마나 잘 준수하는지 정량적으로 평가할 수 있는 파이프라인을 제시했습니다.
4. 탐색적 분석 도구: 학습된 모델들의 퍼플렉시티 변화를 통해 단어 의미의 진화 (예: 'station'이 기차역 의미로 변하는 과정, 'cholera'가 돼지 질병에서 인간 전염병으로 개념이 고정되는 과정) 를 하향식 (Top-down) 및 상향식 (Bottom-up) 으로 발견할 수 있음을 시연했습니다.

4. 실험 결과 (Results)

• 학습 효율성: Scratch 모델은 DoRA 미세 조정 모델보다 학습 속도가 약 2 배 빠릅니다.
• 역사적 특이성 (Specificity):
  • Scratch 모델은 학습된 시기의 텍스트에서 가장 낮은 퍼플렉시티를 보이며, 다른 시기 (특히 미래) 의 텍스트에서는 퍼플렉시티가 급격히 증가합니다. 이는 모델이 해당 시대의 정보만 학습했음을 의미합니다.
  • 반면, Fine-tuned 모델은 미래 시기의 텍스트에서도 낮은 퍼플렉시티를 보여, 미래 정보가 과거 모델에 누출되었음을 나타냅니다.
• Leakage (누출) 분석:
  • Fine-tuned 모델은 미래에 등장할 단어 의미 (예: 1970 년대의 'car pound' 의미) 를 과거 모델에서도 높은 확률로 예측합니다.
  • Scratch 모델은 이러한 미래 의미를 예측하지 못하거나 매우 낮은 확률로만 예측하여, 역사적 정확성을 유지합니다.
• 언어 유창성 (Fluency): Scratch 모델은 BLiMP 벤치마크에서 미세 조정 모델보다 점수가 다소 낮지만 (0.70~0.74 대 0.80 이상), BabyLlama-2 수준에는 도달하며 언어 모델로서 충분한 유창성을 보입니다.
• 발견 사례:
  • 'Station' 단어: 1820-1850 년대 구간에서 기차역 관련 의미가 급격히 수용되는 것을 발견.
  • 'Cholera' 단어: 돼지 질병을 지칭하던 의미에서 인간 전염병 (콜레라) 으로 개념이 고정되는 과정을 모델들의 확률 변화로 포착.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 인문학 및 역사 언어학 연구에 새로운 방법론적 도구를 제공합니다.

• 지식 발견의 패러다임 전환: 거대하고 잡다한 데이터를 기반으로 한 LLM 대신, 제한된 데이터로 효율적으로 학습된 모델 (BabyLM 접근법) 이 특정 학문 분야 (역사적 경계가 중요한 분야) 에 더 적합할 수 있음을 증명했습니다.
• 신뢰성 있는 분석: 모델이 특정 시대의 지식만 가지고 있다는 것을 보장함으로써, 언어 변화 연구에서 발생할 수 있는 시대착오적 오류를 방지하고 더 신뢰할 수 있는 가설을 생성할 수 있습니다.
• 확장성: 이 접근법은 언어 변화뿐만 아니라 문학 연구, 역사학 등 다양한 분야에서 시공간적 경계가 중요한 연구에 적용 가능할 것으로 기대됩니다.

결론적으로, 저자들은 유창성 (Fluency) 을 일부 희생하더라도 역사적 정확성 (Historical Accuracy) 을 확보하는 것이 인문학적 탐구에는 더 가치 있는 트레이드오프임을 입증하고, 이를 위한 효율적인 사전 학습 파이프라인을 제시했습니다.