DHPLT: large-scale multilingual diachronic corpora and word representations for semantic change modelling

1. 문제 제기 (Problem)

• 다국어 역사적 의미 변화 모델링의 부재: 현재 계산 언어학 분야에서 의미 변화 (Semantic Change) 를 추적하는 연구는 주로 소수의 고자원 언어 (영어, 독일어, 라틴어 등) 에 국한되어 있습니다. SemEval 2020 Task 1 이후 이탈리아어, 그리스어, 러시아어 등 일부 언어에 대한 데이터셋이 발표되었으나, 전체적으로 인도유럽어족에 편중되어 있으며 전 세계 41 개 이상의 다양한 언어를 포괄하는 표준화된 시계열 (Diachronic) 코퍼스는 존재하지 않습니다.
• 데이터의 한계: 기존 역사적 코퍼스는 언어학자가 수동으로 구축한 신문 아카이브나 국립도서관 자료에 의존하는데, 이는 대다수 언어에서 부재하거나 표준화되지 않았습니다. 또한, 웹 크롤링 데이터를 기반으로 하더라도 문서 생성 시점을 정확히 라벨링하는 것은 기술적, 비용적 어려움이 큽니다.

2. 방법론 (Methodology)

2.1 데이터 소스 및 수집 (DHPLT 구축)

• 기반 데이터: HPLT (High-Performance Language Technologies) 프로젝트의 v3.0 버전 웹 크롤링 데이터를 기반으로 합니다.
• 시간 신호 (Temporal Signal): 문서의 실제 생성 날짜를 수동으로 라벨링하기 어렵기 때문에, **웹 크롤링 타임스탬프 (Web Crawl Timestamps)**를 문서 생성 시점의 '상한선 (Upper Bound)'으로 활용합니다. 즉, 2015 년에 크롤링된 문서는 2015 년 이후에 생성될 수 없다는 논리를 적용합니다.
• 시간 구간 설정: 문서 분포 분석을 바탕으로 3 개의 시간 구간을 정의했습니다.
  1. 초기 (2011-2015): 2011 년이 가장 초기 크롤링 연도이며, 2017 년까지 문서 수가 적음.
  2. 중기 (2020-2021): 코로나 팬데믹 기간.
  3. 최신 (2024-현재): 최근 크롤링 데이터.
  • 각 구간은 최소 2 년의 간격 (Gap) 을 두어 의미 변화 감지를 용이하게 합니다.
• 언어 선정: 198 개 언어 중 다음 기준을 충족하는 41 개 언어를 선정했습니다.
  1. 각 시간 구간당 최소 50 만 개 이상의 문서 보유.
  2. HPLT v3.0 T5 단언어 인코더-디코더 모델이 존재 (임베딩 생성용).
  • 결과: 12 개 언어 계열 (Indo-European, Afro-Asiatic, Uralic 등) 에 속하는 41 개 언어 포함.

2.2 데이터 처리 파이프라인

• 샘플링: 각 언어와 시간 구간별로 HPLT 데이터에서 무작위로 100 만 개 (데이터가 부족할 경우 50 만 개) 의 문서를 추출하여 JSONL 형식으로 압축 저장.
• 타겟 단어 선정 (Target Word Selection):
  • T5 모델의 어휘를 기반으로 빈도수가 낮은 토큰과 단어 조각 (Word pieces) 을 제거.
  • 명사, 동사, 형용사로만 필터링 (Stanza 등 POS 태거 사용).
  • 각 시간 구간에서 최소 10 회 이상 등장하는 '전체 단어 (Full words)'만 유지.
  • 언어의 주된 문자 체계 (Script) 로만 작성된 단어만 포함.
  • 평균 약 18,600 개의 타겟 단어가 선정됨.

2.3 의미 표현 생성 (Semantic Representations)

연구자들은 사전 계산된 다양한 의미 표현을 제공하여 연구자의 계산 비용을 절감합니다.

1. 맥락화 임베딩 (Contextualized Token Embeddings):
   • HPLT T5, XLM-R, GPT-BERT 모델을 사용하여 타겟 단어의 100~1000 개 발생 예시 (Occurrences) 에 대한 인코더 임베딩 생성.
2. 어휘 대체 (Lexical Substitutes):
   • GPT-BERT 모델을 사용하여 마스킹된 단어에 대한 상위 15 개 대체어 (Substitutes) 생성. (T5 는 긴 시퀀스를 예측하는 경향이 있어 대체어 생성에 부적합함).
3. 정적 단어 임베딩 (Static Word Type Embeddings):
   • 각 언어/시간 구간별로 SGNS (Word2Vec) 아키텍처를 사용하여 정적 임베딩 모델 학습.
   • 정렬 (Alignment): 서로 다른 시간 구간의 벡터 공간이 비교 가능하도록 3 번째 구간 (2024-) 의 공간에 맞춰 1, 2 번째 구간의 공간을 Procrustes 정렬 기술로 정렬.
4. 빈도수 통계: 각 시간 구간별 타겟 단어의 등장 빈도수 제공.

3. 주요 결과 및 검증 (Results & Sanity Check)

• 의미 변화 추적 성공 사례:
  • 영어 'AI': 2011-2015 년에는 비디오 게임 캐릭터 ('NPC', 'RPG') 와 연관되었으나, 2020-2021 년에는 로봇, IoT, 챗봇으로 확장되었고, 2024 년에는 생성형 AI ('ChatGPT', 'LLMs', 'Generative AI') 와 명확하게 연결됨.
  • 스페인어 'IA' 및 러시아어 'ИИ': 영어와 유사한 패턴 (게임 $\rightarrow$ 기술/알고리즘 $\rightarrow$ 생성형 AI) 을 보임.
  • 영어 'Remote': 2011-2015 년에는 지리적 거리/네트워크와 연관되었으나, 2020-2021 년 (코로나) 에 '원격 근무'라는 의미로 급격히 변화함.
  • 법률 용어 ('Legislative', 'Jurisdiction'): 보수적인 법률 분야 용어는 시간 흐름에 따른 의미 변화가 미미함을 확인.
• 모델 비교:
  • 정적 임베딩 (SWE) 은 전체적인 의미의 흐름을 잘 포착함.
  • 맥락화 임베딩 (T5, BERT) 은 특정 문맥에 민감하여 더 세밀한 의미 뉘앙스를 포착함.
  • GPT-BERT 기반의 대체어 분석은 AI 에 대한 인식 변화 (낙관적 $\rightarrow$ 사회적 영향/비관적) 를 잘 드러냄.

4. 주요 기여 (Key Contributions)

1. DHPLT 데이터셋 공개: 41 개 언어, 12 개 언어 계열, 3 개의 시간 구간으로 구성된 대규모 개방형 시계열 코퍼스. (약 170GB, 590 억 단어).
2. 다국어 의미 변화 연구 인프라 구축: 고자원 언어 중심이었던 기존 연구의 한계를 극복하고, 저자원 언어를 포함한 다국어 의미 변화 연구 (LSCD) 를 가능하게 함.
3. 사전 계산된 리소스 제공: 타겟 단어에 대한 다양한 의미 표현 (임베딩, 대체어, 빈도수) 을 미리 계산하여 제공함으로써, 연구자들이 즉시 실험을 시작할 수 있도록 함.
4. 오픈 소스 도구: 원본 HPLT 데이터에서 DHPLT를 재현하거나 사용자 정의 시간 구간을 설정할 수 있는 오픈 소스 코드 제공.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 의미 변화 발견 (Semantic Change Discovery) 연구의 지평을 넓혀, 언어의 진화와 사회적 변화 (예: 팬데믹, AI 기술 발전) 간의 상관관계를 다국어 관점에서 연구할 수 있는 토대를 마련함.
  • 웹 크롤링 데이터를 효율적으로 활용하여 역사적 코퍼스가 부재한 언어에도 시계열 분석을 적용할 수 있는 새로운 방법론을 제시함.
• 한계:
  • 시간 신호의 불확실성: 웹 크롤링 타임스탬프는 문서 생성 시점의 '상한선'일 뿐, 정확한 생성 시점이 아님. (예: 2024 년 크롤링된 문서에 2001 년 작성된 텍스트가 포함될 수 있음). 이는 전통적인 역사적 코퍼스에 비해 정밀도가 낮음.
  • 표현의 제한: 모든 단어에 대한 의미 표현을 제공하는 것이 아니라, 선별된 타겟 단어에 대해서만 제공됨 (계산 및 저장 공간 제약).
  • 모델의 시계열 무관성: 현재 제공된 임베딩 모델은 시계열 정보를 학습하지 않은 일반 모델이므로, 특정 시기의 고유명사 등이 다른 시기의 문맥에서 예측될 수 있음. (향후 시계열 특화 모델 학습 필요).

결론적으로, DHPLT 는 다국어 의미 변화 연구의 표준 데이터셋으로서, 언어학자와 NLP 연구자들이 웹 기반 대규모 데이터를 활용하여 언어의 역동적인 변화를 탐구할 수 있는 중요한 자원을 제공합니다.