LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation

1. 연구 배경 및 문제 제기 (Problem Statement)

• 배경: 사전 학습된 다국어 언어 모델 (PLMs, 예: XLM-R) 은 자연어 처리의 핵심이 되었으나, 주로 고자원 언어에 최적화되어 있습니다.
• 주요 문제:
  • 형태론적 풍부함 (Morphological Richness) 과 OOV: 아메리카, 티그리냐어와 같은 형태론적으로 풍부한 저자원 언어는 복잡한 굴절 및 파생 구조를 가지지만, 기존 모델의 공유 어휘 (Shared Vocabulary) 에는 충분히 포함되어 있지 않습니다.
  • 임의의 서브워드 분할 (Arbitrary Subword Segmentation): 현재 널리 쓰이는 BPE(Byte Pair Encoding) 나 SentencePiece 같은 토크나이저는 단어의 빈도수 기반 통계적 규칙만 따릅니다. 이로 인해 의미 있는 형태소 (Morpheme) 단위가 임의로 잘려나가거나 (Fragmentation), 의미 없는 조각으로 나뉘게 됩니다.
  • 임의의 임베딩 초기화: 새로운 토큰이 추가될 때, 기존 모델의 어휘를 확장하는 과정에서 새로운 임베딩을 무작위 (Random) 로 초기화하거나 단순 평균을 사용하는 경우, 언어의 구조적 정보 (형태론적 정보) 가 손실되어 의미 표현의 일관성이 떨어집니다.
• 결과: 이러한 분할과 초기화 방식은 저자원 언어에서 의미론적 일관성을 해치고, 하류 작업 (Downstream Tasks) 의 성능 저하를 초래합니다.

2. 제안 방법론: LGSE (Lexically Grounded Subword Embedding Initialization)

저자들은 형태론적 지식을 반영한 토큰화와 임베딩 초기화 프레임워크인 LGSE를 제안합니다.

가. 형태론 기반 토큰화 (Morphologically Informed Tokenization)

• 기존 BPE 와 달리, 단어를 의미 있는 형태소 (Morphemes) 단위로 분할합니다.
• 이를 위해 사전 학습된 MoVoC 토크나이저를 사용하여 아메리카어와 티그리냐어 코퍼스를 형태소 단위로 분해합니다.
• 분할된 형태소 내에서만 BPE 를 적용하여 (Hybrid Tokenization), 형태소 경계를 보존하면서 효율성을 유지합니다.

나. 임베딩 초기화 전략 (Embedding Initialization)

새로운 토큰 (형태소 기반) 의 임베딩을 초기화하는 두 가지 핵심 단계:

1. 형태소 기반 구성 (Morpheme-based Composition):
   • 각 형태소는 FastText 기반의 문자 n-gram 임베딩들의 평균으로 표현됩니다.
   • 단어의 전체 임베딩은 구성 형태소들의 임베딩을 평균하여 생성됩니다.
   • 이를 통해 무작위 벡터가 아닌, 언어적 구조와 의미에 기반한 "의미 있는 (Meaningful)" 임베딩이 생성됩니다.
2. 정규화 (Regularization):
   • 언어 적응 사전 학습 (LAPT) 과정에서 새로 추가된 임베딩이 초기값에서 너무 크게 벗어나지 않도록 정규화 항 (Regularization Term) 을 손실 함수에 추가합니다.
   • 이는 원래 사전 학습된 임베딩 공간과의 정렬을 유지하면서 목표 언어에 적응하도록 돕습니다.

다. 언어 적응 사전 학습 (LAPT)

• XLM-R 의 인코더 파라미터는 고정 (Frozen) 하고, 어휘와 임베딩 레이어만 새로운 형태소 기반 어휘로 교체하여 아메리카어와 티그리냐어 코퍼스 (CC100 등) 로 추가 사전 학습을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 문제 규명: 현재 다국어 모델의 서브워드 임베딩이 저자원 형태론적 언어의 구조를 포착하지 못해 의미 단편화를 유발함을 규명했습니다.
2. LGSE 프레임워크 제안: 형태소 인식 토큰화와 FastText 기반의 구성적 임베딩 초기화를 결합하여, 아메리카어와 티그리냐어와 같은 언어에서 더 정확하고 견고한 표현 학습을 가능하게 했습니다.
3. 새로운 벤치마크 데이터셋 구축: 아메리카어와 티그리냐어로 된 교육 콘텐츠 품질 평가 (Educational Quality Classification) 를 위한 인간 주석 (Human-annotated) 데이터셋을 최초로 공개했습니다.
4. 종합적 평가: 질문 응답 (QA), 개체명 인식 (NER), 텍스트 분류 (TC) 세 가지 하류 작업에서 기존 강력한 베이스라인 대비 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

아메리카어와 티그리냐어에서 수행된 실험 결과 (XLM-R 기반) 는 다음과 같습니다.

• 성능 향상: 제안된 LGSE + LAPT 모델은 모든 작업에서 가장 높은 성능을 기록했습니다.
  • 질문 응답 (QA): F1 점수 78.25 (기존 XLM-R 대비 약 12%p 향상).
  • 개체명 인식 (NER): F1 점수 79.20.
  • 텍스트 분류 (TC): 정확도 76.50.
• 비교 분석:
  • LAPT 만 적용: 성능이 향상되었으나 (약 6~7%p), 임베딩 초기화 방식의 영향이 큽니다.
  • 무작위 초기화 (Random Init): LGSE 보다 성능이 낮았습니다.
  • FOCUS (기존 서브워드 초기화): LGSE 보다 성능이 낮았습니다. 이는 형태론적 구조를 무시한 임베딩 초기화의 한계를 보여줍니다.
• 효율성 (Tokenization Efficiency):
  • 기존 BPE 대비 토큰 비옥도 (Token Fertility) 가 크게 감소했습니다 (예: 티그리냐어 문장 21 토큰 → 6 토큰).
  • 이는 시퀀스 길이 단축, 추론 지연 (Latency) 감소, API 비용 절감으로 이어집니다.

5. 의의 및 결론 (Significance & Conclusion)

• 언어적 정합성: 저자원 언어의 NLP 성능 향상을 위해서는 단순한 데이터 양의 증가뿐만 아니라, 언어 구조 (형태소) 를 존중하는 토큰화와 임베딩 초기화가 필수적임을 증명했습니다.
• 형평성: 비로마자 문자 (Ge'ez 문자 등) 를 사용하는 소수 언어에 대한 NLP 기술 접근성을 높이고, 다국어 모델의 편향을 완화하는 데 기여합니다.
• 미래 전망: 현재 인코더 기반 모델에 국한되어 있지만, 추후 생성형 모델 (Decoder-only) 및 기계 번역 작업으로 확장할 수 있는 기반을 마련했습니다.

이 논문은 저자원 언어 처리에서 형태론적 정보 (Morphological Information) 를 임베딩 초기화 단계에 체계적으로 통합함으로써, 기존 통계적 방법론의 한계를 극복하고 더 정교한 언어 이해를 가능하게 하는 중요한 방법론을 제시합니다.