기술 요약: 사전 학습된 언어 모델을 이용한 모듈형 단일 언어 적응 (Modular Monolingual Adaptation)

문제 정의

사전 학습된 다국어 언어 모델(PMLM)을 저자원 언어에 적응시키는 작업은 일반적으로 타겟 언어에 대한 전체 모델 파인튜닝(full finetuning)을 포함합니다. 그러나 이러한 접근 방식은 저자원 환경에서 다음과 같은 상당한 문제에 직면합니다:

1. 과적합(Overfitting): 전체 파라미터 공간, 특히 전체 파라미터의 약 25%를 차지하는 거대한 임베딩 행렬을 제한된 데이터로 학습하는 것은 종종 과적합을 초래합니다.
2. 다국어성의 저주(Curse of Multilinguality): 고정된 용량을 가진 다국어 모델에서는 고자원 언어가 파라미터 공간을 지배하여, 저영향 언어의 성능을 제한할 수 있습니다.
3. 비효율성(Inefficiency): 전체 파인튜닝은 계산 비용이 많이 들며 상당한 VRAM과 학습 시간을 요구합니다.
4. 어휘 불일치(Vocabulary Mismatch): 보지 못한 언어에 대해 다국어 토크나이저를 재사용하면 높은 토큰 비옥도(token fertility, 단어를 많은 서브워드로 분할하는 현상)가 발생하여 계산 비용이 증가하고 효율성이 떨어집니다.

언어 적응 파인튜닝(LAFT) 및 어휘 확장 기술이 존재하지만, 저자들은 전체 모델 튜닝이 종종 불필요하며 더 모듈적인 접근 방식이 더 적은 자원으로 더 나은 결과를 낼 수 있다고 가설을 세웠습니다.

방법론

저자들은 토크나이저와 임베딩을 트랜스포머 레이어로부터 분리하는 모듈형 단일 언어 적응(Modular Monolingual Adaptation) 프레임워크를 제안합니다. 핵심 구성 요소는 다음과 같습니다:

1. 커스텀 토크나이징(Custom Tokenization): 대상 언어의 코퍼스를 사용하여 WordPiece 알고리즘을 통해 새로운 토크나이저를 훈련시키며, 어휘 크기는 30k로 유지합니다. 이는 기존의 다국어 토크나이저를 대체합니다.
2. 임베딩 교체 및 동결(Embedding Replacement and Freezing):
   • PMLM의 입력 및 출력 임베딩을 커스텀 어휘에 대응하는 새로운 행렬로 교체합니다.
   • 동결(Freezing): 이 새로운 임베딩 레이어들은 학습 중에 동결됩니다.
   • 초기화 전략: 저자들은 세 가지 초기화 방법을 실험합니다:
     • 모델 기반(Model-based): 기존 어휘를 재토크나이징하고, 새로운 토큰을 구성하는 기존 토큰들의 가중치를 평균화합니다.
     • FastText: FastText를 사용하여 대상 코퍼스에 대한 정적 임베딩을 훈련시킵니다.
     • 무작위(Random): 무작위 초기화를 수행합니다.
3. 선택적 파라미터 학습(Selective Parameter Training): 비임베딩 파라미터(트랜스포머 레이어 및 LM Head)만이 표준 마스크 언어 모델링(MLM) 목적 함수를 사용하여 업데이트됩니다.
4. 실험 설정:
   • 언어: 스코틀랜드 게일어(gd), 아일랜드어(ga), 케추아어(qu). 케추아어는 약 8.5k의 훈련 인스턴스만 존재하는 매우 저자원 언어로 언급되었습니다.
   • 모델: BERT, 다국어 BERT(mBERT), 다국어 ModernBERT(mmBERT).
   • 태스크: 마스크 채우기(MLM), 개체명 인식(NER), 품사 태깅(POS).
   • 베이스라인: 전체 파인튜닝, 임베딩 전용 학습, 그리고 LoRA(Low-Rank Adaptation)와 비교하였습니다.

주요 기여

• 모듈형 프레임워크: 토크나이저를 교체하고, 임베딩을 동결하며, 나머지 파라미터만을 튜닝하는 새로운 적응 전략을 제시했습니다.
• 포괄적 분석: 토크나이저, 임베딩 초기화 전략, 모델 아키텍처(BERT vs. mBERT vs. mmBERT)가 단일 언어 적응에 미치는 영향을 체계적으로 평가했습니다.
• 효율성 이득: 제안된 방식이 성능을 유지하거나 개선하면서도 학습 가능한 파라미터 수(예: mBERT의 경우 약 50% 감소)와 학습 시간을 크게 줄임을 입증했습니다.

결과

실험을 통해 다음과 같은 결과가 도출되었습니다:

1. 비임베딩 학습 vs. 전체 튜닝:

   • MLM (마스크 채우기) 태스크에서, 제안된 비임베딩 학습 전략은 모든 언어와 모델에 대해 전체 파인튜닝보다 일관되게 우수한 성능을 보였습니다. 저자들은 이를 임베딩을 동결함으로써 발생하는 정규화 효과 덕분이라고 설명하며, 이것이 작은 훈련 세트에 대한 모델의 과적합을 방지한다고 분석했습니다.
   • **다운스트림 태스크 (NER 및 POS)**에서, 비임베딩 학습은 전체 파인튜닝과 대등한 성능을 보였으며, 임베딩 전용 학습보다는 유의미하게 높은 성능을 보였습니다. 이는 임베딩이 중요하긴 하지만, 임베딩 공간이 고정되어 있을 때 트랜스포머 레이어만으로도 태스크 특화적인 문맥 표현을 배우기에 충분함을 시사합니다.

2. 토크나이저의 영향:

   • 커스텀 토크나이저를 사용하는 것이 다국어 토크나이저를 재사용하는 것보다 일관되게 우수한 성능을 보였습니다. 이러한 개선은 낮은 토큰 비옥도와 대상 언어에 대한 더 나은 서브워드 분절 덕분입니다.
   • 커스텀 어휘는 전체 모델 크기와 학습 메모리 요구 사항도 줄였습니다.

3. 임베딩 초기화:

   • 비임베딩 학습 설정에서 임베딩 초기화 방식(Model-based, FastText, 또는 Random)은 성능에 미미한 영향을 미쳤습니다. 무작위로 초기화된 임베딩이 사전 학습된 임베딩과 거의 대등한 성능을 보였는데, 이는 트랜스포머 레이어가 새로운 어휘 공간에 효과적으로 재정렬될 수 있음을 시사합니다.
   • 반대로, 전체 파인튜닝 상황에서는 기본 임베딩이 때때로 성능을 저해했는데, 이는 모델이 사전 학습 데이터로부터 부적절한 표현을 "학습 취소(unlearn)"해야 했기 때문으로 보입니다.

4. 모델 아키텍처:

   • **다국어 모델 (mBERT, mmBERT)**은 일반적으로 단일 언어 BERT 및 무작위 초기화된 트랜스포머보다 우수한 성능을 보였으며, 이는 사전 학습 데이터에 해당 언어가 최소한으로 포함되어 있더라도 효과적인 교차 언어 지식 전이가 가능함을 보여줍니다.
   • mmBERT는 큰 용량 덕분에 MLM 성능에서 우수함을 보였으나, "파괴적 과적합(catastrophic overtraining)"의 가능성 때문에 다운스트림 태스크에서는 mBERT보다 간혹 낮은 성능을 보이기도 했습니다.

5. 저자원 성능:

   • **케추아어 (qu)**의 경우, 커스텀 토크나이저를 사용한 비임베딩 전략이 전체 튜닝보다 유의미하게 우수한 성능을 보였으며, 이는 극도로 저자원인 시나리오에서 이 접근 방식의 유효성을 입증합니다.

6. LoRA와의 비교:

   • 제안된 방법은 모든 태스크에서 LoRA(Low-Rank Adaptation)보다 일관되게 우수한 성능을 보였으며, 이는 특정 설정에서 저차원 제약(low-rank constraint)이 모델의 복잡한 태스크 학습 능력을 제한할 수 있음을 시사합니다.

의의 및 주장

본 논문은 전체 모델 파인튜닝이 항상 최적의 전략은 아니다라고 주장합니다. 대신, 커스텀 토크나이징과 **선택적 파라미터 학습(임베딩 동결)**을 결면한 모듈형 접근 방식이 단순하면서도 파라미터 효율적이며 효과적인 대안이 될 수 있습니다.

저자들이 강조한 핵심 요점은 다음과 같습니다:

• 정규화: 임베딩을 동결하는 것은 강력한 정규화 역할을 하여, 데이터가 부족한 환경에서 과적합을 완화합니다.
• 토크나이징의 중요성: 커스텀 토크나이저의 선택은 임베딩을 초기화하는 구체적인 방법보다 더 큰 성능 향상을 제공합니다.
• 효율성: 이 방식은 학습 가능한 파라미터를 약 절반으로 줄여, 다운스트림 태스크 성능을 희생하지 않으면서도 더 빠른 수렴, 낮은 VRAM 사용량, 낮은 추론 지연 시간을 실현합니다.
• 전이 가능성: 적절한 적응 전략이 뒷받침된다면, 사전 학습 데이터에 해당 언어가 충분히 표현되지 않았더라도 다국어 사전 학습 모델은 여전히 가치가 있습니다.

저자들은 이 방법이 전체 모델 튜닝의 계산 비용과 과적합 위험을 피하면서, 저자원 언어 모델링을 위한 견고한 베이스라인을 제공한다고 결론지었습니다.