Pretraining and Benchmarking Modern Encoders for Latvian

이 논문은 저자원 언어인 라트비아어 (Latvian) 를 위한 현대적인 인코더-only 트랜스포머 모델들을 사전 학습 (Pretraining) 하고, 이를 체계적으로 평가한 연구입니다. 저자는 라트비아어 NLP 의 격차를 해소하기 위해 다양한 최신 아키텍처를 적용한 모델 군을 개발하고, 이를 위한 통합 벤치마크를 구축했습니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 저자원 언어의 한계: 다국어 모델 (mBERT, XLM-R 등) 은 라트비아어와 같은 저자원 언어에서 충분한 성능을 내기 어렵습니다. 파라미터와 어휘가 여러 언어에 공유되면서 저자원 언어는 훈련 신호가 희석되고 표현력이 약해지는 '용량 - 커버리지 트레이드오프'에 직면합니다.
• 단일 언어 모델의 부재: 라트비아어 전용 인코더는 기존에 소수만 존재했으며, 최신 아키텍처 (DeBERTaV3, ModernBERT 등) 를 반영한 모델은 부족했습니다.
• 평가 체계의 부재: 라트비아어 인코더를 평가할 수 있는 통합된 벤치마크나 리더보드가 없었으며, 기존 평가는 문법 태깅이나 NER 에 국한되어 있었습니다.

2. 방법론 (Methodology)

2.1 데이터셋 구축 (Dataset)

• 대규모 라트비아어 말뭉치: 총 64 억 3 천만 단어 규모의 정제된 라트비아어 텍스트를 구축했습니다.
• 데이터 소스: FineWeb2, HPLT-v2(정제본), 크롤링된 뉴스, 트위터, 학술 논문, 스캔된 책, 라트비아어 위키백과, 라트비아어 국립 말뭉치 (LNCC) 등 다양한 소스를 통합했습니다.
• 품질 관리: 불필요한 텍스트 제거, 중복 제거 (MinHash LSH), 언어 모델 (KenLM) 을 이용한 퍼플렉시티 기반 저품질 문서 필터링을 수행했습니다.
• 장문맥 지원: 8,192 토큰까지 처리 가능한 장문맥 (Long-context) 학습을 위해 4,096 토큰 이상의 긴 문서들을 샘플링하여 25 억 토큰 규모의 확장 데이터셋을 구성했습니다.

2.2 아키텍처 및 사전 학습 (Architectures & Pretraining)

세 가지 주요 아키텍처를 기반으로 한 모델 군을 개발했습니다. 모든 모델은 1000 억 토큰으로 사전 학습되었습니다.

1. RoBERTa 기반: lv-roberta-base (124M 파라미터). 표준 RoBERTa 학습 방식 (스팬 기반 마스킹 30%) 적용.
2. DeBERTaV3 기반: lv-deberta-base (111M 파라미터). 분리된 어텐션 (Disentangled Attention) 과 교체된 토큰 탐지 (RTD) 목적 함수를 사용.
3. ModernBERT 기반: lv-mbert-mini/base/large (59M ~ 377M 파라미터). FlashAttention2, RoPE 위치 임베딩, 토큰 레벨 언패딩 등 최신 효율성 기술을 적용. 3 단계 학습 (안정화 -> 장문맥 확장 -> 냉각) 을 수행하여 최대 8,192 토큰 컨텍스트를 지원.

2.3 평가 벤치마크 (Evaluation)

개발된 모델을 평가하기 위해 통합 벤치마크를 구축했습니다.

• 경량 진단 작업 (Lightweight Diagnostics): EuroEval 스타일의 미니멀 데이터 파인튜닝 평가 (감정 분석, 문법 수용성, NER, 독해, 상식 추론 COPA).
• 범용 의존성 (Universal Dependencies): 품사 태깅, 구문 분석 (Dependency Parsing) 등 형태소 - 구문론적 모델링 능력 평가.
• 단어 의미 소거 (WSD): 라트비아어 WordNet 기반의 수동 주석 단어 의미 소거 데이터셋을 새로 구축하여 평가.

3. 주요 결과 (Results)

• 최고 성능 모델: lv-deberta-base (111M 파라미터) 가 전체적으로 가장 우수한 성능을 보였습니다.
  • 이 모델은 파라미터 수가 5 배 이상 큰 다국어 모델 (XLM-R Large, 560M) 보다도 더 높은 성능을 기록했습니다.
  • 특히 상식 추론 (COPA) 작업에서 기존 다국어/라트비아어 모델들이 낮은 점수 (MCC < 20) 를 보인 반면, lv-deberta-base 는 52.5라는 압도적인 점수를 기록하여 라트비아어에 특화된 추론 능력을 입증했습니다.
  • 단어 의미 소거 (WSD) 벤치마크에서도 78.9% 의 정확도로 최상위 성능을 달성했습니다.
• ModernBERT 모델: lv-mbert-large 등 ModernBERT 기반 모델들은 처리량 (Throughput) 과 장문맥 처리 능력에서 우수했으나, 전반적인 성능은 lv-deberta-base 나 lv-roberta-base 에 비해 약간 뒤처졌습니다.
• LLM 과의 비교: GPT-5 와 같은 대형 LLM 은 일부 작업 (감정 분석) 에서 우위를 보였으나, NER, 구문 분석, 독해 등 특정 NLU 작업에서는 경량화된 단일 언어 인코더가 더 효율적이고 강력한 성능을 보였습니다.

4. 주요 기여 (Key Contributions)

1. 라트비아어 전용 인코더 모델 군 공개: RoBERTa, DeBERTaV3, ModernBERT 아키텍처 기반의 다양한 크기와 장문맥 변형 모델을 오픈소스 (Hugging Face) 로 공개했습니다.
2. 통합 벤치마크 및 리더보드 구축: 라트비아어 인코더 평가를 위한 포괄적인 벤치마크 (EuroEval 스타일, UD, WSD) 를 구축하고 결과를 공개하여 향후 연구의 기준을 마련했습니다.
3. 단일 언어 사전 학습의 효과 입증: 저자원 언어인 라트비아어에 대해 대규모 단일 언어 말뭉치로 사전 학습하는 것이 다국어 모델보다 훨씬 효율적이고 강력한 표현을 학습함을 실증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 라트비아어와 같은 저자원 언어의 NLP 발전에 중요한 이정표가 됩니다. 단순히 다국어 모델을 사용하는 것을 넘어, 언어에 특화된 최신 아키텍처와 대규모 정제 데이터를 결합할 때 훨씬 우수한 성능을 얻을 수 있음을 보여줍니다. 특히 lv-deberta-base 는 적은 파라미터로도 대형 다국어 모델을 능가하는 성능을 입증하여, 저자원 언어 환경에서의 효율적인 모델 개발 방향을 제시합니다. 또한, 구축된 벤치마크와 공개된 모델은 라트비아어 NLP 연구의 재현성과 실용적 응용 (RAG, 검색 등) 을 크게 촉진할 것으로 기대됩니다.