PortBERT: Navigating the Depths of Portuguese Language Models

기술 요약: PortBERT

문제 정의

트랜스포머 기반 모델들이 자연어 처리(NLP) 분야에 혁신을 일으켰음에도 불구하고, 포르투갈어 전용의 효율적인 모델은 여전히 부족한 실정이다. 기존의 포르투갈어 모델들은 종종 규모나 원시 정확도에 치중하여, 학습 및 배포 효율성을 간과하는 경향이 있다. 더욱이, 많은 포르투갈어 NLP의 발전은 높은 계산 비용을 수반하여, 지연 시간에 민선하거나 자원이 제한된 환경에 배포하기 어렵게 만든다. 포르투갈어 특화 모델에 대한 학습 시간, 하드웨어 활용도, 추론 처리량(throughput)에 관한 투명한 보고가 부족하며, 이는 이 도메인에서의 계산-성능 트레이드오프(compute-performance trade-offs)를 이해하는 데 있어 공백을 야기한다.

방법론

이러한 격차를 해소하기 위해, 저자들은 포르투갈어에 특화되어 설계된 RoBERTa 기반 인코더 모델 제품군인 PortBERT를 소개한다.

• 데이터 코퍼스: 모델들은 mC4와 OSCAR23의 포르투갈어 부분을 집계한 CulturaX 데이터셋에서 추출된 450GB 이상의 중복 제거 및 필터링된 텍스트를 바탕으로 처음부터 사전 학습되었다. 이는 가공되지 않은 크롤링 코퍼스에 비해 중복성을 크게 줄인 결과이다.
• 토큰화: 40GB의 무작위 샘플링된 포르투갈어 데이터를 사용하여 52,000개의 토큰으로 구성된 전용 바이트 수준 BPE(Byte Pair Encoding) 어휘집을 구축하였다. 독일어 및 네덜란드어에 대한 선행 연구에서 영감을 얻은 이 방식은 토큰 효율성과 압축률을 개선하는 것을 목표로 한다.
• 아키텍처 및 학습:
  • 모델들은 희소 주의 집중(sparse attention)이나 확장된 컨텍스트 윈도우와 같은 수정 없이 표준 RoBERta 아키텍처를 준수하여, 비교를 위한 공정한 베이스라인을 보장한다.
  • 학습은 fairseq 프레임워크를 사용하여 수행되었다.
  • PortBERTbase는 8개의 NVIDIA A40 GPU 클러스터에서 학습되었다.
  • PortBERTlarge는 TPUv4-128 포드(pod)에서 학습되었다.
  • 두 모델 모두 혼합 정밀도 최적화라는 교란 요인 없이 하드웨어 효율성을 직접 비교할 수 있도록 단정밀도(fp32)로 학습되었다.
  • 학습 스케줄은 배치 크기 8k, 10k-스텝 웜업(warmup), 그리고 다항식 학습률 감쇠(polynomial learning rate decay)를 포함하여 총 100k 업데이트 스텝으로 구성되었다.
• 평가: 모델들은 번역된 GLUE 및 SuperGLUE 태스크(STS-B, RTE, WNLI, MRPC) 세트인 ExtraGLUE를 통해 평가되었다. 평가 프로토콜은 각 태스크를 다양한 하이퍼파라미터(배치 크기 및 학습률)로 28번 미세 조정(fine-tuning)하여 최적의 성능을 보이는 체크포인트를 식별하는 과정을 포함한다.

주요 기여

1. 모델 공개: 저자들은 GPU와 TPU에서 각각 학습된 두 가지 오픈 소스 변체인 PortBERTbase(126M 파라미터)와 PortBERTlarge(357M 파라미터)를 공개한다.
2. 포괄적 벤치마킹: 본 논문은 ExtraGLUE 벤치마크에서 11개의 다른 포르투갈어 모델(단일 언어 및 다국어 모델 모두 포함)을 대상으로 PortBERT에 대한 엄격한 평가를 제공한다.
3. 효율성 보고: 이전의 많은 연구와 달리, 본 연구는 학습 시간, 추론 처리량, 미세 조정 처리량을 명시적으로 보고하여 모델 효율성 및 하드웨어 활용도에 대한 실질적인 통찰을 제공한다.
4. 재현성: 모든 모델은 Hugging Face에 공개되었으며, 추가 연구를 지원하기 위해 fairseq 체크포인트가 제공된다.

결과

• 다운스트림 성능:
  • PortBERTbase는 평균 점수(AVG) 80.57을 달성하여 여러 기존 단일 언어 모델을 능가했으며, 다국어 베이스라인과 경쟁력 있는 순위를 기록했다. 특히 base 모델들 중 WNLI 태스크에서 가장 높은 정확도(60.56)를 기록했다.
  • PortBERTlarge는 82.26의 AVG를 달성하여 BERTimbau-large(82.23)를 근소하게 앞질렀으며, large 모델 중 가장 높은 WNLI 정확도(61.97)를 입증했다. 모든 태스크에서 압도적이지는 않았으나, 지속적으로 상위권 성능을 유지했다.
  • 두 모델 모두 여러 지표에서 기존의 단일 언어 및 다국어 모델과 대등하거나 이를 상회하였으며, 이는 최근의 고품질 중복 제거 코퍼스로 학습하는 것의 효과를 입증한다.
• 효율성 대비 정확도:
  • PortBERTbase는 강력한 다운스트림 성능과 경쟁력 있는 학습 처리량(~25–26 samples/sec) 및 추론 처리량(>65 samples/sec)을 제공하며 유리한 균형을 보여주었다.
  • PortBERTlarge는 높은 효율성-성능 트레이드오프를 달성했다. 대규모 모델임에도 불구하고, 낮은 처리량 지표를 보인 XLM-RoBERTa-large 및 EuroBERT-610M과 같은 다른 대형 모델들에 비해 더 높은 학습(23.3 samples/sec) 및 추론(70.7 samples/sec) 처리량을 유지했다.
  • 본 연구는 PortBERT 모델이 우수한 파라미터 효율성을 제공함을 강조한다. PortBERTbase(126M)는 더 큰 다국어 모델인 XLM-RoBERTa-base(278M)보다 평균적으로 더 나은 성능을 보였다.

의의 및 주장

본 논문은 PortBERT를 실용적인 포르투갈어 NLP를 위한 견고하고 재현 가능하며 접근 가능한 대안으로 자리매김한다. 그 의의는 탐구되지 않았던 계산-성능 트레이드오프 차원을 다루는 데 있다.

• 대형 모델의 보완: 대규모 다국어 인코더(예: XLM-RoBERTa, EuroBERT)는 강력한 성능을 제공하지만, 높은 계산 요구량으로 인해 실제 배포가 제한적이다. PortBERT는 제로샷 전이(zero-shot transfer)가 필요하지 않은 단일 언어 애플리케이션을 위해 더 효율적인 옵션을 제공함으로써 이를 보완한다.
• 지속 가능한 모델링: 본 작업은 세심한 모델 설계와 최적화된 최신 코퍼스 학습이 결려하면, 거대하고 접근 불가능한 인프라에 의존하지 않고도 강력한 모델을 산출할 수 있음을 보여준다.
• 베이스라인 확립: 표준 RoBERTa 아키텍처와 투명한 학습 파이프라인을 사용함으로써, PortBERT는 포르투갈어 NLP에서의 계산 비용 및 효율성에 대한 공정한 비교를 가능하게 하는 강력한 베이스라인을 구축한다.

저자들은 방언별 제어(브라질 vs 유럽 포르투갈어)의 부재, 프레임워크 제약으로 인한 Whole Word Masking(WWM)의 부재, 그리고 잔여 편향이 포함될 수 있는 웹 기반 코퍼스에 대한 의존성을 포함한 한계점을 인정한다. 그러나 이들은 PortBERT가 포르투갈어를 위한 지속 가능하고 접근 가능한 언어 모델링을 향한 기초적인 단계라고 주장한다.