기술 요약: BERTomelo

문제 정의

인코더 모델이 자연어 처리(NLP) 분야에서 최첨단(SOTA) 기술로 자리 잡았음에도 불구하고, 포르투갈어 언어 모델의 지형은 여전히 구형 아키텍처에 국한되어 있다. BERTimbau 및 Albertina와 같은 기존의 단일 언어 포르투갈어 인코더는 대부분 512-토큰 컨텍스트 창의 제한, 표준 어텐션 메커니즘, 현대적인 효율성 최적화의 부재라는 특징을 가진 기존 BERT 아키텍처를 따르고 있다. 다국어 모델은 폭넓은 범위를 제공하지만, 전용 단일 언어 모델에 비해 언어별 성능이 저하되는 "다국어의 저주(Curse of Multilinguality)" 문제를 겪는 경우가 많다. 더욱이, FlashAttention, Alternating Attention, 그리고 확장된 컨텍스트 창(최대 8,192 토큰)을 지원하기 위한 Rotary Positional Embeddings(RoPE)를 포함하는 ModernBERT와 같은 영어에서의 최근 아키텍처 혁신은 포르투갈어에서는 아직 충분히 실현되지 않았다. 현대적인 효율성 메커니즘을 활용하고 현대적이고 고품질인 코퍼스로 학습된 차세대 단일 언어 포르투갈어 인코더의 가용성 측면에서 심각한 공백이 존재한다.

방법론

이러한 격차를 해소하기 위해, 저자들은 브라질 포르투갈어를 위해 처음부터 특별히 사전 학습된 단일 언어 인코더 제품군인 BERTomelo를 소개한다. 방법론은 아키텍처, 데이터, 학습 프로토콜의 세 가지 핵심 구성 요소를 포함한다.

아키텍처

BERTomelo는 ModernBERT 아키텍처를 기반으로 구축되었다. 두 가지 변체로 제공된다:

• Base: 22개 레이어, 12개 어텐션 헤드, 은닉 크기 768, 약 1억 3,600만 개의 파라미터.
• Large: 28개 레이어, 16개 어텐션 헤드, 은닉 크기 1,024, 약 3억 7,800만 개의 파라미터.

두 변체 모두 1,024-토큰 컨텍스트 창을 채택하여 기존 레거시 모델의 용량을 두 배로 늘렸다. 주요 아키텍처 특징은 다음과 같다:

• 효율성 메커니즘: 메모리 병목 현상과 계산 낭비를 줄이기 위해 FlashAttention-2, Unpadding, Sequence Packing을 통합하였다.
• 어텐션 전략: 두 개의 연속된 레이어가 로컬 어텐션(윈도우 크기 128)을 적용한 후 글로벌 어텐션을 적용하는 Alternating Attention을 구현하였다.
• 위치 인코딩: 향후 컨텍스트 확장을 용이하게 하기 위해 조정된 베이스 주파수(10,000)를 가진 **Rotary Positional Embeddings (RoPE)**를 사용한다.
• 구조적 최적화: Bias-free 선형 레이어, pre-normalization 블록, 그리고 Gaussian Error Gated Linear Unit (GeGLU) 활성화 함수를 사용한다.
• 학습 목표: Next Sentence Prediction (NSP) 작업은 생략되었으며, 학습은 30%로 증가된 마스킹 비율을 가진 Masked Language Modeling (MLM)에만 의존한다.

데이터 및 토크나이저

모델은 Common Crawl에서 추출한 9,600만 개의 큐레이션된 포르투갈어 문서로 구성된 대규모 고품질 코퍼스인 ClassiCC-PT를 통해 사전 학습되었다. 이 데이터셋은 이전 모델들이 사용했던 오래된 BrWaC 코퍼스를 대체하기 위해 선택되었다.

• 토크나이저: 저자들은 Wikipedia와 BrWaC의 조합으로 학습된, (이전에 ModBERTBr에서 사용된) Unigram 알고리즘 기반의 커스텀 Fast Tokenizer를 사용하였다. 어휘 크기는 32,768 토큰이다.
• 전처리: 코퍼스는 줄바꿈을 기준으로 분할되었으며, 단어 길이(215자), 불용어 밀도(시퀀스당 최소 2개), 시퀀스 길이(201,024 단어)를 기준으로 필터링되었다.

학습 프로토콜

학 training은 AMD 고성능 컴퓨팅 클러스터(MI300X 및 MI325X GPU)에서 Hugging Face 생태계를 사용하여 수행되었다.

• 구성: 두 모델 모두 글로벌 배치 크기 2,048로 2백만 스텝 동안 학습되었다.
• 정밀도: 안정성을 보장하기 위해 bf16 혼합 정밀도를 사용하여 학습되었다.
• 기간: Base 모델은 약 121시간, Large 모델은 170시간이 소요되었으며, 약 3,860억 개의 토큰(8.67 에포크)을 처리하였다.

주요 기여

1. ModernBERT 적응: BERTomelo는 ModernBERT 아키텍처를 체계적으로 통합한 최초의 포르투갈어 인코더로서, 고급 효율성 메커니즘(FlashAttention, Alternating Attention)과 확장된 컨텍스트 창을 포르투갈어 NLP 생태계에 가져왔다.
2. 확장된 컨텍스트 창: 1,024-토큰 컨텍스트 창을 구현함으로써, BERTomelo는 이전의 512-토큰 모델의 한계를 해결하고 더 긴 범위의 의존성을 더 잘 처리할 수 있게 한다.
3. 고품질 사전 학습: ClassiCC-PT 코퍼스의 사용은 모델이 오래된 데이터셋인 BrWaC의 제약을 넘어 현대적인 언어 사용과 일치하도록 보장한다.
4. 오픈 소스 가용성: 커뮤니티 연구를 촉진하기 위해 Base 및 Large 모델과 소스 코드가 Hugging Face와 GitHub에 공개적으로 출시되었다.

결과

논문은 내재적 및 외재적 지표를 통해 BERTomelo를 평가하며, 최첨단 포르투갈어 모델(BERTimbau, Albertina, ModBERTBr) 및 다국어 베이스라인(mBERT, XLM-RoBERTa)과 비교한다.

내재적 평가

• 토크나이저: 토크나이저는 1.506의 fertility와 학습 세트에서의 단 0.0017%의 미지 토큰 비율을 보여 높은 효율성을 입증했다.
• 학습 안정성: 손실 곡선은 매끄럽고 점진적인 감소를 보여주었다. Large 모델은 1백만 스텝 이후 일시적인 그래디언트 노름 스파이크를 보였으나 전반적인 안정성은 유지되었다.
• MLM 성능: 테스트 세트에서 Base 모델은 79.26%의 정확도(loss 0.9495)를 달성했고, Large 모델은 82.28%의 정확도(loss 0.7799)에 도달하여 포르투갈어의 구문적 및 의미적 패턴을 견고하게 포착했음을 나타냈다.

외재적 평가 (다운스트림 작업)

ASSIN2 (STS 및 RTE)와 LeNER-Br (NER)에서 평가되었다:

• 문장 유사도 (STS): BERTomelo는 두 변체 모두에서 가장 낮은 평균 제곱 오차(MSE)(Base 0.425, Large 0.401)를 기록하며, BERTimbau 및 ModBERTBr를 포함한 모든 다른 모델을 능가했다.
• 텍스트 함의 인식 (RTE): BERTomelo Base는 87.70%, Large는 89.26%의 정확도를 달성했다. BERTimbau Large가 BERTomelo Large보다 약간 더 높은 성능(90.04%)을 보였으나, BERTomelo는 매우 경쟁력 있는 수준을 유지했다.
• 개체명 인식 (NER): BERTomelo Base는 가장 높은 Micro F1-score(91.37%)와 정밀도(90.46%)를 확보했다. BERTomelo Large는 가장 높은 재현율(92.75%)과 경쟁력 있는 Micro F1-score(91.05%)를 달성했다.

의의 및 주장

본 논문은 BERTomelo가 브라질 포르투갈어 NLP의 아키텍처 격차를 성공적으로 메웠다고 주장한다. ModernBERT의 혁신을 통합함으로써, 이는 거대한 다국어 모델 및 레거시 단일 언어 인코더에 대한 더 강력하고 효율적인 대안을 제공한다. 결과는 전용 단일 언어 사전 학습이 다국어 대응 모델에 비해 NER 및 STS와 같은 작업에서 우수한 성능을 낸다는 것을 입증한다.

저자들은 1,024-토큰 컨텍스트 창이 핵심 역량임에도 불구하고, 현재의 벤치마크(대부분 문장 단위)에서는 명시적으로 평가되지 않았음을 겸허히 언급했다. 그러나 그들은 이 기능이 더 긴 범위의 의존성을 처리하기 위한 토대를 제공한다고 주장한다. 본 연구는 특정 언어를 위한 아키텍처 적응의 필요성을 검증하며, 향후 포르투갈어 인코더 개발의 새로운 기준점을 제시한다. 향-후 연구로는 RoPE 구현을 완전히 활용하여 컨텍스트 창을 8,192 토큰까지 확장하고, 추가적인 효율성 향상을 위해 시퀀스 패킹을 구현하는 것이 제안되었다.